موتور جستجوی گوگل چگونه کار می‌کند

سال‌ها است که همه ما در هر موقعیت شغلی که باشیم، از موتور جستجوی گوگل برای رفع نیازهای خود استفاده می‌کنیم. این نیازها ممکن است نیاز به اطلاعات بیشتر، نیاز خرید اینترنتی یا حتی راه‌اندازی یک کسب‌وکار اینترنتی باشد. اما تا به حال فکر کرده‌اید که موتور جستجوی گوگل چگونه کار می‌کند؟ بر چه اساسی سایت‌های مختلف را رتبه‌بندی کرده و به آنها امتیاز می‌دهد؟ چرا هنگام جستجوی برخی کلمات، یک سری از سایت‌ها را در صفحات اول و مابقی را در سایر صفحات نشان می‌دهد؟

پاسخ این سوالات شاید برای عموم مردم جذاب باشد، اما برای آن دسته از افراد که صاحب یک کسب‌وکار اینترنتی یا حتی یک طراحی سایت شخصی هستند، می‌تواند حاوی نکاتی در جهت بهبود بخشیدن به کسب‌وکارشان باشد. واقعیت آن است که این موتور جستجو گوگل بسیار هوشمند عمل کرده و حتی برخی آن را همانند یک موجود زنده می‌دانند که به راحتی می‌تواند مسائل و موضوعات مختلف را تجزیه و تحلیل و برای آنها اقدام کند. اما چگونه؟ در این مقاله با ما همراه باشید تا به پاسخ این پرسش‌ها برسیم و در نهایت شما نیز بتوانید از این به بعد جهت توسعه بخشیدن به کسب‌وکار خود هوشمندانه عمل کنید.

 برای بررسی رتبه کسب و کارتان، مشاوره سئو سایت و بهینه سازی وب سایتتان با کارشناسان ما در ایده پویا در ارتباط باشید.

تلفن ها :

875 73 222 - 021      -       180 20 229 - 021

موتور جستجو گوگل چگونه عمل می‌کند؟

گوگل سه عملکرد اصلی به هنگام بررسی وبسایت شما دارد که عبارت است از:

• کرول Crawl :Crawling به معنای کشف کردن است که طی آن گوگل مجموعه‌ای از ربات‌های خزنده خود که به عنکوبت نیز معروف بوده را برای پیدا کردن محتواهای جدید می‌فرستد. این محتواها می‌تواند متفاوت بوده و شامل متن، ویدئو، فیلم، پادکست یا ترکیبی از این موارد باشد. اما صرف نظر از اینکه محتوا در چه قالبی باشد، ربات‌های گوگل از طریق لینک‌ها به آنها دسترسی پیدا خواهند کرد. ربات‌های گوگل ابتدا از تعداد کمی از صفحات شروع به فرایند کاوش می‌کنند و سپس از طریق لینک‌های مختلف در آنها، URLهای جدید را پیدا می‌کنند و آن را به فهرستی از پایگاه URLهای کشف شده خود اضافه می‌کنند. در برخی مواقع وبسایت‌ها دارای مشکلاتی هستند که ربات‌های گوگل نمی‌توانند به خوبی این کار را انجام دهند. بنابراین شما باید تلاش کنید تا هر آنچه به مانعی در برابر کرول کردن باشد را برطرف کنید.

• ایندکس Index: بعد از کرول کردن، اکنون نوبت به ایندکس کردن یا فهرست کردن مطالب وبسایت است. در اینجا باید تلاش کنید تا محتوا باکیفیت را به طرق مختلف تولید و انتشار دهید. بعد از ایندکس شدن، شما می‌توانید مطالب خود را در صفحات مختلف گوگل ببینید. به همین دلیل است هنگامی که شما مطلبی را به تازگی منتشر کرده‌اید، نمی‌توانید آن را در صفحات گوگل مشاهده کنید که ناشی از ایندکس نشدن آنها است. از طریق برخی ابزارها مانند سرچ کنسول به راحتی می‌توانید مشاهده کنید که کدام بخش از مطالب شما در گوگل اصطلاحا ایندکس شده‌اند. چنانچه مطلبی ایندکس نشده باشد، به احتمال زیاد ربات‌های گوگل در فرایند کشف یا همان کرول کردن مطالب مشکل دارند.

• رتبه‌بندی Rank: این اقدام بعد از دو مرحله قبل صورت می‌گیرد و منظور این است که وبسایت‌ها و صفحات آنها با توجه به امتیازاتی که دارند، هر کدام در بخشی از گوگل به مخاطبان نشان داده می‌شوند. بارها مشاهده کرده‌اید که بعد از تولید یک محتوا و گذشت مدت زمان زیادی از آن، باز هم در صفحات دور گوگل شما می‌توانید آنها را ببینید که این مساله ناشی از تشخیص ربات‌های گوگل است. آنها با استدلال‌های مختلف اقدام به رتبه‌بندی صفحات می‌کنند که یکی از مهم‌ترین آنها همان بحث کیفیت محتوا و رعایت کردن نکات سئو در آن است. از طرفی، هر اندازه رتبه یک سایت به طور کلی بالاتر باشد، احتمالا گوگل مطالب تولید شده از آن وبسایت را در صفحات اول به مخاطبان نشان خواهد داد.

این سه فرایند مهم‌ترین فرایندهای گوگل برای پیشنهاد دادن یک مطلب یا صفحه یه یک کاربر است. با این حال، می‌توان برخی از صفحات یا کل وبسایت را از دسترس ربات‌های گوگل جهت انجام فرایند خزیدن خارج کرد. انجام این کار می‌تواند دلایل مختلفی داشته باشد. اما به طور کل باید بدانیم که اگر می‌خواهیم محتوا تولید شده توسط کاربران مشاهده شود، باید در ابتدا اطمینان حاصل کرد که آن صفحات برای ربات‌های گوگل و انجام فرایند خزیدن، در دسترس هستند. در غیر اینصورت برای گوگل همچنان نامرئی خواهد ماند و دیده نمی‌شود.

آیا موتور جستجو گوگل می‌تواند صفحات شما را پیدا کند؟

همانطور که گفته شد اطمینان از اینکه سایت شما توسط ربات‌های گوکل قابلیت کرول و ایندکس شدن را دارد، پیش‌نیاز دیده شدن در موتورهای جستجو توسط کاربران است. اگر از قبل دارای وبسایت هستید، می‌توانید از طریق جستجو کردن در گوگل تشخیص دهید که مطالب شما ایندکس شده‌اند یا خیر. اما چنانچه تازه شروع به کار کرده‌ یا آنکه وبسایت شما داری صفحات زیاد بوده و به صورت تخصصی و حرفه‌ای کار می‌کنید، می‌توانید از روش‌های بهتری نسبت به اطمینان از ایندکس شدن صفحات خود اقدام کنید.

یکی از بهترین راه‌ها برای اطمینان از این موضوع استفاده از  site:yourdomain.com است. برای این کار به گوگل رفته و بعد از کلمه site نام دامنه خود را وارد کنید. با این کار، گوکل نتایجی که مربوط به آن سایت بوده و ایندکس شده‌اند را نشان می‌دهد. یک عدد در بالای صفحه گوگل نیز وجود دارد که نشاندهنده تعداد نتایج نمایش داده شده در گوگل از وبسایت شما است. هر چند که این عدد دقیق نیست، تاحدودی به صورت نسبی می‌توان با دیدن آن اطمینان حاصل کرد که صفحات شما در نتایج گوگل دیده می‌شوند. هر اندازه که تعداد این عدد بیشتر باشد، طبیعتا وضعیت بهتری را نشان می‌دهد.

برای کسب نتایج دقیق‌تر و بهتر می‌توانید گزارش Index Coverage را در سرچ کنسول ببینید. اگر در حال حاضر به این ابزار دسترسی ندارید، می‌توانید به راحتی یک حساب کاربری سرچ کنسول رایگان داشته باشید. چرا که استفاده از داده‌های آن برای اکثر کسانی که در زمینه دیجیتال مارکتینگ فعالیت دارند کاملا ضروری به نظر می‌رسد. با استفاده از این ابزار می‌توانید نقشه سایت خود را در آن وارد کرده و سپس مشاهده کنید که کدام بخش از صفحات شما در موتور جستجوی گوگل ایندکس شده‌اند یا خیر.

چنانچه در هیچ کدام یا بخش زیادی از این صفحات ایندکس نشده‌اید به احتمال زیاد بخاطر یکی از دلایل زیر باشد:

• احتمالا سایت شما کاملا جدید بوده و هنوز ربات‌های گوگل در خصوص آن اقدام به کرول کردن و خزیدن نکرده‌اند. پس نگران نباشید.
• این احتمال وجود دارد که سایت شما با هیچ وبسایت خارجی دیگر مرتبط نیست. اصطلاحا در هیچ وبسایت دیگری به سایت شما لینک داده نشده است. چرا که این اقدام تاثیر بسیار مثبتی بر روی وضعیت سئو و بهینه‌سازی سایت دارد که اصطلاحا به آن لینک بیلدینگ نیز گفته می‌شود.
• ممکن است سایت به گونه‌ای باشد که ربات‌های گوگل به راحتی نمی‌توانند در آن اقدام به کرول کردن یا به اصطلاح خزیدن کنند که قبلا نیز به این مورد اشاره شد.
• امکان دارد که سایت دارای برخی از کدهای خاص باشد که دسترسی ربات‌های خزنده گوگل را جهت خزیدن در سایت مسدود کرده است.
• احتمال دیگر آن است که سایت توسط گوگل بنا به دلایل مختلف جریمه شده و به اصطلاح دچار پنالتی گوگل شده‌اید. یکی از دلایل آن می‌تواند استفاده بیش از حد از کلمات کلیدی یا محتوا تکراری داخلی و خارجی باشد.

برخی از صفحات یک وبسایت وجود دارند که به احتمال زیاد افراد تمایلی برای ایندکس شدن و دسترسی ربات‌های گوگل به آن ندارند. این صفحات معمولا شامل URLهای قدیمی، صفحات دارای محتوا بی‌کیفیت و کم‌حجم، URLهای تکراری یا محتوا تکراری هستند. به عنوان مثال، فرض کنید که شما در گذشته دارای یک صفحه خاص بوده‌اید که بنا به هر دلیلی اکنون قصد ندارید که از آن صفحه استفاده کنید. در این صورت می‌توانید دسترسی ربات‌های گوگل را برای کرول کردن آنها محدود کنید تا به سایت شما آسیبی وارد نشود. برای این کار باید از طریق فایل robots.txt. استفاده کنید.

ربات‌های گوگل چگونه با فایل robots.txt رفتار می‌کنند؟

هنگامی که یک وبسایت از فایل robots.txt استفاده می‌کند در اینجا ممکن است چندین حالت مختلف شکل بگیرد که به آنها اشاره می‌کنیم. برخی اوقات امکان دارد که Googlebot یا همان ربات‌های گوگل نتوانند فایل robots.txt را پیدا کنند و در این حالت در تمام صفحات سایت به صورت معمولی اقدام به خزیدن می‌کنند. در برخی اوقات نیز امکان دارد که ربات‌های گوگل فایل مذکور را پیدا کنند که در این صورت از دستورات آن پیروی کرده و به صفحاتی را که شما تمایلی برای کرول کردن آنها ندارید، کاری ندارند. این حالت را می‌توان بهینه‌ترین حالت ممکن برای سایت دانست. همچنین هنگامی که Googlebot برای پیدا کردن این فایل با برخی خطاها روبرو شود، نمی‌تواند سایت را کرول کند. توجه کنید که تمام ربات‌های گوگل از این فایل‌ها و دستورات آنها پیروی نمی‌کنند.

به عنوان مثال، برخی از ربات‌ها بوده که قصد بررسی وضعیت ایمنی سایت را دارند، آنها معمولا از دستورات robots.txt پیروی نمی‌کنند و کار خود را انجام می‌دهند. با این حال دسترسی اینگونه ربات‌ها به صفحات مورد نظر مشکلی برای سئو سایت به وجود نخواهد آورد. چرا که این اقدام آنها بیشتر برای بررسی امنیت سایت و مواردی از این قبیل است.

آیا ربات‌های گوگل مطالب مهم سایت شما را پیدا می‌کنند؟

برخی اوقات امکان دارد که ربات‌های گوگل برخی از مطالب یا صفحات مهم را بیشتر بررسی و در نتیجه بیشتر در نتایج گوگل نشان داده شود. اما مابقی مطالب شما هیچگونه بازدیدکننده‌ای نداشته باشند. این مساله ممکن است چندین دلیل مختلف داشته باشد. از جمله آنکه امکان دارد که محتوای برخی از صفحات شما در پشت فرم‌های ورود به سیستم پنهان شده و در این صورت Googlebot نمی‌تواند به آن دسترسی داشته باشد. احتمالا شما هم با این حالت هنگام ورود به برخی از وبسایت‌ها روبرو شده‌اید که به محض باز کردن صفحه، یک فرم خاص برای ثبت نام ظاهر می‌شود. این فرم‌ها می‌توانند مانع از کرول کردن مطالب توسط گوگل شوند. علاوه بر این موضوع، امکان دارد که صفحات شما از لینک‌سازی داخلی خوبی برخوردار نباشند. در این صورت ربات گوگل قادر به خزیدن نخواهد بود. همانگونه که این ربات‌ها سایت شما را از طریق قرار دادن لینک آن در سایت‌های دیگر کشف می‌کنند، این قضیه در بحث لینک‌های داخلی نیز وجود دارد.

یعنی ربات‌ها یک صفحه را از طریق یک صفحه دیگر کشف می‌کنند. بنابراین حتما مطالب مرتبط به یکدیگر را لینک کنید. علاوه بر این موراد، فاکتورهای دیگری نیز هستند که باعث می‌شوند ربات‌ها نتوانند به برخی از صفحات دسترسی داشته باشند. از جمله آنها می‌توان به محتوا مخفی و برخی موارد دیگر اشاره کرد که باید برای اصلاح آنها اقدام کنید.

آیا Googlebot هنگام دسترسی به سایت شما با خطا روبرو می‌شوند؟

خطاهای سایت یک عامل بسیار منفی بر روی سئو و بهینه‌سازی سایت محسوب می‌شوند. تصور کنید که یک مخاطب سایت با خطای 404 روبرو می‌شود. چه حالتی در او دست پیدا خواهد کرد و آیا دوباره به وبسایت مراجعه می‌کند؟ به احتمال زیاد پاسخ خیر است! این نوع خطاها از دید گوگل نیز پنهان نمانده و یک امتیاز بسیار منفی تلقی می‌شوند که باید برای رفع آنها تلاش کنید. اما قبل از هر اقدامی بهتر است با انواع آنها آشنا شوید

• خطاهای 4XX: این نوع از خطاها حالتی بوده که مشتری نمی‌تواند به محتوای صفحه دسترسی داشته باشد و سریعا آن را ترک می‌کند که تاثیر منفی بر روی نرخ پرش یا بانس ریت خواهد گذاشت. رایج‌ترین این خطاها همان خطای 404 یا خطای NOT FOUND است که در بسیاری از وبسایت‌ها نیز وجود دارد. علت به وجود آمدن آنها ممکن است به علت تغییر صفحه یا حذف آن و برخی موارد دیگر باشد. اما هر چه هست سریعا باید برای اصلاح آن اقدام کرد.
• خطاهای 5XX: این نوع از خطاها به خطای سرور معروف هستند. یعنی هنگامی که سرور نمی‌تواند درخواست جستجوگر را برای دسترسی به صفحه بدهد. با استفاده از گزارش Crawl Error سرچ کنسول می‌توانید به این خطا و همچنین خطاهای 404 دسترسی داشته باشید تا آنها را اصلاح کنید. یکی از بهترین راه‌ها برای اصلاح این نوع خطاها استفاده از ریدایکرت 301 است. با استفاده از آن به ربات‌های گوگل می‌گویید که این صفحه به صفحه دیگری تغییر پیدا کرده است.

موتورهای جستجو چگونه صفحات شما را بررسی و ذخیره می‌کنند؟

در قسمت قبل بیشتر بحث بر روی این بود که ربات‌های گوگل بتوانند سایت را بررسی و به اصطلاح کرول کند. بعد از این مرحله نوبت آن است که گوگل سایت شما را در نتایج جستجو نشان داده یا اصطلاحا ایندکس کند. اینکه یک صفحه یا یک سایت توسط ربات‌های گوگل کرول شده باشد، دلیل نیست که حتما ایندکس خواهد شد. در فرایند ایندکس کردن موتور جستجو اطلاعات و محتوا موجود در صفحات را بررسی و تحلیل می‌کند.

آیا صفحات از فرایند ایندکس شدن حذف می‌شوند؟

بله این کار امکان‌پذیر است! می‌توان صفحات را بعد از ایندکس شدن حذف کرد. برای این کار دلایل مختلفی می‌تواند وجود داشته باشد. این حالت بیشتر مربوط به تغییرات URL صفحات است که به آن اشاره کردیم. یعنی در صورت وجود خطاهای رایج 404 یا 405 می‌توان با استفاده از ریدایکرت 301 آنها را از نتایج گوگل حذف و به صفحات دیگر ارجاع داد.

به طور کل ممکن است URLها دچار خطاها و آسیب‌های متعددی شوند که باعث شود صفحات مربوط به آنها را در نتایج گوگل نشان ندهد. به عنوان مثال، ممکن است شما قبلا یک صفحه پربازدید داشته‌اید، اما در حال حاضر این صفحه در نتایج گوگل نمایش داده نمی‌شود. بنابراین باید با استفاده از ابزارهای مختلف که به آنها اشاره شد، وضعیت URLهای سایت خود را بررسی کنید.

به موتورهای جستجو بگویید که چگونه این سایت را ایندکس کند

با استفاده از دستورالعمل‌های ربات‌های متا که به آنها تگ متا نیز گفته می‌شود، می‌توانید به گوگل بگویید که چگونه مطالب سایت را ایندکس کند. به عنوان مثال، ممکن است شما بنا به دلایلی بخواهید که ربات‌های گوگل برخی از صفحات را ایندکس نکنند. برای انجام این کار می‌توان از متا تگ‌ها استفاده کرد. اما خود این متا تگ‌ها نیز دارای انواع مختلفی هستند که به آنها اشاره می‌کنیم.

انواع متا تگ

یکی از رایج‌ترین این متا تگ‌ها noindex است. با استفاده از آن می‌توانید به ربات‌های گوگل بگویید که برخی از صفحات خاص را ایندکس نکند تا در نتایج جستجو نیز نمایش داده نشود. به عنوان مثال، صفحات اسپم که اصطلاحا به آنها صفحات زامبی پیج نیز می‌گویند، از این نوع صفحات هستند. انجام این کار باعث می‌شود که سایر صفحات مهم شما بیشتر توسط ربات‌های گوگل دیده و بیشتر ایندکس شوند. منظور از زامبی پیج صفحاتی هستند که بنا به دلایل مختلف مانند بازدید بسیار کم، محتوا بی‌کیفیت یا محتوا کم، ارزش خاصی ندارند و مانع از آن می‌شوند که سایر صفحات خوب شما دیده شوند.

یکی دیگر از متا تگ‌ها استفاده از کد نوفالو nofollow است که دارای برخی شباهت‌ها و تفاوت‌ها با noindex است. در این کد شما به ربات‌های گوگل اجازه ایندکس شدن مطالب را خواهید داد، با این تفاوت که به آنها می‌گویید اینگونه لینک‌ها تاثیری بر روی رتبه صفحه نخواهند داشت. علاوه بر این موارد برخی دیگر از متا تگ‌ها وجود دارند که قابلیت بیشتری نسبت به این گزینه‌ها دارند. به عنوان مثال، با استفاده از برخی تگ‌ها می‌توان از ایندکس شدن برخی از فایل‌ها مانند فایل PDF یا ویدئو جلوگیری کرد. برای این کار باید از تگ X-Robots-Tag استفاده کرد.

موتورهای جستجو چگونه URLها را رتبه‌بندی می‌کنند؟

بعد از دو مرحله کرول کردن و ایندکس کردن به مرحله رتبه‌بندی می‌رسیم. یعنی زمانی که که صفحات شما توسط ربات‌های گوگل شناسایی و اکنون در نتایج جستجو مشخص هستند، اما ممکن است دارای رتبه‌های مختلف باشند. به عنوان مثال، آیا تا به حال فکر کرده‌‌اید که چرا با جستجو یک عبارت خاص در گوگل برخی از صفحات رتبه بهتری دارند؟ الگوریتم‌های گوگل هر چند وقت یکبار دچار تغییر می‌شوند. برخی از این تغییرات گسترده و برخی دیگر جزئی هستند. اما به هر صورت باید سعی کنید خود را با این الگوریتم‌ها سازگار کنید، در غیر اینصورت سایت شما دچار افت خواهد شد. اما چرا این الگوریتم‌ها دائما دچار تغییر می‌شوند؟

موتورهای جستجو از ما چه می‌خواهند؟

موتورهای جستجو از ما می‌خواهند که به سوالات کاربران به بهترین شکل ممکن پاسخ بدهیم. در واقع ما باید به بهترین شکل ممکن به نیازهای کاربران پاسخ دهیم. اما مساله و نکته کلیدی این است که نیازهای کاربران هر چند وقت یکبار دچار تغییر می‌شود. گوگل نیز به مرور زمان توجه خود را بر روی این مسائل گذاشت. به عنوان مثال، گوگل در چند سال اخیر دریافت که بسیاری از کاربران به دنبال مکان‌ها و موقعیت‌های محلی هستند. به عنوان مثال، آنها به دنبال خرید اینترنتی لباس در لندن هستند. در نتیجه برای پاسخ بهتر به نیازهای کاربران بحث سئو محلی به عنوان یک الگوریتم جدید توسط گوگل مطرح شد. اکنون وبسایت‌هایی که از این لحاظ بهتر عمل کنند، وضعیت بهتری به لحاظ رتبه‌بندی نسبت به رقبا خود دارند. مثال‌های بسیار زیادی از این قبیل وجود دارد که نشان‌ می‌دهد در صورت پیروی از الگوریتم‌های جدید گوگل، سایت‌ها می‌توانند رتبه‌های بهتری در موتورهای جستجو برای خود داشته باشند.

لینک‌ها نقش مهمی در رتبه‌ بندی دارند

هنگامی که از لینک‌ها صحبت می‌کنیم دو نوع از لینک دادن خارجی و داخلی وجود دارد. هر اندازه که سایر سایت‌ها به سایت شما لینک بدهند، از نظر گوگل رتبه و وضعیت سایت شما بهتر خواهد شد. بنابراین صفحات شما در نتایج گوگل وضعیت بهتری خواهند داشت و برعکس. به این نوع لینک‌ها اصطلاحا لینک خارجی یا بک لینک نیز گفته می‌شود. می‌توان بک لینک‌ها را خرید، اما باید توجه کرد که این کار باید با ترفندهای خاص خود صورت گیرد که توسط گوگل جریمه نشوید.

بهترین نوع بک‌لینک‌ها، بک‌‌لینک‌های طبیعی هستند که در وبسایت‌های مرتبط با وبسیات شما قرار داده شده‌اند. استفاده از لینک‌های داخلی در صفحات نیز یک عامل اثرگذار در بحث رتبه‌بندی محسوب می‌شود. به عنوان مثال، اگر شما دارای یک صفحه خاص هستنید و تمایل دارید تا آن را به صورت بهتری در نتایج گوگل نشان دهید، باید لینک آن را در صفحات دیگر قرار دهید.

از قدرت محتوا غافل نشوید؟

تمامی موارد فوق، زمانی که شما نتوانید محتوا خوب و غنی ارائه دهید، ارزش چندانی نخواهد داشت. بنابراین سعی کنید به بهترین نحو ممکن و با استفاده از روش‌های مختلف تولید محتوا کرده و در واقع به نیاز اصلی مخاطب در آن پاسخ دهید. در غیر اینصورت حتی اگر سایر مراحل را نیز به درستی بپیمایید، چندان نمی‌توانید بر روی موفقیت خود و رسیدن به هدف مورد نظر تمرکز کنید.

• 2
• 0