تفاوت Noindex و Nofollow و Disallow

آماده هستید تا یکی از محتواهای مهم را یاد بگیرید ؟؟؟ موضوعی که در سایت‌های فارسی شاهد بررسی تخصصی آنها نیستیم و این افتخار را داریم که در سئو نود بصورت تخصصی موضوعی را بررسی کنیم که لازم است بشدت درمورد آن اطلاعات خود را بالا ببرید !!

در مبحث سئو ، برای دسته بندی یک آدرس در موتور جستجو ، سه حالت کلی داریم که عبارتند از Crawling و Indexing و Ranking ! این سه مرحله به ترتیب اتفاق خواهند افتاد . یعنی یک آدرس اول کراول خواهد شد و خزنده وارد آن خواهد شد . این اتفاق برای تمام صفحات که قابلیت خزیدن دارند خواهد افتاد .

قسمت Indexing مرحله بعد از خزیدن است که تمام محتوای صفحه در گوگل ایندکس شده و به مرحله Ranking یا همان رتبه بندی خواهد رفت . اما لازم است تا هریک از این مراحل را بصورت تخصصی و مجزا بررسی کنیم و اطلاع داشته باشیم که هرکدام دقیقا چگونه اتفاق خواهد افتاد و چگونه می‌توان جلوی هریک را گرفت ؟!؟

این سه حالت اگر به درستی مدیریت شوند ، نرخ خزش و ایندکس سایت شما به درستی سروسامان خواهد گرفت و لذا نتایج شما تاثیر شگرفی خواهند داشت .

Crawling و Indexing

قبل از اینکه یک وب سایت در نتایج جستجو نمایش داده شود ( تنها نمایش ، نه رتبه بندی ) لازم است تا محتوای صفحه توسط خرنده ها کاملا بررسی شوند که به این بخش Crawling گفته می‌شود .

Crawling در صفحاتی رخ خواهد داد که خاصیت Crawling در آنها وجود دارد . پس از انجام Crawling و در صورتی که این پروسه موفق باشد ، صفحه شما در وضعیت Indexing قرار خواهد گرفت ( درصورتی که اجازه index را داده باشیم ) و سایت شما در داخل نتایج جستجو نمایش داده خواهد شد .

اما هنوز رتبه بندی روی سایت شما انجام نشده است . به عبارتی هنوز به مرحله Ranking نرسیده‌ایم که ببینیم صفحه ما در چه Position داخل سرپ یا همان نتایج جستجو نمایش داده خواهد شد !

اگر پروسه Crawling و Indexing به درستی انجام شود ، پروسه Ranking نیز باتوجه به محتوای صفحه انجام خواهد شد و مشکلی وجود نخواهد داشت .

Crawling چگونه انجام می‌شود ؟

آدرس‌های داخل وب سایت ابتدا توسط رهگیری لینک‌های داخل سایت و سپس از طریق لینک‌های خارجی سایت یا همان بکلینک‌ها انجام می‌شود . عمل Crawling شامل بررسی تمام عناوین ، متاها ، تصاویر و … است . اما می‌توان کاری کرد که این Crawling به روش‌های دیگری انجام شود یا نشود !

Indexing چگونه انجام می‌شود ؟

پس از انجام عمل Crawling باتوجه به محتوای صفحه ، مرتبط بودن موضوعی صفحه و برخی فاکتورهای داخل خود صفحه ، عمل Indexing یا همان نمایش سایت در نتایج جستجو انجام می‌شود .

پس از این مرحله قسمت Ranking اتفاق خواهد افتاد که محتوای شما به مرور باتوجه به فعالیت‌های داخل صفحه ، Ranking خوب یا بدی را تجربه خواهد کرد .

Disallow ( کنترل خزیدن )

قسمت Disallow ارتباط مستقیمی با بخش Crawling دارد ، به عبارتی دیگر ، زمانی که شما از بخش Disallow جهت ایجاد ممنوعیت برای ورود خزنده به یک صفحه استفاده می‌کنید ، سدی را در برابر بخش Crawling قرار داده‌اید .

بعنوان یک سئوکار باید توجه داشته باشید که Disallow تماما بروی قسمت Crawling تاثیر خواهد گذاشت . همانطور که اطلاع دارید این بخش باید توسط فایل robots.txt انجام شود . در این فایل به ربات‌ها اطلاع می‌دهیم که کدام دایرکتوری‌ها را ترجیح می‌دهیم که خزیده نشوند . تمام حرف همین است !

در فایل روبوتس می‌توان علاوه بر مسدود کردن آدرس ، مسدود کردن ربات‌ها را نیز انجام داد . مثلا دسترسی فقط برای ربات‌های Bing بسته شود و برای ربات‌های google باز باشد . نکته مهم اینجاست :

به این ترتیب ممکن است صفحاتی که برای آنها Crawling را ممنوع کرده‌ایم ، در نتایج جستجو نمایش داده شوند !!! اما این اتفاق چگونه می‌افتد ؟

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-login.php
Disallow: /wp-content/plugins/
Disallow: */feed/
Disallow: /rss

خزنده‌ها براساس ممنوعیت Crawling نمی‌توانند صفحه را خزش کنند اما اطلاع دارند که چنین آدرسی وجود دارد و لذا می‌توانند آن را داخل نتایج نمایش دهند . زمانی که این اتفاق بیفتد شما احتمالا نتیجه‌ای از سایت خودتان را در نتایج جستجو مشاهده کنید که فاقد بخش Meta Description است و آن قسمت را خالی نمایش می‌دهد .

بر این اساس شما لازم است تا صفحاتی را در لیست Disallow قرار دهید که خزش خزنده‌ها در داخل آنها ، باعث ایجاد مشکل خواهد شد . مثلا ایجاد درخواست‌های زیاد به سمت سرور یا دیتاهایی که مسبب نمایش خطا در کد یا بخش schema خواهند شد . این بدین معنی است که این صفحات اصلا برای سئو ، کاربردی ندارد .

اکنون اگر صفحاتی وجود دارد که گوگل هرگز و تحت هیچ شرایطی نباید آنها را ببیند ، باید از روشی قوی‌تر استفاده کرد !!!

متا تگ Nofollow

قبل از اینکه به قسمت Noindex بپردازیم ، باید نگاهی به بخش Nofollow بیندازیم که این قسمت توسط یک متا تگ ایجاد خواهد شد .

این متا تگ در داخل تگ <head> سایت که در همان ابتدای هرصفحه است قرار دارد و بصورت زیر است :

<meta name="robots" content="nofollow" />

همچین در این قسمت می‌توان تنها به ربات خاصی اشاره کرد مثلا بصورت زیر :

<meta name="bingbot" content="nofollow" />

Nofollow به خزنده ها اجازه نخواهد داد تا پیوندها ( لینکهای ) صفحه را دنبال کنند . یعنی خزنده‌ها که وارد این صفحه شدند ، فقط خود این صفحه را مشاهده می‌کنند و به دنبال لینکهایی که در صفحه است نخواهند رفت !

خزنده‌ها در این حالت تمامی محتوای صفحه را خواهند دید و عمل index و crawl انجام خواهد شد و فقط لینکها دنبال نمی‌شوند .

Noindex ( کنترل ایندکس )

اگر ساده صحبت کنیم ، دستور “noindex” را می‌توان در هد صفحه‌ و در تگ متا روبات مشخص کرد. وقتی تگ متا noindex در صفحه گنجانده شود، ربات‌های جستجوگر مجاز به خزیدن در صفحه هستند و می‌توانند پیوندهای موجود در صفحه را بخزند اما از ایندکس کردن صفحه منع می‌شوند.

<meta name="robots" content="noindex,nofollow" />

با تعیین یک noindex ، صفحه در رتبه بندی نتایج جستجو قرار نمی گیرد!!! و نکته مهم و تفاوت آن با قسمت Disallow در اینجاست !!

پس در این حالت اگر کاربر URL آن را مستقیماً در مرورگر تایپ کند ، صفحه وب شما همچنان قابل مشاهده خواهد بود اما هرگز این صفحه در نتایج جست و جوی گوگل ظاهر نمی‌شود .

استفاده از noindex و Disallow درکنارهم

برای اینکه این دو ویژگی را کنار هم داشته باشید ، 3 سناریو وجود دارد .

در سناریوی اول (Noindex) ، صفحه با تنظیمات noindex در نتیجه جستجو گنجانده نمی‌شود با این حال ، یک ربات ممکن است همچنان صفحه را بخزد ! به این معنی که ربات‌ها می‌توانند به محتوای صفحه دسترسی داشته باشند و پیوندهای موجود در صفحه را دنبال کنند .

در سناریو دوم (Disallow) ، صفحه خزیده نمی‌شود اما ممکن است ایندکس شود و در نتایج جستجو ظاهر شود . از آنجایی که ربات صفحه را نخزیده است ، هیچ اطلاعات یا محتوایی از صفحه ندارد .

سناریو سوم (Disallow و Noindex کنارهم) ، دقیقاً مانند سناریو دوم عمل می کند . این به این دلیل است که وقتی یک Disallow در فایل robots.txt مشخص می‌شود ، ربات صفحه را نمی‌خزد . اگر ربات صفحه را نخزد ، متا تگ را که نشان دهنده ایندکس نکردن صفحه است را نیز نخواهد دید !!! اینجاش مهم بود ….

چه زمان از تگ Noindex باید استفاده کنیم ؟

باتوجه به 3 سناریوی بالا ، تصمیم گیری در این مورد با خود شما است . اگر قصد دارید تا صفحه شما در نتایج سرپ وجود نداشته باشد اما همچنان داخل سایت صفحه را برای مخاطبان حفظ کنید ، حالت Noindex اوکی است .

چه زمانی از Meta Robots Nofollow استفاده کنیم ؟

در حالت کلی باید به روبات‌ها گفته شود که می‌توانند همه پیوندهای یک صفحه را دنبال کنند . تهاجمی بودن بیش از حد در تعیین پیوندهایی که باید دنبال شوند یا nofollow شوند ، می‌تواند اینگونه به نظر برسد که گویی وب سایت در حال تلاش برای دستکاری داخل درک ربات از یک وب سایت است .

معمولا حالت nofollow درکنار noindex استفاده می‌شود . پس بهتر است از حالت Nofollow زیاد استفاده نکنیم ! مگر صفحه خیلی موقتی باشد !! امیدواریم این مقاله را بخوبی درک کرده باشید و از آنها به درستی استفاده کنید !

امید قدیمی هستم ، 8 سال است که در زمینه طراحی و برنامه نویسی وب سایت فعالیت می کنم . توسعه دهنده فرانت اند ، طراح و برنامه نویس انواع وب سایت های وردپرسی ، فعال در زمینه تولید محتوا و سئو وب سایت

اشتراک گذاری محتوا