Disallow کردن آدرس‌های amp در Robot txt

amp یکی از تکنولوژی‌هایی است که در سالهای اخیر صحبت درمورد آن کم نبوده است و یکی از بخش‌های سئو تکنیکال در بخش موبایل است . این تکنولوژی درحقیقت امکانی را فراهم می‌کند که صفحات سایت در داخل موبایل سریع‌تر لود شوند .

این لود سریع بدین شکل است که ابتدا تمام متن صفحه نمایش داده خواهد شد و سپس قسمت‌های دیگر همچون عکس و … اما نکته مهمی که در مورد amp وجود دارد اینجاست که تکنولوژی amp در مقابل اکشن‌های صفحه واکنش ندارد ! برای مثال اگر شما روی دکمه ” افزودن به سبد خرید ” کلیک کنید ، در شرایطی که amp فعال است ، این افزودن به سبد اتفاق نخواهد افتاد . یا برای مثال ارسال دیدگاه در شرایط حاکم amp مقدور نیست .

زمانی احتمال دارد شما یا سئوکار شما اقدام به فعالسازی amp روی سایت کند . زمانی که amp روی سایت فعال شود بروی تمام آدرس‌های سایت ( به استثنا آدرس‌هایی که شما خودتان تعیین می‌کنید که در amp  نباشند ) ، شامل یک عبارت amp در آخر بصورت زیر خواهند بود :

https:// .... /?amp=1

تمامی این آدرس‌ها داخل گوگل سرچ کنسول ایندکس خواهند شد . با توجه به اینکه این آدرس‌ها همگی از طریق متد ? در نوار آدرس ایجاد شده است اما به این دلیل که کاربر از آنها بازدید می‌کند ، در قسمت indexing نمایش داده خواهند شد . زمانی که شما تصمیم داشتید تا amp را در سایت خودتان غیر فعال کنید ، پس از مدتی با مشکلات بسیاری در قسمت صفحات 404 بخاطر خطای این آدرس‌ها مواجه خواهید شد .

علاوه بر عبارت ?amp=1 یک عبارت ?namp را نیز ممکن است در داخل آدرس‌های خودتان مشاهده کنید . اما اگر amp را از روی سایت برداشتیم ، چگونه این آدرس‌ها را نیز از میان برداریم ؟ روشی که ممکن است به ذهن شما برسد در ابتدا اضافه کردن دستورات زیر در داخل فایل robots است :

Disallow: /*?amp*
Disallow: /*?namp*

این دستورات را می‌توانید استفاده کنید ، اما تحقیقات بسیاری در این زمینه انجام دادیم تا نهایتا به معدن اصلی یعنی خود سایت گوگل رسیدیم که در این باره مطلب مهمی را منتشر کرده است و عملا روش بالا را روشی تعریف کرده که بهترین روش نیست ! کارشناس گوگل اینگونه اشاره کرده که این روش کاملترین روش نیست و اگر به دنبال روشی هستید که با خیال راحت آن را انجام دهید به لینک زیر مراجعه کنید :

https://developers.google.com/search/docs/crawling-indexing/amp/remove-amp#remove-only-amp

اما در این لینک راجب چه چیزی صحبت شده است ؟؟؟ اگر به این صفحه دقیقا توجه کنید ، اینگونه گفته شده است که :

پیوند rel=”amphtml” را از صفحه غیرAMP معمولی در کد منبع حذف کنید

سرور خود را طوری پیکربندی کنید که برای صفحه حذف شده AMP یک HTTP 301 Moved Permanently یا 302 Found را برگرداند. ( یعنی حتما از حذف آدرس حاوی amp و تغییر مسیر 301 یا 302 استفاده کنید )

یک تغییر مسیر از صفحه حذف شده AMP به صفحه غیرAMP متعارف پیکربندی کنید .

اما در ادامه گفته شده است که ” اگر می‌خواهید یک صفحه AMP را علاوه بر حذف از جستجوی Google از پلتفرم‌های غیر Google حذف کنید ، این مراحل را کامل کنید ” :

• صفحه AMP خود را حذف کنید تا با پیکربندی سرور خود برای ارسال یک HTTP 404 Not Found برای صفحه AMP حذف شده شما، دیگر قابل دسترسی نباشد. این تضمین می‌کند که Google AMP Cache محتوای قدیمی را به پلتفرم‌های دیگر ارائه نمی‌کند. ( آدرس حاوی AMP باید تماما حذف شود و با 301 کردن ، مسبب عدم نمایش 404 شویم )
• Google AMP Cache را به‌روزرسانی کنید تا مطمئن شوید که محتوای AMP شما از حافظه پنهان حذف شده است. ( احتمال دارد با انجام ندادن این کار ، هنوز هم برخی صفحات در داخل کش گوگل باقی بمانند )
• با جستجوی محتوای خود در جستجوی Google، حذف صفحه AMP خود را تأیید کنید. برای تأیید حذف تعداد زیادی از صفحات AMP، از گزارش وضعیت AMP در کنسول جستجو استفاده کنید. به دنبال خط روند کاهشی در نمودار “صفحات AMP نمایه شده” باشید.
• اگر می‌خواهید پیوندهای دائمی را فعال نگه دارید، سرور خود را به گونه‌ای پیکربندی کنید که یک تغییر مسیر HTTP 301 برای صفحه AMP حذف شده‌تان به صفحه غیرAMP متعارف شما ارسال کند.

این دستورالعملی است که در خود گوگل با آن روبر هستید اما اکنون تفاوت حالت Disallow با این حالت چیست ؟ زمانی که شما Disallow می‌کنید ، به خزنده‌ها اجازه نمی‌دهید تا برخی آدرس‌ها را مشاهده کنند اما این آدرس‌‎ها همچنان در سایت هستند .

اما زمانی که شما صفحات شامل ای ام پی را از سایت حدف می‌کنید ، لازم است تا ریدایرکت 301 را انجام دهید . اگر شما تصمیم دارید تا آدرس‌های AMP همچنان در سایت شما وجود داشته باشند ( حالت AMP فعال باشد ) اما به دلیل مشکلاتی که در گوگل کسنول مشاهده می‌کنید ، نمی‌خواهید این آدرس‌ها ایندکس شوند ، از حالت Disallow استفاده خواهید کرد .

اما نکته مهم اینجاست که حالت Disallow به گفته خود گوگل و آنچه که از خود گوگل شاهد بودیم ، تاثیر کمی بروی دیده نشدن یک صفحه دارد و استفاده از حالت noindex بسیار مطمئن است . اما در مواردی خاص نمی‌توان از حالت noindex استفاده کرد و ناچار به Disallow کردن هستیم .

امید قدیمی هستم ، 8 سال است که در زمینه طراحی و برنامه نویسی وب سایت فعالیت می کنم . توسعه دهنده فرانت اند ، طراح و برنامه نویس انواع وب سایت های وردپرسی ، فعال در زمینه تولید محتوا و سئو وب سایت

اشتراک گذاری محتوا