متا تگ Robots یک قطعه کد HTML است که در بخش <Head> صفحه قرار می‌گیرد. با استفاده از متا تگ ربات (Meta Robots Tag) می‌توانیم به موتورهای جستجوگر دستور دهیم که چگونه هر صفحه از سایت را ایندکس کنند.
برای مثال با کمک متا تگ Robots می‌توانید مشخص کنید که یک صفحه از سایت ایندکس شود یا خیر؛ همچنین می‌توانید مشخص کنید که لینک‌های درون یک صفحه به صورت فالو (Follow) باشند یا نوفالو (NoFollow) باشند. همه این موارد را به کمک متا تگ ربات (Meta Robots Tag) می‌توانید مشخص کنید.
در مثال زیر، یک قطعه کد مربوط به متا تگ Robots را قرار داده‌ایم که مشخص کرده است صفحه ایندکس نشود و لینک‌های آن نوفالو باشد.
<meta name='robots' content='noindex, nofollow' />آنچه می‌خوانید:
مقادیر Content در متا تگ Robots
متا تگ Robots، مقادیر مختلفی دارد که با کمک آن‌ها می‌توانید به موتورهای جستجوگر دستور دهید. برای مثال همان‌طور که در قسمت بالا اشاره کردیم، با کمک یک قطعه کد به موتورهای جستجوگر دستور داده‌ایم که صفحه سایت را ایندکس نکنند (NoIndex) و همچنین لینک‌های آن را به صورت نوفالو (NoFollow) در نظر بگیرند.
البته علاوه‌بر NoIndex و NoFollow؛ مقادیر دیگری هم وجود دارند که توسط آن‌ها می‌توانید به موتورهای جستجو دستور دهید. حالا برای آشنایی و درک بهتر شما عزیزان، مقادیر را در قسمت زیر به صورت کامل تعریف کرده‌ایم که چه کاربردی دارند.
- index: به موتورهای جستجوگر مثل گوگل اجازه می‌دهد که صفحه را ایندکس کنند.
- noindex: به موتورهای جستجوگر اجازه ایندکس کردن را نمی‌دهد و این صفحه در نتایج جستجو نمایش داده نمی‌شود.
- follow: با این دستور موتورهای جستجوگر می‌توانند لینک‌های درون صفحه را دنبال کنند و به آن‌ها ارزش دهند.
- nofollow: با این دستور موتورهای جستجوگر نمی‌توانند لینک‌های درون صفحه را دنبال کنند و به آن‌ها ارزش دهند.
- all: کد کوتاه (Shortcut) برای استفاده از دستور index و follow به صورت همزمان
- none: کد کوتاه (Shortcut) برای استفاده از دستور noindex و nofollow به صورت همزمان
- noimageindex: از ایندکس شدن تصاویر یک صفحه جلوگیری میکند.
- noarchive: موتورهای جستجوگر نباید صفحات ذخیره شده در حافظه کش را نمایش دهند.
- nocache: مثل noarchive میباشد، اما صرفا توسط مرورگر Internet Explorer و Firefox کار میکند.
- nosnippet: به موتورهای جستجوگر گفته میشود که قطعهای از این صفحه (توضیحات متا) را در SERP نشان ندهند.
- nositelinkssearchbox: از نمایش کادر جستجو در SERP توسط موتورهای جستجوگر مثل گوگل جلوگیری میکند.
- nopagereadaloud: جلوگیری از خواندن اطلاعات صفحه توسط ابزارهای صوتی و جلوگیری از نمایش صفحه در جستجوهای صوتی
- notranslate: موتورهای جستجو نمی‌توانند اطلاعات ترجمه شده از صفحه را در SERP نمایش دهند.
- max-snippet: با استفاده از این دستور می‌توانید حداکثر تعداد کاراکترهای توضیحات متا را مشخص کنید.
- max-video-preview: حداکثر زمان یک ویدئو (به ثانیه) را برای پیش‌نمایش مشخص میکند.
- rating: به موتورهای جستجوگر نشان می‌دهد که محتوای صفحه برای بزرگسالان مناسب است.
- unavailable_after: برای موتورهای جستجوگر مشخص میکند که پس از یک تاریخ و زمان، صفحه را ایندکس نکنند.
قوانین موتورهای جستجوگر برای متا تگ Robots
تمام مقادیری که در قسمت قبل به آن‌ها اشاره کردیم، توسط موتور جستجوگر گوگل پشتیبانی می‌شوند. اما فراموش نکنید که هر موتور جستجوگر، قوانینی را برای خودش دارد. مقادیری که در قسمت قبل معرفی کردیم، ممکن است توسط برخی از موتورهای جستجوگر پشتیبانی شوند و همچنین ممکن است توسط برخی دیگر از موتورهای جستجوگر پشتیبانی نشوند.
تفاوت متا تگ Robots و فایل Robts.txt
متا تگ Robots و فایل Robots.txt به صورت کلی باهم فرق دارند و متاسفانه بسیاری از سئوکارها فکر می‌کنند تفاوتی باهم ندارند. در واقع بسیاری از سئوکارها فکر می‌کنند که با کمک فایل Robots.txt می‌توان بخشی از سایت را به صورت کلی مسدود کرد که توسط موتورهای جستجوگر ایندکس نشوند. اما این یک تصور 100 درصد اشتباه است.
طبق گفته‌های موتور جستجوی گوگل، با کمک فایل Robots.txt فقط می‌توانید دسترسی ربات‌ها را مسدود کنید و این موضوع هیچ ربطی به ایندکس ندارد. در نتیجه اگر یک صفحه از سایت را با کمک فایل Robots.txt محدود کرده باشید و یک لینک خارجی به همان صفحه داده شود، بازهم گوگل آن را ایندکس خواهد کرد. اما اگر از متا تگ Robots استفاده کنید، چنین مشکلی به وجود نمی‌آید.
کلام آخر
در پایان امیدواریم که این مقاله آموزشی برای شما عزیزان مفید واقع شده باشد. اگر سوال یا مشکلی در رابطه با متا تگ Robots دارید، کافی است در بخش دیدگاهها مطرح کنید و منتظر پاسخ کارشناسان ما باشید.
باسلام خدمت شما و با تشکر از مقالات خوبتون
ببخشید به عنوان یه طراح سایت با وردپرس این تگ رو دقیقا باید در کجا بگذارم ؟ و چطور میتونم از اون استفاده کنم؟
باتشکر از شما
درود بر جناب اسفندیاری عزیز و گرامی
به زودی مقاله را به‌روزرسانی می‌کنیم و نحوه استفاده از متا تگ Robots را آموزش می‌دهیم.
ممنونیم از اینکه وبلاگ سایت ابزار وردپرس را دنبال می‌کنید. 💖
با سلام و وقت بخیر
*****
این لینکی که گذاشتم ایندکس نمیشه و سرچ کنسول میگه بخاطر No: ‘noindex’ detected in ‘robots’ meta tag هستش ولی سورس رو که نگاه کنیم ایندکس رو رفتیم. چیکار کنم ایندکس بشه. ممنون میشم راهنمایی کنید
درود بر شما کاربر گرامی.
این موضوع میتونه دلایل مختلفی داشته باشه و باید موارد مختلفی را بررسی کنید.
در حال حاضر پیشنهاد می‌کنیم که فایل Robots.txt را چک کنید و مطمئن شوید مشکلی وجود نداره.
همچنین مطمئن شوید که نقشه سایت را به صورت کامل و درست در اختیار گوگل قرار داده‌اید.