مهدی جبین پور

مدرس

مهدی جبین پور
null

مدت زمان

حدود 16 دقیقه
null

حق کپی رایت

کپی مجاز نمی باشد

فایل robots.txt چیست؟

به یازدهمین جلسه از آموزش سئو وردپرس خوش آمدید. باید بدانید که فایل robots.txt یک فایل متنی ساده با فرمت txt است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه ( روت اصلی ) سایت قرار می گیرد (یعنی به طور مستقیم در فولدر public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد.

فایل robots.txt چیست؟

فایل robots.txt چیست؟

دلیل استفاده از فایل robots.txt در وبسایت

در واقع استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری و وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین این فایل به شما این امکان را میدهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.

آیا استفاده از فایل روبوت ضروری است؟

خیر ، با این تفاسیر استفاده از این فایل همیشه هم ضروری نیست و همانطور که در ویدئو آموزش سئو وردپرس گفتیم، در موارد مسدود کردن دسترسی ربات ها به صفحات خاص (لینک های خاص) کاربرد دارد، اما به دلیل اینکه اکثر ربات های جستجوگر همواره این فایل را از سرور شما بررسی و درخواست می کنند، بهتر است برای اجتناب از افزایش خطاهای 404 که در بخش log ها و آمار سایت جلوه خوبی ندارند، حتی شده یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

فایل robots.txt

فایل robots.txt

آموزش ساخت فایل robots.txt

به این جلسه از آموزش سئو توجه کافی داشته باشید.در لاین اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent می آوریم. به شکل زیر :

User-agent: *

 

علامت *  به این معناست که همه ی ربات های پیمایشگر ، این دستورات را باید رعایت کنند.
در صورتی کع بخواهید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :
Useragent: googlebot

دستور Disallow در فایل روبوت

1- برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

2- برای عدم دسترسی به یک فولدر یا دسته از وبسایت می توانید نام آن را وارد کنید:

Disallow: /wp-admin/

3- برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید:

Disallow: /blog/robotstxt-file/

4- برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید:

User-agent: Googlebot-Image
Disallow: /images/image.jpg

5-  برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

6- همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

نکته مهم : توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. همچنین پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. از اینکه در این آموزش با وبسایت ابزار وردپرس ( مرجع قالب وردپرس ، آموزش وردپرس و افزونه وردپرس ) همراه بودید از شما مشتکریم.

, , , , , , ,
نوشتهٔ پیشین
تگ کنونیکال چیست؟ Canonical
نوشتهٔ بعدی
آموزش افزونه سفارشی سازی قالب داشبورد وردپرس – WPShapere

محصولاتی که شاید دوست داشته باشید :

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.

80 دیدگاه. ارسال دیدگاه جدید

  • محمد رعیت پیشه
    نوامبر 9, 2020 9:09 ب.ظ

    سلام خسته نباشید
    سایت من اینها رو هم داره میتونید راهنمایی کنید که مفیدن یا خیر؟

    Disallow: /wp-admin/
    Disallow: */feed/
    Disallow: /wp-includes/
    Disallow: /tags.php
    Disallow: /cart/
    Disallow: /my-account/

    پاسخ
    • تیم پشتیبانی
      نوامبر 9, 2020 11:55 ب.ظ

      سلام ، مشکلی در این کدها نیست ولی بهتر است از حالت طبیعی گفته شده استفاده شود. باتشکر

      پاسخ
  • نیلوفر بهاروند
    اکتبر 14, 2020 1:10 ب.ظ

    سلام، خیلی ممنون از آموزشهای شما.
    بعد از انجام همه مواردی که فرمودین متاسفانه در بخش ایندکس سایت با پیغام زیر روبرو میشوم.
    Page cannot be reached
    This could be because the page is unavailable or blocked by robots.txt

    لطف میکنید راهنمایی بفرمایید؟

    پاسخ
  • من اکانت ساختم داشتم دوره سئو رو نگاه می کردم امروز اومدم می بینم وارد اکانتم نمی شه و منو انداختید بیرون ینی چی آخه ؟

    من می خوام دوره ای رو خرید کنم اگر این طوری ادمو می اندازین بیرون نمی شود بهتون اعتماد کرد

    پاسخ
    • کارشناس پشتیبانی شماره دو
      سپتامبر 10, 2020 8:34 ق.ظ

      با سلام و احترام به شما کاربر گرامي ،
      ما کاربران لاگین را خارج نمی کنیم ، این بستگی به کوکی های مرورگر شما دارد ، امیدوارم دیگر برای شما این اتفاق رخ ندهد. شما می توانید لاگین نمایید واگر مشکلی بود با شرکت تماس داشته باشید.
      با تشکر.

      پاسخ
  • حسین وجدانی
    سپتامبر 8, 2020 4:42 ب.ظ

    سلام من برای صفحات حریم خصوصی و قوانین فروشگاه چند پاراگراف رو از سایتی کپی کردم، آیا تاثیر منفی در سئو داره؟ اگر noindex کنم چی؟؟

    پاسخ
  • ریحانه نوروزی
    آگوست 30, 2020 7:29 ب.ظ

    سلام و خسته نباشید
    فایل کد robots.txt زیر ویدیو قرار ندارد؟

    پاسخ
  • سلام
    عالی مثل همیشه

    پاسخ
  • با سلام و تشکر فراوان برای آموزش های خوبتون
    سوال من اینه اگه پوشه wp-admin را بهش اجازه ورود بدیم (یعنی مثل سایت شما همه چیز قابل دسترسی باشه) در مورد هک کردن سایت ما مشکلی برامون پیش نمیاد؟

    پاسخ
    • تیم پشتیبانی
      مارس 12, 2020 8:23 ب.ظ

      سلام بر شما ، هک شدن از این مسائل خیلی جلوتر رفته و عملاً این چیز ها باعث هک نمی شود. در انتخاب قالب و افزونه هایتان با اطمینان عمل کنید مشکلی نخواهد بود. همچنین فایل robots ارتباطی به هک شدن ندارد زیرا هر روباتی از اصول این فایل پیروی نمی کند و برای گوگل است. باتشکر

      پاسخ
  • عرفان محمدیان
    فوریه 12, 2020 9:43 ق.ظ

    سلام خدمت شما عزیزان زحمت کش من یه سوال داشتم من اگه بخوام گوگل ساب دامین منو ایندکس نکنه باید چیکار کنم؟

    پاسخ
    • کارشناس پشتیبانی شماره دو
      فوریه 14, 2020 6:02 ب.ظ

      با سلام ، ضمن سپاس از حضور شما ،
      ساده ترین راه این است که در تنظیمات قالب> خواندن> تیکت ایندکس توسط موتور های جستجو را بردارید.
      با تشکر.

      پاسخ
  • عرض سلام و وقت بخیر خیلی ممنونم بابت اموزش عالیتون من در صفحه پابلیگ اچ تی ام الم پوشه ای به نام robots.txt ندارم ولی در ادامه دامنه سایت وجود داره نمیدونم که وردپرس این فایل را کجا قرار داده میتونم که این فایل را دباره در صفحه اصلی پابلیگ اچ تی ام الم ایجاد کنم چون میخوام اون رو تغیر بدم! ممنون میشم راهنمایی کنید

    پاسخ
    • تیم پشتیبانی
      اکتبر 27, 2019 4:00 ب.ظ

      سلام بطور پیشفرض این فایل نمایش داده می شود اگر نداریدش یکی بسازید و آن را ویرایش کنید جایگزین فعلی می شود. باتشکر

      پاسخ
  • فراز مخیّر
    اکتبر 5, 2019 10:06 ب.ظ

    با سلام
    بنده وقتی در کنسول گوگل site map را ایندکس می کنم با ارور زیر مواجه می شوم ممکن است به robots.txt مربوط باشد یا عادی است و نیازی ایندکس سایت مپ نیست
    No: ‘noindex’ detected in ‘X-Robots-Tag’ http header

    پاسخ
  • سلام و عرض ادب
    من یک سایت برای فروش برنج دارم که تو اون برای یک محصول خاص مثل برنج هاشمی چند صفحه دارم که توضیحات یکی هستش ولی وزن و قیمت فرق میکنه یعنی یه صفحه دارم که برنج هاشمی 5 کیلویی ، بعدی 10 و اون یکی 20 کیلویی هست . تمام اینا توضیحاتشون یکی هستش ، آیا من باید برای این مدل محتوای تکراری باید از robot txt استفاده کنم؟
    ممنون از شما

    پاسخ
    • سارا حمیدی فر
      آگوست 30, 2019 12:36 ب.ظ

      سلام بر شما ، می توانید از کنونیکال استفاده نمایید که در جلسات بعدی آموزش داده شده است. باتشکر

      پاسخ
  • فریبا خردمند
    آگوست 9, 2019 1:54 ب.ظ

    سلام، روزتون خوش، ممنون از زحمات تون. در مورد این آموزش یک سوال برای من ایجاد شده ممنون میشم راهنمایی کنین.
    برای وارد کردن نقشه سایت در robots.txt حالت http://www.example.com/sitemap.xml با http://www.example.com/sitemap_index.xml چه تفاوتی دارن؟ آیا مشکلی ایجاد میکنه؟
    سوال دوم ام اینه که وقتی می خوام سایت مپ یه سایت رو چک کنم مثلا وقتی با www میزنم میاره اما بدون www نمیاره، آیا این یه مشکله؟

    پاسخ
    • سارا حمیدی فر
      آگوست 9, 2019 9:05 ب.ظ

      سلام بر شما ، هیچ تفاوتی ندارند نقشه هر سایت لینک خاص خودش را دارد. مورد دوم نیز مشکل نیست بلکه بستگی به لینک سایت شما دارد. باتشکر

      پاسخ
  • رسول محمدی
    آوریل 16, 2019 9:46 ب.ظ

    سلام
    وقت بخیر
    خدا قوت
    واقعا ممنونم بابت آموزشهای فوق العادتون. عالی هستن
    در سایتی خوندم که گفته بود پوشه پلاگین و فایل readme.html رو در robots.xt از دسترس خارج کنید چون ممکنه هکرها از این دو تا برای هک کردن استفاده کنن
    این موضوع چقدر صحت داره و پیشنهاد شما چیه؟

    پاسخ
    • کارشناس پشتیبانی
      آوریل 17, 2019 1:10 ق.ظ

      با سلام و احترام ، این موضوع قدیم مطرح می شد اکنون این فایل ها دیگر خطر امنیتی ندارند. باتشکر

      پاسخ
  • وحید حسینی
    آوریل 15, 2019 12:27 ب.ظ

    با سلام
    من اونجایی که گفتید ادرس سایت مپ و داخا robot.txt وارد کنید ونفهمیدم ادرس سایت مپ و از کجا بیارم .
    ممنون از ویدیو های عالی شما

    پاسخ
  • سلام استاد بزرگوار
    شما فرمودید اگه دستور / :Disallow داخل فایل robots.txt قرار بگیره مرگ سایت هست . الان تو وب مستر تولز قسمت robots.txt Tester برای سایت ما همون دستور رو میاره درحالی که تو هاست سایت اصلا فایل robots.txt موجود نیست . برای حل این مشکل باید چه کار کرد ؟
    با تشکر

    پاسخ
  • محسن مرتضوی یزدی
    دسامبر 30, 2018 7:57 ب.ظ

    سلام شما ثابت کردین مردمان یزد بهترین مردمان ایران هستند همشهری گرامی ارزوی موفقیت بیشتر برای شما دارم

    مدیریت کفش چرمینه

    پاسخ
  • سلام، وقت بخیرمن فایل robots.txt رو مطابق اونچه که شما در آموزش فرموده بودین، ویرایش و ذخیره کردم. یعنی تنها با دستورات User-agent: * و sitemap سایتم. اما همچنان در گوگل وب مستر، وقتی sitemap سایت ودم رو وارد می کنم با پیغام اینکه فایل robots.txt، اومده و URLهام رو محصور کرده مواجه میشم.     URL restricted by robots.txtممنون میشم راهنماییم کنید.

    پاسخ
  • با سلام و خسته نباشید بنده وقتی robots.txt رو بعداز دامنه سایتم میزنم وجود داره اما در هاستم نیست. اگر به صورت hiden باشه چطور میتونم از hiden دربیارمش؟ سپاس از شما

    پاسخ
  • درود بر شما آموزش خیلی خوبی بود.بنده این فایل رو بروز کردم و به صورت پیشفرض User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php دستور توش بود. الان تو Search Console یه خطای از نوع Other برام ثبت کرده و عنوان خطاش اینه:Googlebot couldn’t access this page because the server didn’t understand the syntax of Googlebot’s request.این خطا مربوط به تنظیمات robot.txt یا چیز دیگه؟

    پاسخ
  • با سلام و عرض احترامعذر میخوام من در فایل ربات نقشه سایت مپ رو دقیقا جوریکه گفته بودید وارد کردم.بعد همونطور که در نظرات پاسخ داده بودید گزینه شو هیدن روفعال کردم الان دیگه سایتم بالا نمیاد؟میشه راهنمایی بفرمایید؟

    پاسخ
  • سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه که داخلش این پیام را نمایش میده User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.phpآیا نیازی میبنید که بخام تغییری ایجاد کنم/اگر نیاز به تغییر وجود داره آیا باید طبق ویدیو ی آموزشی یک فایل بسازم

    پاسخ
  • زهرا حسینی
    مارس 25, 2018 2:21 ب.ظ

    سلام ، من قبلا روی دامنه sarnakh.co یه قالبه دیگه داشتم بعد الان اون و کلا حذف کردم و الان توی یه هاست جدید قالب جدید روی این دامنه بالا اوردم
    بعد توی سرچ کنسول تو بخش crawl errors یه سری صفحه که تو قالبه قبلی بوده رو که اینجا میاره چون پیدا نکرده به ادرسه جدید ریدایرکت میکنم ولی یه سری ادرس میاد با ارور 404 که به .html ختم شدن و اسمه عجیب غریب دارن و اصلا فکر نکنم تو سایته قبلیه هم بوده باشن
    سواله من اینه این ادرس هایی که به .html ختم شدن از کجا میان? تو سایته قبلی نبود اینا اخه

    پاسخ
    • کارشناس پشتیبانی - سطح سوم
      مارس 27, 2018 1:18 ب.ظ

      با سلام و احترام ، ضمن سپاس از تماس شما متاسفانه امکان بررسی این مورد توسط ما وجود ندارد. شما باید با یک متخصص مشورت داشته باشید. باتشکر

      پاسخ
  • سلام من تمام پست ها رو خونئم تا احیانا سوالم تکراری نباشه من در ادامه ادرس یایتم روبوت txt رو میزنم برام میاد اون دستورا اما وقتی میخوام اصلاحش کنم در سی پنلم نیست حتی فایل های مخفی رو هم به حالت نمایش گذاشتم اما نبود

    پاسخ
    • سلام ، یک فایل دقیقا مشابه آن بسازید و از آن استفاده کنید. ولی توجه داشته باشید اگر نیاز خاصی به تغییر این فایل ندارید هیچ تغییری در آن ایجاد نفرمایید. باتشکر

      پاسخ
  • سلام جناب جبین پور خسته نباشید و تشکر از آموزش های خوبتون . بعد از آدرس سایتم robots.txt رو وارد میکنم یه صفحه خالی بدون هیچ نوشته ای میاد قبلا مطالب سایتم خوب بود صفحه اول گوگل بود الان نه . باید فایل robot رو مجدد بسازم ؟

    پاسخ
    • سارا حمیدی فر
      فوریه 12, 2018 3:11 ب.ظ

      سلام ، robots.txt باعث افزایش رتبه سایت نمی شود ، اگر robots.txt خالی باشد هیچ مشکلی وجود ندارد. باتشکر

      پاسخ
  • سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه با disallow:/  خالی که شما گفتید خوب نیست. الان من از کجا میتونم ویرایشش کنم در حالی که فایلش نیست در هاستم ؟ممنون

    پاسخ
  • سلام خسته نیاشید اقای جبین پور من میخوام سایتم رو گوگل نبینه و اصطلاحا بکشم ایم کد رو میزارم تو robots.txt ولی قلوب نمیکنه وبمستر باید چیکار کنم تا بتونم سایتم رو از بین ببرم در ضمن سایتم اسمش bedonesod.ir هست و فقط میخوام یاد بگیرم همین و از ساخت این سایت دو هفته نمیگذره

    پاسخ
    • کارشناس پشتیبانی - سطح سوم
      ژانویه 20, 2018 10:51 ق.ظ

      سلام ، جناب جبین پور در حال حاضر تشریف ندارند ، انشالله سوال شما در آینده پاسخ داده خواهد شد. باتشکر

      پاسخ
  • سلام آقای جبین پور با تشکر از آموزش های خوبی که ارائه میدید. من وقتی فایل robots.txt رو فراخوانی میکنم بدونه مشکل نمایش میده ولی وقتی که داخل هاست میرم فایلش نیست حتی قسمت نمایش فایلهای مخفی در هاست رو هم فعال میکنم ممنون میشم راهنمایی کنید مشکل از چی میتونه باشه؟ من میخوام اون بخش آخری که سایت مپ رو اضافه کردید به ربوت اضافه کنم

    پاسخ
  • یعنی عالی بود . خسته نباشید . گرفتار شده بودم شدید دستت درد نکنهممنون

    پاسخ
  • محمدرضا خسروی
    نوامبر 11, 2017 10:26 ب.ظ

    سلام و عرض احترام خدمت اقای جبین پور عزیز

    در فیلم های اموزشی سئو قسمت ۱۱

    من متوجه نشدم بالاخره بعد از کلمه ی useragaint

    ستاره وارد کنیم یا گوگل بات (*,googlebot)

    ممنون میشم راهنماییم کنید

    پاسخ
  • سلام جناب مهندسبرای من در تب Structured Data بخش hentry 236 ارور نشان میده. سایت تازه تاسیس هست میخوام بدونم چظور میتونم این مشکلاتو رفع کنم؟ کمک می کنید؟

    پاسخ
  • سلامچرا تو فایل ربات با اینکه فقط User–agent: *sitemap: ********* را وارد کردم ولی تو مرورگر وقتی آدرسشو وارد کردم که محتوای فایلو ببینم به این صورت User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php بهم نشون میده

    پاسخ

اشتراک گذاری این صفحه در شبکه های اجتماعی

فهرست