ویدئو در حال بارگذاری است ...
null

مدرس

مهدی جبین پور
null

مدت زمان

حدود 24 دقیقه

فایل robots.txt چیست؟

به یازدهمین جلسه از آموزش سئو وردپرس خوش آمدید. باید بدانید که فایل robots.txt یک فایل متنی ساده با فرمت txt است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه ( روت اصلی ) سایت قرار می گیرد (یعنی به طور مستقیم در فولدر public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد.

فایل robots.txt چیست؟

فایل robots.txt چیست؟

دلیل استفاده از فایل robots.txt در وبسایت

در واقع استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری و وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین این فایل به شما این امکان را میدهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.

آیا استفاده از فایل روبوت ضروری است؟

خیر ، با این تفاسیر استفاده از این فایل همیشه هم ضروری نیست و همانطور که در ویدئو آموزش سئو وردپرس گفتیم، در موارد مسدود کردن دسترسی ربات ها به صفحات خاص (لینک های خاص) کاربرد دارد، اما به دلیل اینکه اکثر ربات های جستجوگر همواره این فایل را از سرور شما بررسی و درخواست می کنند، بهتر است برای اجتناب از افزایش خطاهای 404 که در بخش log ها و آمار سایت جلوه خوبی ندارند، حتی شده یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

فایل robots.txt

فایل robots.txt

آموزش ساخت فایل robots.txt

به این جلسه از آموزش سئو توجه کافی داشته باشید.در لاین اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent می آوریم. به شکل زیر :

User-agent: *

 

علامت *  به این معناست که همه ی ربات های پیمایشگر ، این دستورات را باید رعایت کنند.
در صورتی کع بخواهید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :
Useragent: googlebot

دستور Disallow در فایل روبوت

1- برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

2- برای عدم دسترسی به یک فولدر یا دسته از وبسایت می توانید نام آن را وارد کنید:

Disallow: /wp-admin/

3- برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید:

Disallow: /blog/robotstxt-file/

4- برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید:

User-agent: Googlebot-Image
Disallow: /images/image.jpg

5-  برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

6- همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

نکته مهم : توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. همچنین پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. از اینکه در این آموزش با وبسایت ابزار وردپرس ( مرجع قالب وردپرس ، آموزش وردپرس و افزونه وردپرس ) همراه بودید از شما مشتکریم.

0/5
, , , , , ,
نوشته‌های پیشین
نقشه سایت چیست؟ Sitemap چیست؟ آموزش ساخت نقشه سایت
نوشته‌ی بعدی
استفاده از تگ های Noindex و Noarchive و Nofollow

پست های مرتبط

56 دیدگاه. ارسال دیدگاه جدید

Avatar
رسول محمدی
آوریل 16, 2019 9:46 ب.ظ

سلام
وقت بخیر
خدا قوت
واقعا ممنونم بابت آموزشهای فوق العادتون. عالی هستن
در سایتی خوندم که گفته بود پوشه پلاگین و فایل readme.html رو در robots.xt از دسترس خارج کنید چون ممکنه هکرها از این دو تا برای هک کردن استفاده کنن
این موضوع چقدر صحت داره و پیشنهاد شما چیه؟

پاسخ
    کارشناس پشتیبانی
    کارشناس پشتیبانی
    آوریل 17, 2019 1:10 ق.ظ

    با سلام و احترام ، این موضوع قدیم مطرح می شد اکنون این فایل ها دیگر خطر امنیتی ندارند. باتشکر

    پاسخ
Avatar
وحید حسینی
آوریل 15, 2019 12:27 ب.ظ

با سلام
من اونجایی که گفتید ادرس سایت مپ و داخا robot.txt وارد کنید ونفهمیدم ادرس سایت مپ و از کجا بیارم .
ممنون از ویدیو های عالی شما

پاسخ

سلام استاد بزرگوار
شما فرمودید اگه دستور / :Disallow داخل فایل robots.txt قرار بگیره مرگ سایت هست . الان تو وب مستر تولز قسمت robots.txt Tester برای سایت ما همون دستور رو میاره درحالی که تو هاست سایت اصلا فایل robots.txt موجود نیست . برای حل این مشکل باید چه کار کرد ؟
با تشکر

پاسخ
Avatar
محسن مرتضوی یزدی
دسامبر 30, 2018 7:57 ب.ظ

سلام شما ثابت کردین مردمان یزد بهترین مردمان ایران هستند همشهری گرامی ارزوی موفقیت بیشتر برای شما دارم

مدیریت کفش چرمینه

پاسخ

سلام، وقت بخیرمن فایل robots.txt رو مطابق اونچه که شما در آموزش فرموده بودین، ویرایش و ذخیره کردم. یعنی تنها با دستورات User-agent: * و sitemap سایتم. اما همچنان در گوگل وب مستر، وقتی sitemap سایت ودم رو وارد می کنم با پیغام اینکه فایل robots.txt، اومده و URLهام رو محصور کرده مواجه میشم.     URL restricted by robots.txtممنون میشم راهنماییم کنید.

پاسخ

با سلام و خسته نباشید بنده وقتی robots.txt رو بعداز دامنه سایتم میزنم وجود داره اما در هاستم نیست. اگر به صورت hiden باشه چطور میتونم از hiden دربیارمش؟ سپاس از شما

پاسخ

درود بر شما آموزش خیلی خوبی بود.بنده این فایل رو بروز کردم و به صورت پیشفرض User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php دستور توش بود. الان تو Search Console یه خطای از نوع Other برام ثبت کرده و عنوان خطاش اینه:Googlebot couldn’t access this page because the server didn’t understand the syntax of Googlebot’s request.این خطا مربوط به تنظیمات robot.txt یا چیز دیگه؟

پاسخ

با سلام و عرض احترامعذر میخوام من در فایل ربات نقشه سایت مپ رو دقیقا جوریکه گفته بودید وارد کردم.بعد همونطور که در نظرات پاسخ داده بودید گزینه شو هیدن روفعال کردم الان دیگه سایتم بالا نمیاد؟میشه راهنمایی بفرمایید؟

پاسخ

سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه که داخلش این پیام را نمایش میده User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpآیا نیازی میبنید که بخام تغییری ایجاد کنم/اگر نیاز به تغییر وجود داره آیا باید طبق ویدیو ی آموزشی یک فایل بسازم

پاسخ
Avatar
زهرا حسینی
مارس 25, 2018 2:21 ب.ظ

سلام ، من قبلا روی دامنه sarnakh.co یه قالبه دیگه داشتم بعد الان اون و کلا حذف کردم و الان توی یه هاست جدید قالب جدید روی این دامنه بالا اوردم
بعد توی سرچ کنسول تو بخش crawl errors یه سری صفحه که تو قالبه قبلی بوده رو که اینجا میاره چون پیدا نکرده به ادرسه جدید ریدایرکت میکنم ولی یه سری ادرس میاد با ارور 404 که به .html ختم شدن و اسمه عجیب غریب دارن و اصلا فکر نکنم تو سایته قبلیه هم بوده باشن
سواله من اینه این ادرس هایی که به .html ختم شدن از کجا میان😐 تو سایته قبلی نبود اینا اخه

پاسخ
    کارشناس پشتیبانی - سطح سوم
    کارشناس پشتیبانی - سطح سوم
    مارس 27, 2018 1:18 ب.ظ

    با سلام و احترام ، ضمن سپاس از تماس شما متاسفانه امکان بررسی این مورد توسط ما وجود ندارد. شما باید با یک متخصص مشورت داشته باشید. باتشکر

    پاسخ

سلام من تمام پست ها رو خونئم تا احیانا سوالم تکراری نباشه من در ادامه ادرس یایتم روبوت txt رو میزنم برام میاد اون دستورا اما وقتی میخوام اصلاحش کنم در سی پنلم نیست حتی فایل های مخفی رو هم به حالت نمایش گذاشتم اما نبود

پاسخ

    سلام ، یک فایل دقیقا مشابه آن بسازید و از آن استفاده کنید. ولی توجه داشته باشید اگر نیاز خاصی به تغییر این فایل ندارید هیچ تغییری در آن ایجاد نفرمایید. باتشکر

    پاسخ

سلام جناب جبین پور خسته نباشید و تشکر از آموزش های خوبتون . بعد از آدرس سایتم robots.txt رو وارد میکنم یه صفحه خالی بدون هیچ نوشته ای میاد قبلا مطالب سایتم خوب بود صفحه اول گوگل بود الان نه . باید فایل robot رو مجدد بسازم ؟

پاسخ
    سارا حمیدی فر
    سارا حمیدی فر
    فوریه 12, 2018 3:11 ب.ظ

    سلام ، robots.txt باعث افزایش رتبه سایت نمی شود ، اگر robots.txt خالی باشد هیچ مشکلی وجود ندارد. باتشکر

    پاسخ

سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه با disallow:/  خالی که شما گفتید خوب نیست. الان من از کجا میتونم ویرایشش کنم در حالی که فایلش نیست در هاستم ؟ممنون

پاسخ

سلام خسته نیاشید اقای جبین پور من میخوام سایتم رو گوگل نبینه و اصطلاحا بکشم ایم کد رو میزارم تو robots.txt ولی قلوب نمیکنه وبمستر باید چیکار کنم تا بتونم سایتم رو از بین ببرم در ضمن سایتم اسمش bedonesod.ir هست و فقط میخوام یاد بگیرم همین و از ساخت این سایت دو هفته نمیگذره

پاسخ
    کارشناس پشتیبانی - سطح سوم
    کارشناس پشتیبانی - سطح سوم
    ژانویه 20, 2018 10:51 ق.ظ

    سلام ، جناب جبین پور در حال حاضر تشریف ندارند ، انشالله سوال شما در آینده پاسخ داده خواهد شد. باتشکر

    پاسخ

سلام آقای جبین پور با تشکر از آموزش های خوبی که ارائه میدید. من وقتی فایل robots.txt رو فراخوانی میکنم بدونه مشکل نمایش میده ولی وقتی که داخل هاست میرم فایلش نیست حتی قسمت نمایش فایلهای مخفی در هاست رو هم فعال میکنم ممنون میشم راهنمایی کنید مشکل از چی میتونه باشه؟ من میخوام اون بخش آخری که سایت مپ رو اضافه کردید به ربوت اضافه کنم

پاسخ

یعنی عالی بود . خسته نباشید . گرفتار شده بودم شدید دستت درد نکنهممنون

پاسخ
Avatar
محمدرضا خسروی
نوامبر 11, 2017 10:26 ب.ظ

سلام و عرض احترام خدمت اقای جبین پور عزیز

در فیلم های اموزشی سئو قسمت ۱۱

من متوجه نشدم بالاخره بعد از کلمه ی useragaint

ستاره وارد کنیم یا گوگل بات (*,googlebot)

ممنون میشم راهنماییم کنید

پاسخ

سلام جناب مهندسبرای من در تب Structured Data بخش hentry 236 ارور نشان میده. سایت تازه تاسیس هست میخوام بدونم چظور میتونم این مشکلاتو رفع کنم؟ کمک می کنید؟

پاسخ

سلامچرا تو فایل ربات با اینکه فقط User–agent: *sitemap: ********* را وارد کردم ولی تو مرورگر وقتی آدرسشو وارد کردم که محتوای فایلو ببینم به این صورت User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php بهم نشون میده

پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

Fill out this field
Fill out this field
لطفاً یک نشانی ایمیل معتبر بنویسید.

اشتراک گذاری این صفحه در شبکه های اجتماعی

فهرست