فایل Robots.txt چیست؟

( پنجشنبه ، 1 مهر سال 1400 )

حق کپی ویدئو

مجاز نمی باشد.

شما اینجا هستید :

جلسه چهل

آموزگار :

مهدی جبین پور

به چهلمین جلسه از آموزش سئو وردپرس خوش آمدید. باید بدانید که فایل robots.txt یک فایل متنی ساده با فرمت txt است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه ( روت اصلی ) سایت قرار می گیرد. ( ادامه مطلب … )

ابزار وردپرس بُزرگ ترین مرجع وردپرس ایران!

آنچه توانسته ایم لطف خدا بوده است ، ابزار وردپرس بعنوان یکی از مراجع بزرگ طراحی وب و وردپرس در حال فعالیت می باشد 🙂

ابزار وردپرس بُزرگ ترین مرجع وردپرس ایران!

آنچه توانسته ایم لطف خدا بوده است ، ابزار وردپرس بعنوان یکی از مراجع بزرگ طراحی وب و وردپرس در حال فعالیت می باشد 🙂

دانلود فایل ویدئو بالا

جهت دانلود کلیک کنید.

مهدی جبین پور

مـهـدی جـبین پـور

دانشجوی دکتری تجارت الکترونیک ، امیدوارم بتوانم خدمتگزار خوبی برای مردم کشورم باشم.

مهدی جبین پور

مـهـدی جـبین پـور

دانشجوی دکتری تجارت الکترونیک ، امیدوارم بتوانم خدمتگزار خوبی برای مردم کشورم باشم.

فایل Robots.txt چیست؟

( پنجشنبه ، 1 مهر سال 1400 )

فایل robots.txt چیست؟

به چهلمین جلسه از آموزش سئو وردپرس خوش آمدید. باید بدانید که فایل robots.txt یک فایل متنی ساده با فرمت txt است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه ( روت اصلی ) سایت قرار می گیرد (یعنی به طور مستقیم در فولدر public_html و در بالاترین سطح) به طوری که اگر بعد از آدرس سایت، عبارت robots.txt را تایپ کنیم، این فایل در دسترس باشد.

فایل robots.txt چیست؟
فایل robots.txt چیست؟

دلیل استفاده از فایل robots.txt در وبسایت

در واقع استفاده از فایل robots.txt به شما این امکان را میدهد که صفحات سایت را تنها مختص کاربران اینترنتی طراحی کرده و ترسی از محتوای تکراری و وجود لینک های بسیار در آن صفحه و تاثیر منفی بر سئو سایت نداشته باشید. همچنین این فایل به شما این امکان را میدهد که صفحات بی ارزش و کم محتوا را از دید موتورهای جستجو پنهان کنید تا زمان روبات ها در سایت شما برای ایندکس کردن این صفحات هدر نرود.

آیا استفاده از فایل روبوت ضروری است؟

خیر ، با این تفاسیر استفاده از این فایل همیشه هم ضروری نیست و همانطور که در ویدئو آموزش سئو وردپرس گفتیم، در موارد مسدود کردن دسترسی ربات ها به صفحات خاص (لینک های خاص) کاربرد دارد، اما به دلیل اینکه اکثر ربات های جستجوگر همواره این فایل را از سرور شما بررسی و درخواست می کنند، بهتر است برای اجتناب از افزایش خطاهای 404 که در بخش log ها و آمار سایت جلوه خوبی ندارند، حتی شده یک فایل خالی با این نام در ریشه سایت خود قرار دهید.

فایل robots.txt
فایل robots.txt

آموزش ساخت فایل robots.txt

به این جلسه از آموزش سئو توجه کافی داشته باشید.در لاین اول این فایل معمولا نوع روباتی که قراره محدودیت ایندکسینگ رو براش اعمال کنیم با دستور *:User-agent می آوریم. به شکل زیر :

User-agent: *

 

علامت *  به این معناست که همه ی ربات های پیمایشگر ، این دستورات را باید رعایت کنند.
در صورتی کع بخواهید فقط روبات های گوگل این محدودیت ها رو داشته باشند ، این دستور رو به این شکل داریم :
Useragent: googlebot

دستور Disallow در فایل روبوت

1- برای عدم دسترسی روبات ها به تمام محتویات سایت از کاراکتر / استفاده میکنیم

Disallow: /

2- برای عدم دسترسی به یک فولدر یا دسته از وبسایت می توانید نام آن را وارد کنید:

Disallow: /wp-admin/

3- برای اعمال محدودیت روی یک صفحه خاص آدرس دقیق آن را بدون نام سایت وارد کنید:

Disallow: /blog/robotstxt-file/

4- برای محدود کردن یک تصویر بر روی سایت آدرس آن را بهمراه User-agent مربوط به آن وارد کنید:

User-agent: Googlebot-Image
Disallow: /images/image.jpg

5-  برای مخفی کردن تمام تصاویر موجود بر روی سایت از دید موتورهای جستجو از دستور زیر استفاده کنید

User-agent: Googlebot-Image
Disallow: /

6- همچنین شما میتوانید یک نوع فایل مشخص را از دید موتورهای جستجو مخفی نگه دارید، بعنوان مثال برای تصاویری با فرمت gif

User-agent: Googlebot
Disallow: /*.gif$

نکته مهم : توجه داشته باشید که فایل robots.txt نسبت به بزرگ و کوچک بودن حروف انگلیسی حساس بوده و آدرس صفحات باید به دقت وارد شوند. همچنین پس از ساخت فایل مورد نظر خود و ذخیره آن در فرمت txt آن را بر روی سرور و در ریشه اصلی کپی کنید. از اینکه در این آموزش با وبسایت ابزار وردپرس ( مرجع قالب وردپرس ، آموزش وردپرس و افزونه وردپرس ) همراه بودید از شما مشتکریم.

برای نوشتن دیدگاه باید وارد بشوید.

94 دیدگاه. Leave new

فهرست