فایل Robots.txt چیست؟

( )

حق کپی ویدئو

مجاز نمی باشد.

شما اینجا هستید :

جلسه چهل

آموزگار :

مهدی جبین پور

به چهلمین جلسه از آموزش سئو وردپرس خوش آمدید. باید بدانید که فایل robots.txt یک فایل متنی ساده با فرمت txt است که می توان آن را با هر ویرایشگری ایجاد و با فرمت txt ذخیره نمود، این فایل در ریشه ( روت اصلی ) سایت قرار می گیرد. ( ادامه مطلب … )

ابزار وردپرس بُزرگ ترین مرجع وردپرس ایران!

آنچه توانسته ایم لطف خدا بوده است ، ابزار وردپرس بعنوان یکی از مراجع بزرگ طراحی وب و وردپرس در حال فعالیت می باشد 🙂

ابزار وردپرس بُزرگ ترین مرجع وردپرس ایران!

آنچه توانسته ایم لطف خدا بوده است ، ابزار وردپرس بعنوان یکی از مراجع بزرگ طراحی وب و وردپرس در حال فعالیت می باشد 🙂

مشاهده لینک ویدئو بالا

جهت بررسی کلیک کنید.

مهدی جبین پور

مـهـدی جـبین پـور

دانشجوی دکتری تجارت الکترونیک ، امیدوارم بتوانم خدمتگزار خوبی برای مردم کشورم باشم.

مهدی جبین پور

مـهـدی جـبین پـور

دانشجوی دکتری تجارت الکترونیک ، امیدوارم بتوانم خدمتگزار خوبی برای مردم کشورم باشم.

فایل Robots.txt چیست؟

( )

robots.txt یک فایل بسیار مهم می‌باشد که با کمک آن می‌توانید وضعیت ایندکس شدن سایت را مدیریت کنید. یعنی برای موتورهای جستجوگر از جمله گوگل، مشخص کنید به کدامیک از بخش‌های سایت دسترسی داشته باشند یا دسترسی نداشته باشند.

فقط این موضوع را در نظر بگیرید که کوچک‌ترین اشتباه در فایل robots.txt موجب می‌شود که سئو (SEO) سایت به صورت جدی آسیب ببیند. بنابراین پیشنهاد می‌کنیم که این مقاله آموزشی را تا انتها مطالعه کنید تا اطلاعات مورد نیاز را بدست بیاورید. سپس می‌توانید تغییرات دلخواه خود را در فایل Robots.txt را اعمال کنید.

فایل robots.txt چیست

robots.txt یک فایل متنی می‌باشد که توسط موتورهای جستجوگر از جمله گوگل، مورد بررسی قرار می‌گیرد. البته فایل robots.txt با نام Robots Exclusion Protocol یا پروتکل REX نیز شناخته می‌شود که نتیجه توافقات بین توسعه‌دهندگان اولیه موتورهای جستجوگر می‌باشد. البته این پروتکل توسط هیچ سازمانی تایید نشده است؛ اما با این حال تمام موتورهای جستجوگر نسبت به آن حساس می‌باشند و اهمیت زیادی برای آن قائل هستند.

robots.txt چگونه کار می‌کند

همان‌طور که می‌دانید، ربات‌های موتورهای جستجوگر، صفحات سایت را مورد بررسی قرار می‌دهند (اصطلاحا می‌خزند) و براساس معیارها و الگوریتم‌های مختلف، آن‌ها را فهرست می‌کنند. اما قبل از اینکه گوگل و سایر موتورهای جستجوگر شروع به خزیدن سایت‌ها کنند، ابتدا فایل robots.txt را بررسی می‌کنند. چرا که ممکن است یک وب‌سایت مشخص کرده باشد که برخی صفحات ایندکس نشوند.

فایل robots.txt در کجا قرار می‌گیرد

این فایل دقیقا در پوشه اصلی هاست یعنی Public_HTML قرار می‌گیرد. در واقع موتورهای جستجوگر باید با آدرس زیر بتوانند به فایل robots.txt دسترسی داشته باشند.

YourDomain.com/robots.txt

فراموش نکنید که اگر نام فایل را به صورت اشتباه بنویسید، توسط موتورهای جستجوگر مورد بررسی قرار نخواهد گرفت و این موضوع می‌تواند برای سئو سایت به شدت خطرناک باشد.

مزایای فایل robots.txt

حالا وقت آن است که مزایای فایل robots.txt را برای شما توضیح دهیم.

مدیریت بودجه خزش

مدیریت بودجه خزش با فایل Robots
مدیریت بودجه خزش با فایل Robots

تمام موتورهای جستجوگر از جمله گوگل، ربات‌های محدودی دارند که صفحات وب را ایندکس می‌کنند. بنابراین نمی‌توانند هر روز تمام سایت‌ها و صفحات موجود در سطح وب را مورد بررسی قرار دهند و ایندکس کنند. حالا با توجه به اینکه تعداد ربات‌ها محدود است، موتورهای جستجوگر باید برای هر سایت یک بودجه خزش در نظر بگیرند. بودجه خزش (Crawl Budget) در واقع میزان زمان و انرژی است که ربات‌های موتورهای جستجوگر برای یک سایت صرف می‌کنند.

البته این میزان برای هر سایت متفاوت است. برای مثال هرچه یک سایت از اعتبار بالاتری برخوردار باشد، قطعا گوگل و سایر موتورهای جستجوگر برای آن بودجه خزش بیشتری در نظر می‌گیرند. همچنین هرچه یک سایت از اعتبار پایین‌تری برخوردار باشد، به همان نسبت قطعا بودجه خزش کمتری برای آن در نظر گرفته می‌شود.

اکنون با توجه به توضیحات داده شده، اگر فکر می‌کنید که سایت شما با کمبود بودجه خزش مواجه است، می‌توانید با کمک فایل robots.txt مشخص کنید که چه بخش‌هایی از سایت شما ایندکس شود و چه بخش‌هایی ایندکس نشود. اینگونه میزان زمان و انرژی خزنده‌های گوگل را از بین نمی‌برید و می‌توانند قسمت‌های مهم سایت را ایندکس کنند.

حذف URL Parameters برای بهوبد بودجه خزش

یکی از مواردی که تاثیر زیادی بر بودجه خزش می‌گذارد، URL Parameters یا همان پارامترهای URL می‌باشد. جالب است بدانید که این پارامترها انواع مختلفی دارند و در تمام سایت‌ها وجود دارند. برای مثال در سایت‌های فروشگاهی، معمولا در زمان فیلتر کردن محصولات مختلف، این پارامترها ایجاد می‌شوند و می‌توانید مشاهده کنید.

برای درک بهتر URL Parameters پیشنهاد می‌کنیم به URL زیر دقت کنید که نتیجه اعمال چند فیلتر روی محصولات در یک سایت فروشگاهی می‌باشد.

https://www.YourDomain.com/search/category/?attribute[A2291][0]=19813&attribute[A2291][1]=19817&pageno=1&last_filter=2291&last_value=19817&sortby=4

همان‌طور که در URL بالا مشاهده می‌کنید، کاراکترهایی اضافه شده است که در واقع همان پارامترهای مربوط به URL می‌باشند. حالا در این مقاله قصد نداریم که URL Parameters را به صورت کامل توضیح دهیم و صرفا در حد آشنایی شما کاربران عزیز می‌باشد.

فقط باید به این نکته توجه داشته باشید که هیچ نیازی به ایندکس شدن این موارد نیست و می‌توانید از ایندکس کردن این پارامترها توسط گوگل جلوگیری کنید. در واقع اگر شما اجازه دهید که گوگل و سایر موتورهای جستجوگر این پارامترها را ایندکس کنند، ممکن است بخش عظیمی از بودجه خزش مصرف شود و به صفحات اصلی و مهم نرسد.

معایب فایل robots.txt

تاکنون به خوبی با مزایای فایل robots.txt آشنا شدید؛ حالا قصد داریم به سراغ معایب این فایل برویم.

حذف نشدن صفحات از نتایج جستجو

زمانی که شما بخشی از سایت را در فایل robots.txt مشخص می‌کنید که توسط موتورهای جستجوگر ایندکس نشود، بازهم احتمال دارد که یک صفحه از همان بخشی که مشخص کرده‌اید در نتایج جستجو نمایش داده شود. شاید این موضوع شاید کمی عجیب باشد، اما نکته‌ای مهم در رابطه با فایل robots.txt است که اکثر سئوکارها از آن بی‌خبر هستند.

بنابراین اگر می‌خواهید به صورت 100 درصد مطمئن شوید که یک صفحه از سایت در نتایج جستجو (SERP) نمایش داده نمی‌شود، نباید آن را در فایل robots.txt مشخص کنید، بلکه باید به سراغ همان صفحه بروید و به صورت مستقیم از تگ noindex استفاده کنید.

دلیل این موضوع هم به وضوح مشخص است. در واقع فایل robots.txt مشخص می‌کند که موتورهای جستجوگر به بخشی از سایت دسترسی نداشته باشند؛ اما تگ noindex به آن‌ها اختصاص نمی‌دهد. حالا کافی است که یک صفحه از همان بخش که در فایل robots.txt مشخص کرده‌اید، قبلا ایندکس شده باشد، یا حتی از صفحه دیگری لینک دریافت کرده باشد؛ در این صورت بازهم ایندکس خواهد شد.

نادیده گرفتن لینک‌های داخلی

نادیده گرفتن لینک‌های داخلی توسط فایل Robots
نادیده گرفتن لینک‌های داخلی توسط فایل Robots

هرگاه که یک بخش از سایت را در فایل robots.txt مشخص می‌کنید که موتورهای جستجوگر به آن دسترسی نداشته باشند، هر لینکی که در آن صفحات وجود داشته باشد، بی‌ارزش خواهد شد. چرا که دسترسی موتورهای جستجوگر را به کلی مسدود کرده‌اید و نمی‌توانند به آن صفحه دسترسی داشته باشند. بنابراین تمام لینک‌های بخش‌هایی که در فایل robots.txt مشخص کرده‌اید، ارزشی نخواهند داشت و توسط موتورهای جستجوگر نادیده گرفته می‌شوند.

ساختار و سینتکس‌های robots.txt

اگر تاکنون محتوای داخل فایل robots.txt را مشاهده کرده باشید، متوجه می‌شوید که ساختار بسیار ساده‌ای دارد. در قسمت زیر اطلاعات یک فایل robots.txt را برای نمونه قرار داده‌ایم که می‌تواند مشاهده کنید.

User-agent: * 
Disallow: / 

User-agent: Googlebot 
Disallow: 

User-agent: bingbot 
Disallow: /not-for-bing/

همان‌طور که مشاهده می‌کنید تمام بلوک‌های دو خطی، با یک عبارت به نام “User-agent” شروع شده‌اند. حالا منظور از این عبارت، موتورهای جستجوگر می‌باشند. در واقع با عبارت “User-agent” موتورهای جستجوگر را صدا می‌زنیم. حالا صدا زدن موتورهای جستجوگر چند حالت مختلف دارد که در ادامه بیشتر توضیح می‌دهیم.

فراخوانی موتورهای جستجوگر در فایل robots.txt

اگر بخواهیم یک دستور در فایل robots.txt بنویسیم که تمام موتورهای جستجوگر از آن پیروی کنند؛ باید به صورت زیر باشد.

User-agent: *

زمانی که در مقابل عبارت “User-agent” علامت * قرار می‌دهیم، به این معنی است که تمام موتورهای جستجوگر باید به این دستور توجه کنند و از آن پیروی کنند. اما اگر بخواهیم یک موتور جستجوگر خاص را مثل گوگل یا بینگ فراخوانی کنیم، دستور ما باید به صورت زیر باشد.

User-agent: Googlebot

همان‌طور که مشاهده می‌کنید برای فراخوانی یک موتور جستجو، باید نام آن را به همراه کلمه bot بنویسید. برای مثال در قسمت بالا ما قصد داشتیم که موتور جستجوگر گوگل را فراخوانی کنیم؛ به همین دلیل در مقابل “User-agent”، عبارت “Googlebot” را نوشتیم. با انجام این کار، نشان می‌دهیم که دستور نوشته شده فقط برای موتور جستجوی گوگل است.

دستور Disallow

تاکنون به خوبی با دستور “User-agent” آشنا شدید و حالا قصد داریم به سراغ دستور بعدی برویم. همان‌طور که در مثال اول گفته شد، هر بلوک در فایل robots.txt معمولا از دو خط تشکیل شده است. در خط اول با کمک دستور User-agent موتور جستجوگر را مشخص می‌کنیم. اما در خط دوم، با دستور Allow یا Disallow مشخص می‌کنیم که موتور جستجوگر به چه بخش‌هایی از سایت دسترسی داشته باشد یا دسترسی نداشته باشد.

دستور Disallow بیشترین کاربرد را دارد و ممکن است در یک خط یا در چند خط مشخص کنیم که موتور جستجوگر به چه بخش‌هایی از سایت دسترسی نداشته باشد. البته اگر جلوی عبارت Disallow خالی باشد، به این معنا است که هیچ بخشی از سایت محدود نشده است و موتور جستجوگر به تمام بخش‌های سایت دسترسی دارد.

برای مثال با دستورات زیر در فایل robots.txt هیچ اتفاقی برای سایت رخ نمی‌دهد و در واقع به موتورهای جستجوگر گفته شده است که تمام قسمت‌های سایت را مورد بررسی قرار دهید.

User-agent: * 
Disallow:

حالا اگر مثل قسمت زیر یک کاراکتر به دستورات بالا اضافه کنیم، در واقع به موتورهای جستجو دستور داده‌ایم که سایت را مورد بررسی قرار ندهد.

User-agent: * 
Disallow: /

حالا اگر بخواهید یک بخش از سایت را به صورت کلی برای موتورهای جستجوگر محدود کنید، باید به صورت زیر عمل کنید. در واقع دستوری که ما نوشته‌ایم، جهت جلوگیری از ایندکس شدن تصاویر است. فقط توجه داشته باشید که با دستور زیر، تمام زیر شاخه‌های دایرکتوری Photo برای موتورهای جستجوگر مسدود می‌شوند و ایندکس نخواهند شد.

User-agent: googlebot 
Disallow: /Photo

دستور Allow

علاوه‌بر دستور User-agent و Disallow یک دستور دیگر با نام Allow وجود دارد. البته این دستور استاندارد نیست و توسط همه موتورهای جستجوگر خوانده نمی‌شود. بنابراین پیشنهاد می‎‌کنیم تا حد امکان از این دستور استفاده نکنید. صرفا در همین بدانید که دستور Allow برخلاف Disallow به موتورهای جستجوگر اجازه می‌دهد که به بخشی از سایت دسترسی داشته باشند.

برای مثال ممکن است توسط دستور Disallow، دسترسی موتورهای جستجوگر را به پوشه wp-admin قطع کرده باشید؛ اما بخواهید دسترسی به یکی از فایل‌های موجود در پوشه wp-admin را آزاد کنید. در چنین مواقعی از دستور Allow استفاده می‌شود. پیشنهاد می‌کنیم برای درک بهتر این موضوع، به دستورهای زیر توجه کنید.

Disallow: /wp-admin/ 
Allow: /wp-admin/admin-ajax.php

همان‌طور که مشاهده می‌کنید، ابتدا به کمک دستور Disallow دسترسی را به فایل wp-admin محدود می‌کنیم؛ ولی در ادامه با استفاده از دستور Allow، دسترسی به فایل مورد نظر را آزاد می‌کنیم.

نکته مهم: استفاده از حروف کوچک و بزرگ در دستورات اصلی مثل User-agent یا Allow و Disallow تفاوتی ندارد؛ اما برای مشخص کردن بخش‌های مختلف سایت (مثل یک دایرکتوری مشخص)، حروف کوچک و بزرگ متفاوت هستند و نباید به صورت اشتباه بنویسید.

دستور Host

افراد بسیار کمی هستند که با دستور Host آشنا باشند؛ چرا که این دستور صرفا توسط موتور جستجوگر یاندکس (Yandex) پشتیبانی می‌شود. یعنی سایر موتورهای جستجوگر از جمله گوگل و بینگ، از دستور Host پشتیبانی نمی‌کنند. البته ناگفته نماند که این دستور از اهمیت زیادی برخوردار نیست.

با استفاده از دستور Host می‌توانید مشخص کنید که آدرس سایت همراه با www باشد یا بدون www باشد. برای درک بهتر این موضوع پیشنهاد می‌کنیم به مثال زیر دقت کنید.

host: YourDomain.com

همان‌طور که مشاهده می‌کنید، در قسمت بالا تعیین کرده‌ایم که آدرس سایت بدون www نمایش داده شود؛ حالا اگر کسی بخواهد آدرس سایت را همراه با www نشان دهد، می‌تواند به صورت زیر عمل کند.

host: www.YourDomain.com

البته همان‌طور که پیش از این گفتیم، پیشنهاد می‌کنیم از این دستور استفاده نکنید. چرا که استاندارد نیست و توسط موتورهای جستجوگر مهم از جمله گوگل، شناسایی نمی‌شود. حتی با کمک این دستور شما نمی‌توانید HTTP یا HTTPS را مشخص کنید و این یک ویژگی منفی است.

دستور crawl-delay

این دستور مشخص می‌کند که موتورهای جستجوگر چه مقدار باید صبر کنند تا یک صفحه به صورت کامل بارگذاری شود و شروع به خزیدن کنند. برای استفاده از دستور crawl-delay به مثال زیر توجه کنید.

crawl-delay: 10

در واقع عددی که مقابل crawl-delay نوشته می‌شود، نشان می‌دهد که خزنده‌های موتورهای جستجو چند ثانیه باید صبر کنند. البته crawl-delay هم جزء دستورات غیراستاندارد محسوب می‌شود و توسط همه موتورهای جستجوگر خوانده نمی‌شود. بنابراین تا جایی که ممکن است از این دستور استفاده نکنید.

این دستور صرفا توسط یاندکس و بینگ شناسایی می‌شود؛ یعنی گوگل نمی‌تواند آن را شناسایی کند. اما برای اینکه بتوانید یک تاخیر برای خزنده‌های گوگل هم در نظر بگیرید، باید از طریق گوگل سرچ کنسول اقدام کنید و از طریق فایل robots.txt امکان پذیر نیست.

دستور sitemap

با استفاده از دستور sitemap می‌توانید آدرس نقشه سایت را برای موتورهای جستجوگر مشخص کنید. البته بهتر است که با استفاده از ابزارهای وبمستر مثل گوگل سرچ کنسول چنین کاری را انجام دهید؛ اما برای کسانی که قصد ندارند با کمک ابزارهای وبمستر چنین کاری انجام دهند، می‌توانند از دستور sitemap در فایل robots.txt استفاده کنند.

برای اینکه از دستور sitemap استفاده کنید، باید مشابه مثال زیر پیش بروید.

Sitemap: https://YourDomain.com/my-sitemap.xml

به همین راحتی می‌توانید با دستور sitemap مشخص کنید که نقشه سایت در کجا قرار دارد.

اعتبارسنجی فایل robots.txt

ابزارهای مختلفی وجود دارند که با استفاده از آن‌ها می‌توانید فایل robots.txt را اعتبارسنجی کنید و مطمئن شوید که هیچ مشکلی ندارد. ولی پیشنهاد ما این است که از ابزار موتور جستجوگر گوگل استفاده کنید. برای اینکه بتوانید از ابزار گوگل استفاده کنید، کافی است به آدرس زیر بروید.

https://support.google.com/webmasters/answer/6062598?hl=en

سپس روی دکمه Open robots.txt Tester کلیک کنید. با انجام این کار به صفحه اعتبارسنجی فایل robots.txt منتقل می‌شوید.

نتیجه‌گیری کلی

همان‌طور که متوجه شدید، فایل Robots.txt بسیار مفید و کاربردی است. اما دستورهای زیادی دارد که استاندارد نیستند و توسط همه موتورهای جستجوگر پشتیبانی نمی‌شوند. بنابراین باید در استفاده از این دستورات هم دقت زیادی کرد. در کل اصلی‌ترین دستوری که باید از آن‌ها استفاده کنید به شرح زیر است.

  • User-agent: برای فراخوانی موتورهای جستجوگر مثل گوگل
  • Disallow: برای محدود کردن دسترسی موتورهای جستجوگر

امیدواریم این مقاله آموزشی مورد پسند شما کاربران عزیز قرار گرفته باشد؛ اگر سوال یا مشکلی در رابطه با فایل robots.txt داشتید، در بخش دیدگاه‌ها مطرح کنید تا کارشناسان و متخصصین ما به شما کمک کنند.

برای نوشتن دیدگاه باید وارد بشوید.

165 دیدگاه. Leave new

  • مرتضی رئیسی
    2025-01-25 21:08

    سلام. لینک کار نمیکنه

  • وحید اس
    2024-11-27 22:56

    چرا فایلی که گذاشتین قابل دانلود نیست؟
    یه سوال دیگه. اگر تو سایتمون از عکس های کپی و دانلودی استفاده کنیم و اونا رو بذاریم رو حالت no index ایردادی داره؟ (اخه قبلا گفتین هوش مصنوعی گوگل نشخیص میده عکس اگه کپی باشه)

    • محمد قاسمی
      2024-11-28 10:01

      سلام وقت شما بخیر،

       

      دوره جدید سئو در سایت نت بازده ارایه شده است که پیشنهاد میشود از آن دیدن فرمایید و بزودی در ابزار وردپرس نیز این دوره اضافه خواهد شد، موضوع بعدی زیاد توصیه نمیشود زیرا در این حالت تولید محتوا کارایی لازم را نخواهد داشت.

      با تشکر.

  • وحید اس
    2024-11-27 22:43

    سلام
    اگر فایل ربوت رو بر اساس خود ابزار وردپرس بذاریم و همونو کپی کنیم وفقط ادرس سایتو تغییر بدیم موردی داره؟
    صفحه زیر منظورمه

    • محمد قاسمی
      2024-11-28 09:43

      سلام وقت شما بخیر،

       

      امکان استفاده وجود دارد اما ممکن است در سایت شما با توجه به ماهیت و ساختاری هایی که تعریف کردید، مواردی نیازمند تغییر یا اضافه کردن باشد.

      با تشکر.

  • مرجان صادق نژاد
    2024-10-01 14:34

    سلام روزتون بخیر
    در آدرس yourdomain.com/robots.txt در سایت من فایل robots.txt وجود داره ولی این سایت در هاست نشان داده نمیشه چطور میتونم این فایل رو در هاست پیدا کنم ؟ ممنون

    • محمد قاسمی
      2024-10-02 17:43

      سلام وقت شما بخیر،

       

      این مورد توسط افزونه های سئو ایجاد شده است ، میتوانید یک فایل ربات در هاست خود ایجاد کرده و دستورات را در آن درج کنید.

      با تشکر.

  • سجاد زرین بال
    2024-07-10 14:49

    لینک فایل مشکل داره میشه اصلاح کنید؟

  • زهرا سادات حسینی
    2024-07-03 10:47

    سلام. وقت بخیر
    من می‌خوام فایل robots.txt رو ویرایش کنم اما فایلش رو پیدا نمی‌کنم.
    از دایرکت ادمین استفاده میکنم و افزونه یوآست سئو.
    لطفا راهنمایی بفرمایید.
    متشکرم

    • محمد قاسمی
      2024-07-04 10:22

      سلام وقت شما بخیر،

       

      بصورت کلی این فایل در هاست وجود ندارد و بایستی آنرا با همین نام و پسوند در هاست خود اضافه کنید تا بتوانید آنرا مدیریت فرمایید

      با تشکر.

  • دانیال لشگری
    2024-06-19 17:30

    سلام وقت بخیر
    امیدوارم خوب باشید

    از هوش مصنوعی میشه استفاده کرد برای تولید محتوا

  • رضا قاسمی منش
    2024-06-18 11:17

    سلام وقت بخیر ، من کد های پایین را برای روبوت سایتم وارد کردم ، اینا مشکلی برای سایت فروشگاهی نداره ؟ چون که به صورت پیش فرض کد های قبلی که زده بودم خیلی از صفحات سایتم را به صورت خودکار noindex کرده بود
    ، User-Agent: *
    Disallow: /wp-content/plugins/
    Disallow: /readme.html
    Sitemap: http://لینک سایت /post-sitemap.xml
    Sitemap: http/لینک سایت /page-sitemap.xml

  • حسن یوسفی
    2024-05-11 22:29

    Disallow: /
    این مورد در فایل robots.txt سایت من فعال بود قبل از اینکه آموزش شما رو ببینم.
    آیا آسیبی به سایت من رسیده است ؟

  • امیر مقدم
    2024-03-23 19:49

    سلام خسته نباشید
    یه سوالی داشتم در مورد فایل robots. Txt
    من سایتمو برای ورود به پنل کاربری وردپرسم از wp-admin به amir تبدیل کردم با افزونه, الان باید به ربات های گوگل بگم فایل amir ایندکس نکنن
    یا همون wp-admin خودش باشه

    • محمد قاسمی
      2024-03-24 08:13

      سلام وقت شما بخیر،

      اگر با زدن آدرس قبلی، ریدایرکت به آدرس جدید صورت نمی‌گیرد بهتر است این مورد را در فایل ربات لحاظ کنید

      با تشکر.

  • محسن مقصودی
    2024-03-02 08:40

    سلام وقت بخیر
    فایل robots آپلود کردم اما اصلا تغییر نمی کنه!
    تست میگیرم ولی هیچ تغییری نمی کنه

  • زهرا سادات حسینی
    2023-12-24 20:35

    سلام. وقت بخیر
    می‌خواستم بدونم ممکنه فایل robots.txt از روی هاست پاک بشه؟
    من قبلا داشتم این فایل رو اما الان هرچی میگردم پیداش نمیکنم.
    متشکرم

  • مریم متانت
    2023-10-29 10:55

    سلام وقت بخیر
    فایل robots.txt رو مطابق آموزش شما ساختم ولی برای تعداد خیلی زیادی از صفحاتم خطای URL is not on Google رو در سرچ کنسول دریافت میکنم.
    ممنون میشم راهنماییم کنید.

    • علی حیدری
      2023-10-29 17:20

      سلام وقت شما بخیر،

      با ایجاد این فایل این مشکل حل نمی شود. وجود فایل ربات به این منظور است که گوگل بهتر متوجه شود که کدام بخش های سایت ایندکس و کدام مسیر ها ایندکس نشود.
      بهتر است که نقشه سایت خود را به گوگل کنسول اضافه نمایید.
      اما اینکه خیلی از بخش ها ایندکس نشده و اکنون در گوگل وجود ندارد ، دلایل مختلفی دارد ، ممکن است لازم باشد که بیشتر صبر کنید.
      البته پیشنهاد می شود که برای مشاوره سئو با سایت دیگر ما، نت بازده در تماس باشید.

      با تشکر.

      با تشکر.

  • مهسا مرادی
    2023-09-28 23:22

    سلام، بغیر از مواردی که در فایل زیپ بود چه بخش هایی از سایت فروشگاهی رو باید disallow کنم؟
    جایی خونده بودم که فیلتر ها و کلماتی که در سرچ بار سایت تایپ میشن رو باید disallow کرد.
    اگر درسته میشه لطفاٌ کد دستوریش رو برام بنویسید؟

    • کامران قائمی
      2023-09-30 17:50

      سلام وقت شما بخیر،

      در این خصوص هر سایت تنظیمات مختلفی دارد و امکان ارایه کد توسط ما نیست ، معمولا فیلترها یا کوئری ها را بهتر است توسط این فایل محدود کنید.

      با تشکر.

  • مسعود واشقانی
    2023-09-09 10:34

    سلام ببخشید در خود پوشه ی wp-admin فایل admin-ajax.php هست. اینو باید ویرایش کنیم؟

    • کامران قائمی
      2023-09-10 00:44

      سلام وقت شما بخیر،

      بله این فایل در این مسیر قرار دارد، البته نیازی نیست این فایل را ویرایش کنید و تنها میتوانید در فایل ربات مانند آموزش دسترسی لازم را به آن بدهید.

      با تشکر.

  • مصطفی جوادی
    2023-06-11 09:32

    سلام وقت بخیر این فایل robots txt رو باید خودمون بنویسیم طبق ویدیو یا فایلش داخل این پست برای دانلود موجوده؟

  • لیلا دین پرست
    2023-02-12 10:40

    عرض سلام و وقت بخیر
    اگر در ابتدای کار هستیم و در مرحله طراحی سایت، و می خواهیم گوگل سایت را ایندکس نکند می توان از دستور زیر استفاده کرد؟
    User-agent: *
    Disallow: /
    آیا آسیبی به سایت نمی رسد؟ البته از پیشخوان وردپرس من تیک مربوطه رو زدم ولی بازهم سایتم در نتایج جستجو نشان داده میشود. برای همین می خواستم از این روش استفاده کنم اگر روش مطمئنی هست.

  • فرشاد
    2022-10-22 21:00

    با سلام
    در توضیحات زیر ویدیو فرموده بودید از ایندکس شدن URL Parameters جلوگیری کنید.
    در صورت امکان کد noindex کردن آن را بفرمایید تا در فایل خود استفاده نماییم.

    • علی حیدری
      2022-10-23 09:42

      وقت بخیر
      این یک موضوع ثابت نیست.
      بستگی به مدل سایت شما هم دارد.
      در صورت تمایل با آی دی تلگرام @netbazdeh_support که برای مجموعه نت بازده ما است ،در ارتباط باشید.
      با تشکر.

  • حسین کرملاچعب
    2022-10-17 00:36

    با عرض سلام و خسته نباشید
    آقای جبین پور توی یکی از آموزش‌‌ها فرمودند که محتوای مخفی شده توی صفحات نمره منفی داره
    مثلا سایت بنده تو بعضی صفحات یک محتوایی رو توی گوشی موبایل مخفی کردم اما برای دسکتاپ قابل نمایش هست و بلعکس، آیا این کار هم نمره منفی داره؟

    • علی حیدری
      2022-10-17 09:06

      سلام بر شما ، وقت بخیر از حضور شما ممنونیم.

      به اینصورت که شما در طراحی استفاده کرده اید ، مشکلی ندارد. شما درواقع طراحی خود را بصورت عالی انجام داده اید و درواقع از روش های خاص یا کلاه سیاه سئو استفاده نکرده اید.
      این مورد مشکلی ندارد.

      آرزوی موفقیت برای شما داریم.

  • مژگان مشهدی
    2022-09-19 11:17

    آقای جبین‌پور و بچه های ابزاروردپرس خدا خیرتون بده واقعا.

  • کوثر بهرامی
    2022-09-03 22:51

    سلام برای فروش دوره بایدازچه قالبی استفاده کرد؟

    • علی حیدری
      2022-09-04 08:40

      سلام بر شما ، وقت بخیر از حضور شما ممنونیم.

      وارد بخش سایت های آماده و در بخش سایت های آماده آموزشی شوید. بنظر سایتهای آماده آموزشی برای شما مناسب است.

      آرزوی موفقیت برای شما داریم.

  • محمودرضا طهماسبی
    2022-07-05 11:53

    سلام
    من در سرچ کنسول برای قسمت اینسپکشن ، وقتی پیوند نوشته هام را وارد میکنم با این خطا مواجه میشم:
    During live testing, indexing issues were detected with the URL
    تنها صفحه ای که ایندکس میشه صفحه اصلی هست.
    به فایل robot.txt هم رفتم مشکلی نبود. باید چکار کنم؟

    • علی حیدری
      2022-07-05 12:57

      سلام و عرض ادب ،
      بررسی نمایید که سایت نو ایندکس نباشد.
      مهم تر از آن باید بررسی نمایید که در بخش Coverage اروری نباید و این ارور ها را حل نمایید.

      با تشکر.

  • ایزدمهر صدقیی
    2022-01-29 16:59

    سلام وقتتون بخیر خسته نباشید عذر میخوام اگر از افزونه سئو yoast استفاده نکنیم بازهم میتونیم سایت مپ خودمون رو پیدا کنیم و اگر میتونیم از کجا میشه پیدا کرد؟

    • کارشناس پشتیبانی شماره دو
      2022-01-29 18:08

      سلام بر شما،
      بهتر است که از افزونه های سئو برای این مورد استفاده کنید.
      در وردپرس این مورد یا با افزونه ایجاد می شود و یا باید بصورت دستی و توسط سایت های آماده، ایجاد و مدیریت کنید.
      با تشکر از شما.

  • امیرحسین اسفندیاری
    2021-12-13 13:46

    سلام و با تشکر از شما
    اگر فایل های jpg رو دیز الو کنیم مشکلی از نظر سئو به وجود نمیاد؟

  • سعید انفرادی
    2021-08-07 17:46

    سلام
    روز بخیر من این فایل رو قرار دادم ولی فقط پست اولم ایندکس شده و بیش از یکماه هست هیچ پست دیگر من ایندکس نمی شود

    میشه لطفا راهنمایی کنید

    • کارشناس پشتیبانی شماره چهار
      2021-08-08 08:47

      سلام آقای انفرادی عزیز
      ایندکس شدن صفحات بستگی به میزان فعالیت شما دارد و هر چه سایت فعال تری داشته باشید روند ایندکس شدن سریع تر انجام می گردد. مشکلی در
      فایل Robots.txt ما وجود ندارد. بررسی کنید که صفحات مورد نظر تگ نو ایندکس نداشته باشد و همچنین سعی کنید تولید محتوا بیشتری داشته باشید.
      با تشکر

  • باقر دیلمی
    2021-07-31 04:43

    درود به شما سپاس از آموزش های ارزنده تون. دو تا سوال داشتم ممنون میشوم جواب بدید‌. در سایت هایی که پروسه کاریشون اینجوره که عکس های متفاوت و زیادی رو در وردپرس خودشون آپلود میکنن؛ از اونجا که طریقه ی خاصی برای جلوگیری از ایندکس شدن این تصاویر در نتایج جستجو وجود نداره ؛ آیا امکانش هست که با درج پسوند png یا jpg در ربات اون هارو از نتایج محدود کرد؟

    و اینکه در آموزش آقای جبین پور فرمودن صفحات و برگه هارو از طریق افزونه سئو no index کنید. بعد از اینکه اینکارو با افزونه کردیم چقدر زمان میبره برگه یا نوشته ای که از قبل ایندکس بوده از نتایج پنهون بمونه؟ چون من به طور آزمایشی الان ۲ هفته noindex کردم ولی در نتایج بالا میاد. ممنون از پاسخگوییتون

    • کارشناس پشتیبانی شماره چهار
      2021-07-31 09:27

      سلام و درود آقای دیلمی
      برای جلوگیری از ایندکس تصاویر می توانید از آموزش زیر که توسط گوگل ارائه شده است استفاده کنید.(از یک نرم افزار تغییر آیپی برای بازکردن لینک استفاده کنید.)
      جلوگیری از ایندکس تصاویر
      برای حذف لینک مورد نظر می توانید از ابزار removeals در سرچ کنسول استفاده کنید و لینک ها را از نتایج حذف کنید.
      با تشکر

  • حسن زاهدیان
    2021-07-05 13:51

    سلام خسته نباشید
    اگر ما این فایل رو Disallow: /wp-admin/ از دسترس ربات های گوگل خارج کنیم امتیار منفی نداره؟

  • علی نصیری
    2021-03-03 06:59

    سلام استاد خسته نباشید،من افزونه یواست رو از سایت شما تهیه کردم،با همون افزونه نقشه سایت رو فعال کردم ولی نقشه سایت واسم ایجاد نمشه چطور می تونم درستش کنم

  • صفوراجلالی
    2021-01-06 09:55

    سلام خسته نباشید شرمنده مزاحم میشم سوالی برای من پیش امده اینو میدونم که فایل wp-admin مربوط به فایل های سیستمی هست و نیازی نیست که خزنده های گوگل دسترسی به اون داشته باشند.ولی متوجه نشدم که کار admin ajax.phpچی هست و برای چی باید دسترسی پیداکنه

    • کارشناس پشتیبانی شماره سه
      2021-01-06 16:21

      سلام خانم جلالی ، در وردپرس تمام درخواست های آجاکس به فایل admin-ajax.php می رود. با توجه به اینکه گوگل همه چیز را بررسی می کند بنابر این باید این فایل دسترسی باشد تا موارد در صفحه نمایش داده شود.

  • محمد رعیت پیشه
    2020-11-09 21:09

    سلام خسته نباشید
    سایت من اینها رو هم داره میتونید راهنمایی کنید که مفیدن یا خیر؟

    Disallow: /wp-admin/
    Disallow: */feed/
    Disallow: /wp-includes/
    Disallow: /tags.php
    Disallow: /cart/
    Disallow: /my-account/

  • نیلوفر بهاروند
    2020-10-14 13:10

    سلام، خیلی ممنون از آموزشهای شما.
    بعد از انجام همه مواردی که فرمودین متاسفانه در بخش ایندکس سایت با پیغام زیر روبرو میشوم.
    Page cannot be reached
    This could be because the page is unavailable or blocked by robots.txt

    لطف میکنید راهنمایی بفرمایید؟

  • بابایی
    2020-09-10 00:40

    من اکانت ساختم داشتم دوره سئو رو نگاه می کردم امروز اومدم می بینم وارد اکانتم نمی شه و منو انداختید بیرون ینی چی آخه ؟

    من می خوام دوره ای رو خرید کنم اگر این طوری ادمو می اندازین بیرون نمی شود بهتون اعتماد کرد

    • کارشناس پشتیبانی شماره دو
      2020-09-10 08:34

      با سلام و احترام به شما کاربر گرامي ،
      ما کاربران لاگین را خارج نمی کنیم ، این بستگی به کوکی های مرورگر شما دارد ، امیدوارم دیگر برای شما این اتفاق رخ ندهد. شما می توانید لاگین نمایید واگر مشکلی بود با شرکت تماس داشته باشید.
      با تشکر.

  • حسین وجدانی
    2020-09-08 16:42

    سلام من برای صفحات حریم خصوصی و قوانین فروشگاه چند پاراگراف رو از سایتی کپی کردم، آیا تاثیر منفی در سئو داره؟ اگر noindex کنم چی؟؟

  • ریحانه نوروزی
    2020-08-30 19:29

    سلام و خسته نباشید
    فایل کد robots.txt زیر ویدیو قرار ندارد؟

  • محمدی
    2020-08-19 00:47

    سلام
    عالی مثل همیشه

  • با سلام و تشکر فراوان برای آموزش های خوبتون
    سوال من اینه اگه پوشه wp-admin را بهش اجازه ورود بدیم (یعنی مثل سایت شما همه چیز قابل دسترسی باشه) در مورد هک کردن سایت ما مشکلی برامون پیش نمیاد؟

    • تیم پشتیبانی
      2020-03-12 20:23

      سلام بر شما ، هک شدن از این مسائل خیلی جلوتر رفته و عملاً این چیز ها باعث هک نمی شود. در انتخاب قالب و افزونه هایتان با اطمینان عمل کنید مشکلی نخواهد بود. همچنین فایل robots ارتباطی به هک شدن ندارد زیرا هر روباتی از اصول این فایل پیروی نمی کند و برای گوگل است. باتشکر

  • عرفان محمدیان
    2020-02-12 09:43

    سلام خدمت شما عزیزان زحمت کش من یه سوال داشتم من اگه بخوام گوگل ساب دامین منو ایندکس نکنه باید چیکار کنم؟

    • کارشناس پشتیبانی شماره دو
      2020-02-14 18:02

      با سلام ، ضمن سپاس از حضور شما ،
      ساده ترین راه این است که در تنظیمات قالب> خواندن> تیکت ایندکس توسط موتور های جستجو را بردارید.
      با تشکر.

  • فراز مخیّر
    2019-10-05 22:06

    با سلام
    بنده وقتی در کنسول گوگل site map را ایندکس می کنم با ارور زیر مواجه می شوم ممکن است به robots.txt مربوط باشد یا عادی است و نیازی ایندکس سایت مپ نیست
    No: ‘noindex’ detected in ‘X-Robots-Tag’ http header

  • فریبا خردمند
    2019-08-09 13:54

    سلام، روزتون خوش، ممنون از زحمات تون. در مورد این آموزش یک سوال برای من ایجاد شده ممنون میشم راهنمایی کنین.
    برای وارد کردن نقشه سایت در robots.txt حالت http://www.example.com/sitemap.xml با http://www.example.com/sitemap_index.xml چه تفاوتی دارن؟ آیا مشکلی ایجاد میکنه؟
    سوال دوم ام اینه که وقتی می خوام سایت مپ یه سایت رو چک کنم مثلا وقتی با www میزنم میاره اما بدون www نمیاره، آیا این یه مشکله؟

    • سارا حمیدی فر
      2019-08-09 21:05

      سلام بر شما ، هیچ تفاوتی ندارند نقشه هر سایت لینک خاص خودش را دارد. مورد دوم نیز مشکل نیست بلکه بستگی به لینک سایت شما دارد. باتشکر

  • رسول محمدی
    2019-04-16 21:46

    سلام
    وقت بخیر
    خدا قوت
    واقعا ممنونم بابت آموزشهای فوق العادتون. عالی هستن
    در سایتی خوندم که گفته بود پوشه پلاگین و فایل readme.html رو در robots.xt از دسترس خارج کنید چون ممکنه هکرها از این دو تا برای هک کردن استفاده کنن
    این موضوع چقدر صحت داره و پیشنهاد شما چیه؟

  • وحید حسینی
    2019-04-15 12:27

    با سلام
    من اونجایی که گفتید ادرس سایت مپ و داخا robot.txt وارد کنید ونفهمیدم ادرس سایت مپ و از کجا بیارم .
    ممنون از ویدیو های عالی شما

  • رضا ملکی
    2019-02-25 14:32

    سلام استاد بزرگوار
    شما فرمودید اگه دستور / :Disallow داخل فایل robots.txt قرار بگیره مرگ سایت هست . الان تو وب مستر تولز قسمت robots.txt Tester برای سایت ما همون دستور رو میاره درحالی که تو هاست سایت اصلا فایل robots.txt موجود نیست . برای حل این مشکل باید چه کار کرد ؟
    با تشکر

  • محسن مرتضوی یزدی
    2018-12-30 19:57

    سلام شما ثابت کردین مردمان یزد بهترین مردمان ایران هستند همشهری گرامی ارزوی موفقیت بیشتر برای شما دارم

    مدیریت کفش چرمینه

  • سلام، وقت بخیرمن فایل robots.txt رو مطابق اونچه که شما در آموزش فرموده بودین، ویرایش و ذخیره کردم. یعنی تنها با دستورات User-agent: * و sitemap سایتم. اما همچنان در گوگل وب مستر، وقتی sitemap سایت ودم رو وارد می کنم با پیغام اینکه فایل robots.txt، اومده و URLهام رو محصور کرده مواجه میشم.     URL restricted by robots.txtممنون میشم راهنماییم کنید.

  • درود بر شما آموزش خیلی خوبی بود.بنده این فایل رو بروز کردم و به صورت پیشفرض User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php دستور توش بود. الان تو Search Console یه خطای از نوع Other برام ثبت کرده و عنوان خطاش اینه:Googlebot couldn’t access this page because the server didn’t understand the syntax of Googlebot’s request.این خطا مربوط به تنظیمات robot.txt یا چیز دیگه؟

  • با سلام و عرض احترامعذر میخوام من در فایل ربات نقشه سایت مپ رو دقیقا جوریکه گفته بودید وارد کردم.بعد همونطور که در نظرات پاسخ داده بودید گزینه شو هیدن روفعال کردم الان دیگه سایتم بالا نمیاد؟میشه راهنمایی بفرمایید؟

  • سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه که داخلش این پیام را نمایش میده User-agent: *
    Disallow: /wp-admin/
    Allow: /wp-admin/admin-ajax.phpآیا نیازی میبنید که بخام تغییری ایجاد کنم/اگر نیاز به تغییر وجود داره آیا باید طبق ویدیو ی آموزشی یک فایل بسازم

  • سلام من تمام پست ها رو خونئم تا احیانا سوالم تکراری نباشه من در ادامه ادرس یایتم روبوت txt رو میزنم برام میاد اون دستورا اما وقتی میخوام اصلاحش کنم در سی پنلم نیست حتی فایل های مخفی رو هم به حالت نمایش گذاشتم اما نبود

  • گلی حسینی
    2018-02-12 13:07

    سلام جناب جبین پور خسته نباشید و تشکر از آموزش های خوبتون . بعد از آدرس سایتم robots.txt رو وارد میکنم یه صفحه خالی بدون هیچ نوشته ای میاد قبلا مطالب سایتم خوب بود صفحه اول گوگل بود الان نه . باید فایل robot رو مجدد بسازم ؟

  • ملیحه
    2018-02-06 10:26

    سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه با disallow:/  خالی که شما گفتید خوب نیست. الان من از کجا میتونم ویرایشش کنم در حالی که فایلش نیست در هاستم ؟ممنون

  • مهدیار
    2018-01-20 00:09

    سلام خسته نیاشید اقای جبین پور من میخوام سایتم رو گوگل نبینه و اصطلاحا بکشم ایم کد رو میزارم تو robots.txt ولی قلوب نمیکنه وبمستر باید چیکار کنم تا بتونم سایتم رو از بین ببرم در ضمن سایتم اسمش bedonesod.ir هست و فقط میخوام یاد بگیرم همین و از ساخت این سایت دو هفته نمیگذره

  • مجتبی
    2017-11-23 00:30

    سلام آقای جبین پور با تشکر از آموزش های خوبی که ارائه میدید. من وقتی فایل robots.txt رو فراخوانی میکنم بدونه مشکل نمایش میده ولی وقتی که داخل هاست میرم فایلش نیست حتی قسمت نمایش فایلهای مخفی در هاست رو هم فعال میکنم ممنون میشم راهنمایی کنید مشکل از چی میتونه باشه؟ من میخوام اون بخش آخری که سایت مپ رو اضافه کردید به ربوت اضافه کنم

  • یعنی عالی بود . خسته نباشید . گرفتار شده بودم شدید دستت درد نکنهممنون

  • محمدرضا خسروی
    2017-11-11 22:26

    سلام و عرض احترام خدمت اقای جبین پور عزیز

    در فیلم های اموزشی سئو قسمت ۱۱

    من متوجه نشدم بالاخره بعد از کلمه ی useragaint

    ستاره وارد کنیم یا گوگل بات (*,googlebot)

    ممنون میشم راهنماییم کنید

  • سلام جناب مهندسبرای من در تب Structured Data بخش hentry 236 ارور نشان میده. سایت تازه تاسیس هست میخوام بدونم چظور میتونم این مشکلاتو رفع کنم؟ کمک می کنید؟

  • سلامچرا تو فایل ربات با اینکه فقط User–agent: *sitemap: ********* را وارد کردم ولی تو مرورگر وقتی آدرسشو وارد کردم که محتوای فایلو ببینم به این صورت User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php بهم نشون میده

  • دایرکت ادمین فایل هیدن ندارد. اگر این فایل در هاست نیست می توانید خودتان بسازید.

  • محمد قاسمی
    2024-02-19 08:39

    این افزونه برای ساخت فایل ربات مناسب نیست ، در افزونه های سئو مثل رنک مث قابلیت مدیریت این فایل از داخل افزونه وجود دارد که اگر از این افزونه استفاده کردید می‌توانید در تنظیمات افزونه آنرا مدیریت فرمایید.
    باتشکر از شما

فهرست