robots.txt یک فایل بسیار مهم می‌باشد که با کمک آن میتوانید وضعیت ایندکس شدن سایت را مدیریت کنید. یعنی برای موتورهای جستجوگر از جمله گوگل، مشخص کنید به کدامیک از بخش‌های سایت دسترسی داشته باشند یا دسترسی نداشته باشند.
فقط این موضوع را در نظر بگیرید که کوچک‌ترین اشتباه در فایل robots.txt موجب میشود که سئو (SEO) سایت به صورت جدی آسیب ببیند. بنابراین پیشنهاد می‌کنیم که این مقاله آموزشی را تا انتها مطالعه کنید تا اطلاعات مورد نیاز را بدست بیاورید. سپس میتوانید تغییرات دلخواه خود را در فایل Robots.txt را اعمال کنید.
فایل robots.txt چیست
robots.txt یک فایل متنی می‌باشد که توسط موتورهای جستجوگر از جمله گوگل، مورد بررسی قرار می‌گیرد. البته فایل robots.txt با نام Robots Exclusion Protocol یا پروتکل REX نیز شناخته میشود که نتیجه توافقات بین توسعه‌دهندگان اولیه موتورهای جستجوگر می‌باشد. البته این پروتکل توسط هیچ سازمانی تایید نشده است؛ اما با این حال تمام موتورهای جستجوگر نسبت به آن حساس می‌باشند و اهمیت زیادی برای آن قائل هستند.
robots.txt چگونه کار می‌کند
همان‌طور که می‌دانید، ربات‌های موتورهای جستجوگر، صفحات سایت را مورد بررسی قرار می‌دهند (اصطلاحا می‌خزند) و براساس معیارها و الگوریتم‌های مختلف، آن‌ها را فهرست می‌کنند. اما قبل از اینکه گوگل و سایر موتورهای جستجوگر شروع به خزیدن سایت‌ها کنند، ابتدا فایل robots.txt را بررسی می‌کنند. چرا که ممکن است یک وب‌سایت مشخص کرده باشد که برخی صفحات ایندکس نشوند.
فایل robots.txt در کجا قرار می‌گیرد
این فایل دقیقا در پوشه اصلی هاست یعنی Public_HTML قرار می‌گیرد. در واقع موتورهای جستجوگر باید با آدرس زیر بتوانند به فایل robots.txt دسترسی داشته باشند.
YourDomain.com/robots.txt
فراموش نکنید که اگر نام فایل را به صورت اشتباه بنویسید، توسط موتورهای جستجوگر مورد بررسی قرار نخواهد گرفت و این موضوع می‌تواند برای سئو سایت به شدت خطرناک باشد.
مزایای فایل robots.txt
حالا وقت آن است که مزایای فایل robots.txt را برای شما توضیح دهیم.
مدیریت بودجه خزش
تمام موتورهای جستجوگر از جمله گوگل، ربات‌های محدودی دارند که صفحات وب را ایندکس می‌کنند. بنابراین نمی‌توانند هر روز تمام سایت‌ها و صفحات موجود در سطح وب را مورد بررسی قرار دهند و ایندکس کنند. حالا با توجه به اینکه تعداد ربات‌ها محدود است، موتورهای جستجوگر باید برای هر سایت یک بودجه خزش در نظر بگیرند. بودجه خزش (Crawl Budget) در واقع میزان زمان و انرژی است که ربات‌های موتورهای جستجوگر برای یک سایت صرف می‌کنند.
البته این میزان برای هر سایت متفاوت است. برای مثال هرچه یک سایت از اعتبار بالاتری برخوردار باشد، قطعا گوگل و سایر موتورهای جستجوگر برای آن بودجه خزش بیشتری در نظر می‌گیرند. همچنین هرچه یک سایت از اعتبار پایین‌تری برخوردار باشد، به همان نسبت قطعا بودجه خزش کمتری برای آن در نظر گرفته میشود.
اکنون با توجه به توضیحات داده شده، اگر فکر میکنید که سایت شما با کمبود بودجه خزش مواجه است، میتوانید با کمک فایل robots.txt مشخص کنید که چه بخش‌هایی از سایت شما ایندکس شود و چه بخش‌هایی ایندکس نشود. اینگونه میزان زمان و انرژی خزنده‌های گوگل را از بین نمی‌برید و می‌توانند قسمت‌های مهم سایت را ایندکس کنند.
حذف URL Parameters برای بهوبد بودجه خزش
یکی از مواردی که تاثیر زیادی بر بودجه خزش می‌گذارد، URL Parameters یا همان پارامترهای URL می‌باشد. جالب است بدانید که این پارامترها انواع مختلفی دارند و در تمام سایت‌ها وجود دارند. برای مثال در سایتهای فروشگاهی، معمولا در زمان فیلتر کردن محصولات مختلف، این پارامترها ایجاد می‌شوند و میتوانید مشاهده کنید.
برای درک بهتر URL Parameters پیشنهاد می‌کنیم به URL زیر دقت کنید که نتیجه اعمال چند فیلتر روی محصولات در یک سایت فروشگاهی می‌باشد.
https://www.YourDomain.com/search/category/?attribute[A2291][0]=19813&attribute[A2291][1]=19817&pageno=1&last_filter=2291&last_value=19817&sortby=4
همان‌طور که در URL بالا مشاهده میکنید، کاراکترهایی اضافه شده است که در واقع همان پارامترهای مربوط به URL می‌باشند. حالا در این مقاله قصد نداریم که URL Parameters را به صورت کامل توضیح دهیم و صرفا در حد آشنایی شما کاربران عزیز می‌باشد.
فقط باید به این نکته توجه داشته باشید که هیچ نیازی به ایندکس شدن این موارد نیست و میتوانید از ایندکس کردن این پارامترها توسط گوگل جلوگیری کنید. در واقع اگر شما اجازه دهید که گوگل و سایر موتورهای جستجوگر این پارامترها را ایندکس کنند، ممکن است بخش عظیمی از بودجه خزش مصرف شود و به صفحات اصلی و مهم نرسد.
معایب فایل robots.txt
تاکنون به خوبی با مزایای فایل robots.txt آشنا شدید؛ حالا قصد داریم به سراغ معایب این فایل برویم.
حذف نشدن صفحات از نتایج جستجو
زمانی که شما بخشی از سایت را در فایل robots.txt مشخص میکنید که توسط موتورهای جستجوگر ایندکس نشود، بازهم احتمال دارد که یک صفحه از همان بخشی که مشخص کرده‌اید در نتایج جستجو نمایش داده شود. شاید این موضوع شاید کمی عجیب باشد، اما نکته‌ای مهم در رابطه با فایل robots.txt است که اکثر سئوکارها از آن بی‌خبر هستند.
بنابراین اگر می‌خواهید به صورت 100 درصد مطمئن شوید که یک صفحه از سایت در نتایج جستجو (SERP) نمایش داده نمی‌شود، نباید آن را در فایل robots.txt مشخص کنید، بلکه باید به سراغ همان صفحه بروید و به صورت مستقیم از تگ noindex استفاده کنید.
دلیل این موضوع هم به وضوح مشخص است. در واقع فایل robots.txt مشخص می‌کند که موتورهای جستجوگر به بخشی از سایت دسترسی نداشته باشند؛ اما تگ noindex به آن‌ها اختصاص نمی‌دهد. حالا کافی است که یک صفحه از همان بخش که در فایل robots.txt مشخص کرده‌اید، قبلا ایندکس شده باشد، یا حتی از صفحه دیگری لینک دریافت کرده باشد؛ در این صورت بازهم ایندکس خواهد شد.
نادیده گرفتن لینک‌های داخلی
هرگاه که یک بخش از سایت را در فایل robots.txt مشخص میکنید که موتورهای جستجوگر به آن دسترسی نداشته باشند، هر لینکی که در آن صفحات وجود داشته باشد، بی‌ارزش خواهد شد. چرا که دسترسی موتورهای جستجوگر را به کلی مسدود کرده‌اید و نمی‌توانند به آن صفحه دسترسی داشته باشند. بنابراین تمام لینک‌های بخش‌هایی که در فایل robots.txt مشخص کرده‌اید، ارزشی نخواهند داشت و توسط موتورهای جستجوگر نادیده گرفته می‌شوند.
ساختار و سینتکس‌های robots.txt
اگر تاکنون محتوای داخل فایل robots.txt را مشاهده کرده باشید، متوجه می‌شوید که ساختار بسیار ساده‌ای دارد. در قسمت زیر اطلاعات یک فایل robots.txt را برای نمونه قرار داده‌ایم که می‌تواند مشاهده کنید.
User-agent: * Disallow: / User-agent: Googlebot Disallow: User-agent: bingbot Disallow: /not-for-bing/
همان‌طور که مشاهده میکنید تمام بلوک‌های دو خطی، با یک عبارت به نام “User-agent” شروع شده‌اند. حالا منظور از این عبارت، موتورهای جستجوگر می‌باشند. در واقع با عبارت “User-agent” موتورهای جستجوگر را صدا می‌زنیم. حالا صدا زدن موتورهای جستجوگر چند حالت مختلف دارد که در ادامه بیشتر توضیح می‌دهیم.
فراخوانی موتورهای جستجوگر در فایل robots.txt
اگر بخواهیم یک دستور در فایل robots.txt بنویسیم که تمام موتورهای جستجوگر از آن پیروی کنند؛ باید به صورت زیر باشد.
User-agent: *
زمانی که در مقابل عبارت “User-agent” علامت * قرار می‌دهیم، به این معنی است که تمام موتورهای جستجوگر باید به این دستور توجه کنند و از آن پیروی کنند. اما اگر بخواهیم یک موتور جستجوگر خاص را مثل گوگل یا بینگ فراخوانی کنیم، دستور ما باید به صورت زیر باشد.
User-agent: Googlebot
همان‌طور که مشاهده میکنید برای فراخوانی یک موتور جستجو، باید نام آن را به همراه کلمه bot بنویسید. برای مثال در قسمت بالا ما قصد داشتیم که موتور جستجوگر گوگل را فراخوانی کنیم؛ به همین دلیل در مقابل “User-agent”، عبارت “Googlebot” را نوشتیم. با انجام این کار، نشان می‌دهیم که دستور نوشته شده فقط برای موتور جستجوی گوگل است.
دستور Disallow
تاکنون به خوبی با دستور “User-agent” آشنا شدید و حالا قصد داریم به سراغ دستور بعدی برویم. همان‌طور که در مثال اول گفته شد، هر بلوک در فایل robots.txt معمولا از دو خط تشکیل شده است. در خط اول با کمک دستور User-agent موتور جستجوگر را مشخص می‌کنیم. اما در خط دوم، با دستور Allow یا Disallow مشخص می‌کنیم که موتور جستجوگر به چه بخش‌هایی از سایت دسترسی داشته باشد یا دسترسی نداشته باشد.
دستور Disallow بیشترین کاربرد را دارد و ممکن است در یک خط یا در چند خط مشخص کنیم که موتور جستجوگر به چه بخش‌هایی از سایت دسترسی نداشته باشد. البته اگر جلوی عبارت Disallow خالی باشد، به این معنا است که هیچ بخشی از سایت محدود نشده است و موتور جستجوگر به تمام بخش‌های سایت دسترسی دارد.
برای مثال با دستورات زیر در فایل robots.txt هیچ اتفاقی برای سایت رخ نمی‌دهد و در واقع به موتورهای جستجوگر گفته شده است که تمام قسمت‌های سایت را مورد بررسی قرار دهید.
User-agent: * Disallow:
حالا اگر مثل قسمت زیر یک کاراکتر به دستورات بالا اضافه کنیم، در واقع به موتورهای جستجو دستور داده‌ایم که سایت را مورد بررسی قرار ندهد.
User-agent: * Disallow: /
حالا اگر بخواهید یک بخش از سایت را به صورت کلی برای موتورهای جستجوگر محدود کنید، باید به صورت زیر عمل کنید. در واقع دستوری که ما نوشته‌ایم، جهت جلوگیری از ایندکس شدن تصاویر است. فقط توجه داشته باشید که با دستور زیر، تمام زیر شاخه‌های دایرکتوری Photo برای موتورهای جستجوگر مسدود می‌شوند و ایندکس نخواهند شد.
User-agent: googlebot Disallow: /Photo
دستور Allow
علاوه‌بر دستور User-agent و Disallow یک دستور دیگر با نام Allow وجود دارد. البته این دستور استاندارد نیست و توسط همه موتورهای جستجوگر خوانده نمی‌شود. بنابراین پیشنهاد می‌کنیم تا حد امکان از این دستور استفاده نکنید. صرفا در همین بدانید که دستور Allow برخلاف Disallow به موتورهای جستجوگر اجازه می‌دهد که به بخشی از سایت دسترسی داشته باشند.
برای مثال ممکن است توسط دستور Disallow، دسترسی موتورهای جستجوگر را به پوشه wp-admin قطع کرده باشید؛ اما بخواهید دسترسی به یکی از فایلهای موجود در پوشه wp-admin را آزاد کنید. در چنین مواقعی از دستور Allow استفاده میشود. پیشنهاد می‌کنیم برای درک بهتر این موضوع، به دستورهای زیر توجه کنید.
Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
همان‌طور که مشاهده میکنید، ابتدا به کمک دستور Disallow دسترسی را به فایل wp-admin محدود می‌کنیم؛ ولی در ادامه با استفاده از دستور Allow، دسترسی به فایل مورد نظر را آزاد می‌کنیم.
نکته مهم: استفاده از حروف کوچک و بزرگ در دستورات اصلی مثل User-agent یا Allow و Disallow تفاوتی ندارد؛ اما برای مشخص کردن بخش‌های مختلف سایت (مثل یک دایرکتوری مشخص)، حروف کوچک و بزرگ متفاوت هستند و نباید به صورت اشتباه بنویسید.
دستور Host
افراد بسیار کمی هستند که با دستور Host آشنا باشند؛ چرا که این دستور صرفا توسط موتور جستجوگر یاندکس (Yandex) پشتیبانی میشود. یعنی سایر موتورهای جستجوگر از جمله گوگل و بینگ، از دستور Host پشتیبانی نمی‌کنند. البته ناگفته نماند که این دستور از اهمیت زیادی برخوردار نیست.
با استفاده از دستور Host میتوانید مشخص کنید که آدرس سایت همراه با www باشد یا بدون www باشد. برای درک بهتر این موضوع پیشنهاد می‌کنیم به مثال زیر دقت کنید.
host: YourDomain.com
همان‌طور که مشاهده میکنید، در قسمت بالا تعیین کرده‌ایم که آدرس سایت بدون www نمایش داده شود؛ حالا اگر کسی بخواهد آدرس سایت را همراه با www نشان دهد، می‌تواند به صورت زیر عمل کند.
host: www.YourDomain.com
البته همان‌طور که پیش از این گفتیم، پیشنهاد می‌کنیم از این دستور استفاده نکنید. چرا که استاندارد نیست و توسط موتورهای جستجوگر مهم از جمله گوگل، شناسایی نمی‌شود. حتی با کمک این دستور شما نمی‌توانید HTTP یا HTTPS را مشخص کنید و این یک ویژگی منفی است.
دستور crawl-delay
این دستور مشخص می‌کند که موتورهای جستجوگر چه مقدار باید صبر کنند تا یک صفحه به صورت کامل بارگذاری شود و شروع به خزیدن کنند. برای استفاده از دستور crawl-delay به مثال زیر توجه کنید.
crawl-delay: 10
در واقع عددی که مقابل crawl-delay نوشته میشود، نشان می‌دهد که خزنده‌های موتورهای جستجو چند ثانیه باید صبر کنند. البته crawl-delay هم جزء دستورات غیراستاندارد محسوب میشود و توسط همه موتورهای جستجوگر خوانده نمی‌شود. بنابراین تا جایی که ممکن است از این دستور استفاده نکنید.
این دستور صرفا توسط یاندکس و بینگ شناسایی میشود؛ یعنی گوگل نمی‌تواند آن را شناسایی کند. اما برای اینکه بتوانید یک تاخیر برای خزنده‌های گوگل هم در نظر بگیرید، باید از طریق گوگل سرچ کنسول اقدام کنید و از طریق فایل robots.txt امکان پذیر نیست.
دستور sitemap
با استفاده از دستور sitemap میتوانید آدرس نقشه سایت را برای موتورهای جستجوگر مشخص کنید. البته بهتر است که با استفاده از ابزارهای وبمستر مثل گوگل سرچ کنسول چنین کاری را انجام دهید؛ اما برای کسانی که قصد ندارند با کمک ابزارهای وبمستر چنین کاری انجام دهند، می‌توانند از دستور sitemap در فایل robots.txt استفاده کنند.
برای اینکه از دستور sitemap استفاده کنید، باید مشابه مثال زیر پیش بروید.
Sitemap: https://YourDomain.com/my-sitemap.xml
به همین راحتی میتوانید با دستور sitemap مشخص کنید که نقشه سایت در کجا قرار دارد.
اعتبارسنجی فایل robots.txt
ابزارهای مختلفی وجود دارند که با استفاده از آن‌ها میتوانید فایل robots.txt را اعتبارسنجی کنید و مطمئن شوید که هیچ مشکلی ندارد. ولی پیشنهاد ما این است که از ابزار موتور جستجوگر گوگل استفاده کنید. برای اینکه بتوانید از ابزار گوگل استفاده کنید، کافی است به آدرس زیر بروید.
https://support.google.com/webmasters/answer/6062598?hl=en
سپس روی دکمه Open robots.txt Tester کلیک کنید. با انجام این کار به صفحه اعتبارسنجی فایل robots.txt منتقل می‌شوید.
نتیجه‌گیری کلی
همان‌طور که متوجه شدید، فایل Robots.txt بسیار مفید و کاربردی است. اما دستورهای زیادی دارد که استاندارد نیستند و توسط همه موتورهای جستجوگر پشتیبانی نمی‌شوند. بنابراین باید در استفاده از این دستورات هم دقت زیادی کرد. در کل اصلی‌ترین دستوری که باید از آن‌ها استفاده کنید به شرح زیر است.
- User-agent: برای فراخوانی موتورهای جستجوگر مثل گوگل
- Disallow: برای محدود کردن دسترسی موتورهای جستجوگر
امیدواریم این مقاله آموزشی مورد پسند شما کاربران عزیز قرار گرفته باشد؛ اگر سوال یا مشکلی در رابطه با فایل robots.txt داشتید، در بخش دیدگاه‌ها مطرح کنید تا کارشناسان و متخصصین ما به شما کمک کنند.
159 دیدگاه. Leave new
سلام روزتون بخیر
در آدرس yourdomain.com/robots.txt در سایت من فایل robots.txt وجود داره ولی این سایت در هاست نشان داده نمیشه چطور میتونم این فایل رو در هاست پیدا کنم ؟ ممنون
سلام وقت شما بخیر،
این مورد توسط افزونه های سئو ایجاد شده است ، میتوانید یک فایل ربات در هاست خود ایجاد کرده و دستورات را در آن درج کنید.
با تشکر.
لینک فایل مشکل داره میشه اصلاح کنید؟
سلام وقت شما بخیر،
این مورد به بخش مربوطه گزارش شده است.
با تشکر.
سلام. وقت بخیر
من میخوام فایل robots.txt رو ویرایش کنم اما فایلش رو پیدا نمیکنم.
از دایرکت ادمین استفاده میکنم و افزونه یوآست سئو.
لطفا راهنمایی بفرمایید.
متشکرم
سلام وقت شما بخیر،
بصورت کلی این فایل در هاست وجود ندارد و بایستی آنرا با همین نام و پسوند در هاست خود اضافه کنید تا بتوانید آنرا مدیریت فرمایید
با تشکر.
من با روشی که یاد دادید بررسی کردم. فایل از قبل وجود داره. فقط میخوام ویرایشش کنم. باید دوباره یک فایل با همین اسم بسازم و کدها رو توش بنویسم؟
اگر فایل وجود دارد کافیست همان را ویرایش و تغییرات را روی آن لحاظ فرمایید.
باتشکر
سلام وقت بخیر
امیدوارم خوب باشید
از هوش مصنوعی میشه استفاده کرد برای تولید محتوا
سلام وقت شما بخیر،
بله این مورد بسیار توصیه می شود و پیشنهاد می کنم از آموزش هوش مصنوعی دیدن فرمایید
با تشکر.
سلام وقت بخیر ، من کد های پایین را برای روبوت سایتم وارد کردم ، اینا مشکلی برای سایت فروشگاهی نداره ؟ چون که به صورت پیش فرض کد های قبلی که زده بودم خیلی از صفحات سایتم را به صورت خودکار noindex کرده بود
، User-Agent: *
Disallow: /wp-content/plugins/
Disallow: /readme.html
Sitemap: http://لینک سایت /post-sitemap.xml
Sitemap: http/لینک سایت /page-sitemap.xml
سلام وقت شما بخیر،
این موارد مشکلی ندارد، دقت کنید در تنظیمات وردپرس گزینه مسدود سازی ربات ها را فعال نکرده باشید.
با تشکر.
سلام بر شما وقت بخیر
این مورد مشکلی ندارد. اما پیشنهاد می شود که از آموزش استفاده نمایید.
Disallow: /
این مورد در فایل robots.txt سایت من فعال بود قبل از اینکه آموزش شما رو ببینم.
آیا آسیبی به سایت من رسیده است ؟
سلام وقت شما بخیر،
اگر سایت شما تازه تاسیس است این مورد مشکلی ایجاد نخواهد کرد.
با تشکر.
چندین محتوا درون آن منتشر شده بود
با برداشتن این مورد بعد از مدتی مشکل حل خواهد شد و نیازی به نگرانی نیست.
باتشکر
سلام خسته نباشید
یه سوالی داشتم در مورد فایل robots. Txt
من سایتمو برای ورود به پنل کاربری وردپرسم از wp-admin به amir تبدیل کردم با افزونه, الان باید به ربات های گوگل بگم فایل amir ایندکس نکنن
یا همون wp-admin خودش باشه
سلام وقت شما بخیر،
اگر با زدن آدرس قبلی، ریدایرکت به آدرس جدید صورت نمی‌گیرد بهتر است این مورد را در فایل ربات لحاظ کنید
با تشکر.
سلام وقت بخیر
فایل robots آپلود کردم اما اصلا تغییر نمی کنه!
تست میگیرم ولی هیچ تغییری نمی کنه
سلام وقت شما بخیر،
ممکن است به دلیل کش این مورد رخ داده باشد که پیشنهاد میشود کش سایت یا مرورگر خود را خالی کرده و سپس تست فرمایید.
با تشکر.
با تشکر از شما
پیروز باشید
سلام. وقت بخیر
میخواستم بدونم ممکنه فایل robots.txt از روی هاست پاک بشه؟
من قبلا داشتم این فایل رو اما الان هرچی میگردم پیداش نمیکنم.
متشکرم
سلام وقت بخیر
فایل robots.txt رو مطابق آموزش شما ساختم ولی برای تعداد خیلی زیادی از صفحاتم خطای URL is not on Google رو در سرچ کنسول دریافت میکنم.
ممنون میشم راهنماییم کنید.
سلام وقت شما بخیر،
با ایجاد این فایل این مشکل حل نمی شود. وجود فایل ربات به این منظور است که گوگل بهتر متوجه شود که کدام بخش های سایت ایندکس و کدام مسیر ها ایندکس نشود.
بهتر است که نقشه سایت خود را به گوگل کنسول اضافه نمایید.
اما اینکه خیلی از بخش ها ایندکس نشده و اکنون در گوگل وجود ندارد ، دلایل مختلفی دارد ، ممکن است لازم باشد که بیشتر صبر کنید.
البته پیشنهاد می شود که برای مشاوره سئو با سایت دیگر ما، نت بازده در تماس باشید.
با تشکر.
با تشکر.
سلام، بغیر از مواردی که در فایل زیپ بود چه بخش هایی از سایت فروشگاهی رو باید disallow کنم؟
جایی خونده بودم که فیلتر ها و کلماتی که در سرچ بار سایت تایپ میشن رو باید disallow کرد.
اگر درسته میشه لطفاٌ کد دستوریش رو برام بنویسید؟
سلام وقت شما بخیر،
در این خصوص هر سایت تنظیمات مختلفی دارد و امکان ارایه کد توسط ما نیست ، معمولا فیلترها یا کوئری ها را بهتر است توسط این فایل محدود کنید.
با تشکر.
سلام ببخشید در خود پوشه ی wp-admin فایل admin-ajax.php هست. اینو باید ویرایش کنیم؟
سلام وقت شما بخیر،
بله این فایل در این مسیر قرار دارد، البته نیازی نیست این فایل را ویرایش کنید و تنها میتوانید در فایل ربات مانند آموزش دسترسی لازم را به آن بدهید.
با تشکر.
سلام وقت بخیر این فایل robots txt رو باید خودمون بنویسیم طبق ویدیو یا فایلش داخل این پست برای دانلود موجوده؟
وقت بخیر مصطفی عزیز،
فایل باید توسط کاربر ایجاد شود.. این فایل وجود ندارد.
ممنون بابت راهنمایی
الان که میخواستم بسازم متوجه شدم یه فایل robot.txt موجوده و داخلش این هست
*
*
*
نمیدونم این رو یواست ایجاد کرده یا نه، الان نیازه عوضش کنم و مثل شما که در ویدیو گفته بودید تغییرش بدم؟
طبق آموزشی که قرار داده ایم ، ایجاد نمایید.
عرض سلام و وقت بخیر
اگر در ابتدای کار هستیم و در مرحله طراحی سایت، و می خواهیم گوگل سایت را ایندکس نکند می توان از دستور زیر استفاده کرد؟
User-agent: *
Disallow: /
آیا آسیبی به سایت نمی رسد؟ البته از پیشخوان وردپرس من تیک مربوطه رو زدم ولی بازهم سایتم در نتایج جستجو نشان داده میشود. برای همین می خواستم از این روش استفاده کنم اگر روش مطمئنی هست.
وقت شمابخیر
فقط کافی است تیکت عدم ایندکس را فعال نمایید .
با تشکر.
ممنون از راهنمایی شما
تیک رو زدم ولی وقتی آدرس سایت رو در گوگل وار د میکنم سایت نمایش داده میشه . راهی وجود نداره که هم ایندکس نشه و هم نمایش داده نشه؟
احتمالا از قبل ایندکس شده بوده است.
معنی اینکه ایندکس نشود ، یعنی کلاً سایت نباید در گوگل نمایش داده شود.
با سلام
در توضیحات زیر ویدیو فرموده بودید از ایندکس شدن URL Parameters جلوگیری کنید.
در صورت امکان کد noindex کردن آن را بفرمایید تا در فایل خود استفاده نماییم.
وقت بخیر
این یک موضوع ثابت نیست.
بستگی به مدل سایت شما هم دارد.
در صورت تمایل با آی دی تلگرام @netbazdeh_support که برای مجموعه نت بازده ما است ،در ارتباط باشید.
با تشکر.
با عرض سلام و خسته نباشید
آقای جبین پور توی یکی از آموزش‌‌ها فرمودند که محتوای مخفی شده توی صفحات نمره منفی داره
مثلا سایت بنده تو بعضی صفحات یک محتوایی رو توی گوشی موبایل مخفی کردم اما برای دسکتاپ قابل نمایش هست و بلعکس، آیا این کار هم نمره منفی داره؟
سلام بر شما ، وقت بخیر از حضور شما ممنونیم.
به اینصورت که شما در طراحی استفاده کرده اید ، مشکلی ندارد. شما درواقع طراحی خود را بصورت عالی انجام داده اید و درواقع از روش های خاص یا کلاه سیاه سئو استفاده نکرده اید.
این مورد مشکلی ندارد.
آرزوی موفقیت برای شما داریم.
آقای جبین‌پور و بچه های ابزاروردپرس خدا خیرتون بده واقعا.
درود و عرض ادب
از حضور شما ممنونیم و برای شما آرزوی موفقیت داریم.
با تشکر.
سلام برای فروش دوره بایدازچه قالبی استفاده کرد؟
سلام بر شما ، وقت بخیر از حضور شما ممنونیم.
وارد بخش سایت های آماده و در بخش سایت های آماده آموزشی شوید. بنظر سایتهای آماده آموزشی برای شما مناسب است.
آرزوی موفقیت برای شما داریم.
سلام
من در سرچ کنسول برای قسمت اینسپکشن ، وقتی پیوند نوشته هام را وارد میکنم با این خطا مواجه میشم:
During live testing, indexing issues were detected with the URL
تنها صفحه ای که ایندکس میشه صفحه اصلی هست.
به فایل robot.txt هم رفتم مشکلی نبود. باید چکار کنم؟
سلام و عرض ادب ،
بررسی نمایید که سایت نو ایندکس نباشد.
مهم تر از آن باید بررسی نمایید که در بخش Coverage اروری نباید و این ارور ها را حل نمایید.
با تشکر.
سلام وقتتون بخیر خسته نباشید عذر میخوام اگر از افزونه سئو yoast استفاده نکنیم بازهم میتونیم سایت مپ خودمون رو پیدا کنیم و اگر میتونیم از کجا میشه پیدا کرد؟
سلام بر شما،
بهتر است که از افزونه های سئو برای این مورد استفاده کنید.
در وردپرس این مورد یا با افزونه ایجاد می شود و یا باید بصورت دستی و توسط سایت های آماده، ایجاد و مدیریت کنید.
با تشکر از شما.
سلام و با تشکر از شما
اگر فایل های jpg رو دیز الو کنیم مشکلی از نظر سئو به وجود نمیاد؟
سلام آقای اسفندیاری عزیز
پیشنهاد نمی شود تصاویر را Disallow کنید.
با تشکر از حضور شما
سلام
روز بخیر من این فایل رو قرار دادم ولی فقط پست اولم ایندکس شده و بیش از یکماه هست هیچ پست دیگر من ایندکس نمی شود
میشه لطفا راهنمایی کنید
سلام آقای انفرادی عزیز
ایندکس شدن صفحات بستگی به میزان فعالیت شما دارد و هر چه سایت فعال تری داشته باشید روند ایندکس شدن سریع تر انجام می گردد. مشکلی در
فایل Robots.txt ما وجود ندارد. بررسی کنید که صفحات مورد نظر تگ نو ایندکس نداشته باشد و همچنین سعی کنید تولید محتوا بیشتری داشته باشید.
با تشکر
درود به شما سپاس از آموزش های ارزنده تون. دو تا سوال داشتم ممنون میشوم جواب بدید. در سایت هایی که پروسه کاریشون اینجوره که عکس های متفاوت و زیادی رو در وردپرس خودشون آپلود میکنن؛ از اونجا که طریقه ی خاصی برای جلوگیری از ایندکس شدن این تصاویر در نتایج جستجو وجود نداره ؛ آیا امکانش هست که با درج پسوند png یا jpg در ربات اون هارو از نتایج محدود کرد؟
و اینکه در آموزش آقای جبین پور فرمودن صفحات و برگه هارو از طریق افزونه سئو no index کنید. بعد از اینکه اینکارو با افزونه کردیم چقدر زمان میبره برگه یا نوشته ای که از قبل ایندکس بوده از نتایج پنهون بمونه؟ چون من به طور آزمایشی الان ۲ هفته noindex کردم ولی در نتایج بالا میاد. ممنون از پاسخگوییتون
سلام و درود آقای دیلمی
برای جلوگیری از ایندکس تصاویر می توانید از آموزش زیر که توسط گوگل ارائه شده است استفاده کنید.(از یک نرم افزار تغییر آیپی برای بازکردن لینک استفاده کنید.)
جلوگیری از ایندکس تصاویر
برای حذف لینک مورد نظر می توانید از ابزار removeals در سرچ کنسول استفاده کنید و لینک ها را از نتایج حذف کنید.
با تشکر
سلام خسته نباشید
اگر ما این فایل رو Disallow: /wp-admin/ از دسترس ربات های گوگل خارج کنیم امتیار منفی نداره؟
سلام آقای زاهدیان عزیز و گرامی
خیر مشکلی ندارد. مشابه فایل robots.txt را می توانید از زیر ویدیو آموزشی صفحه قرار دارد را دانلود و استفاده کنید.
با تشکر
سلام. فایل زیپ کجاست؟ زیر ویدئو چیزی نیست
سلام وقت شما بخیر،
این دوره در سایت نت بازده آپدیت شده است که پیشنهاد میشود از این دوره در سایت نت بازده دیدن فرمایید
با تشکر.
سلام استاد خسته نباشید،من افزونه یواست رو از سایت شما تهیه کردم،با همون افزونه نقشه سایت رو فعال کردم ولی نقشه سایت واسم ایجاد نمشه چطور می تونم درستش کنم
سلام و احترام خدمت شما کاربر ارجمند ، از شما خواهشمندیم سوالات پس از خرید را ( در رابطه با محصول خریداری شده از سایت ما ) در بخش تیکت پشتیبانی ( ناحیه کاربری ) ارسال فرمایید ، سوالات شما به سرعت توسط همکاران متخصص ما پاسخ داده خواهد شد.
سلام خسته نباشید شرمنده مزاحم میشم سوالی برای من پیش امده اینو میدونم که فایل wp-admin مربوط به فایل های سیستمی هست و نیازی نیست که خزنده های گوگل دسترسی به اون داشته باشند.ولی متوجه نشدم که کار admin ajax.phpچی هست و برای چی باید دسترسی پیداکنه
سلام خانم جلالی ، در وردپرس تمام درخواست های آجاکس به فایل admin-ajax.php می رود. با توجه به اینکه گوگل همه چیز را بررسی می کند بنابر این باید این فایل دسترسی باشد تا موارد در صفحه نمایش داده شود.
سلام خسته نباشید
سایت من اینها رو هم داره میتونید راهنمایی کنید که مفیدن یا خیر؟
Disallow: /wp-admin/
Disallow: */feed/
Disallow: /wp-includes/
Disallow: /tags.php
Disallow: /cart/
Disallow: /my-account/
سلام ، مشکلی در این کدها نیست ولی بهتر است از حالت طبیعی گفته شده استفاده شود. باتشکر
سلام، خیلی ممنون از آموزشهای شما.
بعد از انجام همه مواردی که فرمودین متاسفانه در بخش ایندکس سایت با پیغام زیر روبرو میشوم.
Page cannot be reached
This could be because the page is unavailable or blocked by robots.txt
لطف میکنید راهنمایی بفرمایید؟
سلام ، لطفاً چک کنید که در پیشخوان وردپرس > تنظیمات > خواندن ، تیک گزینه آخر زده نشده باشد. باتشکر
نه تیک زده نشده!
نیاز به بررسی تخصصی دارد و بهتر است با یک شرکت سئو در ارتباط باشید. باتشکر
من اکانت ساختم داشتم دوره سئو رو نگاه می کردم امروز اومدم می بینم وارد اکانتم نمی شه و منو انداختید بیرون ینی چی آخه ؟
من می خوام دوره ای رو خرید کنم اگر این طوری ادمو می اندازین بیرون نمی شود بهتون اعتماد کرد
با سلام و احترام به شما کاربر گرامي ،
ما کاربران لاگین را خارج نمی کنیم ، این بستگی به کوکی های مرورگر شما دارد ، امیدوارم دیگر برای شما این اتفاق رخ ندهد. شما می توانید لاگین نمایید واگر مشکلی بود با شرکت تماس داشته باشید.
با تشکر.
سلام من برای صفحات حریم خصوصی و قوانین فروشگاه چند پاراگراف رو از سایتی کپی کردم، آیا تاثیر منفی در سئو داره؟ اگر noindex کنم چی؟؟
سلام بر شما ، در این حد حساسیت بالا نیست بنظرم نگران نباشید. باتشکر
سلام و خسته نباشید
فایل کد robots.txt زیر ویدیو قرار ندارد؟
سلام خانم نوروزی ، فایل مربوطه اضافه شد. باتشکر
سلام
عالی مثل همیشه
با سلام و تشکر فراوان برای آموزش های خوبتون
سوال من اینه اگه پوشه wp-admin را بهش اجازه ورود بدیم (یعنی مثل سایت شما همه چیز قابل دسترسی باشه) در مورد هک کردن سایت ما مشکلی برامون پیش نمیاد؟
سلام بر شما ، هک شدن از این مسائل خیلی جلوتر رفته و عملاً این چیز ها باعث هک نمی شود. در انتخاب قالب و افزونه هایتان با اطمینان عمل کنید مشکلی نخواهد بود. همچنین فایل robots ارتباطی به هک شدن ندارد زیرا هر روباتی از اصول این فایل پیروی نمی کند و برای گوگل است. باتشکر
سلام خدمت شما عزیزان زحمت کش من یه سوال داشتم من اگه بخوام گوگل ساب دامین منو ایندکس نکنه باید چیکار کنم؟
با سلام ، ضمن سپاس از حضور شما ،
ساده ترین راه این است که در تنظیمات قالب> خواندن> تیکت ایندکس توسط موتور های جستجو را بردارید.
با تشکر.
با سلام
بنده وقتی در کنسول گوگل site map را ایندکس می کنم با ارور زیر مواجه می شوم ممکن است به robots.txt مربوط باشد یا عادی است و نیازی ایندکس سایت مپ نیست
No: ‘noindex’ detected in ‘X-Robots-Tag’ http header
سلام، روزتون خوش، ممنون از زحمات تون. در مورد این آموزش یک سوال برای من ایجاد شده ممنون میشم راهنمایی کنین.
برای وارد کردن نقشه سایت در robots.txt حالت http://www.example.com/sitemap.xml با http://www.example.com/sitemap_index.xml چه تفاوتی دارن؟ آیا مشکلی ایجاد میکنه؟
سوال دوم ام اینه که وقتی می خوام سایت مپ یه سایت رو چک کنم مثلا وقتی با www میزنم میاره اما بدون www نمیاره، آیا این یه مشکله؟
سلام بر شما ، هیچ تفاوتی ندارند نقشه هر سایت لینک خاص خودش را دارد. مورد دوم نیز مشکل نیست بلکه بستگی به لینک سایت شما دارد. باتشکر
سلام
وقت بخیر
خدا قوت
واقعا ممنونم بابت آموزشهای فوق العادتون. عالی هستن
در سایتی خوندم که گفته بود پوشه پلاگین و فایل readme.html رو در robots.xt از دسترس خارج کنید چون ممکنه هکرها از این دو تا برای هک کردن استفاده کنن
این موضوع چقدر صحت داره و پیشنهاد شما چیه؟
با سلام و احترام ، این موضوع قدیم مطرح می شد اکنون این فایل ها دیگر خطر امنیتی ندارند. باتشکر
با سلام
من اونجایی که گفتید ادرس سایت مپ و داخا robot.txt وارد کنید ونفهمیدم ادرس سایت مپ و از کجا بیارم .
ممنون از ویدیو های عالی شما
با سلام و احترام ، در ویدئو های قبل تر بابت نقشه سایت صحبت شده است 🙂
سلام استاد بزرگوار
شما فرمودید اگه دستور / :Disallow داخل فایل robots.txt قرار بگیره مرگ سایت هست . الان تو وب مستر تولز قسمت robots.txt Tester برای سایت ما همون دستور رو میاره درحالی که تو هاست سایت اصلا فایل robots.txt موجود نیست . برای حل این مشکل باید چه کار کرد ؟
با تشکر
با سلام ، این فایل را خودتان ایجاد نمایید جایگزین می شود. باتشکر
متشکرم .
سلام شما ثابت کردین مردمان یزد بهترین مردمان ایران هستند همشهری گرامی ارزوی موفقیت بیشتر برای شما دارم
مدیریت کفش چرمینه
سلام و احترام ، نظر لطف شماست. آرزوی بهترین ها را برای شما دارم.
سلام، وقت بخیرمن فایل robots.txt رو مطابق اونچه که شما در آموزش فرموده بودین، ویرایش و ذخیره کردم. یعنی تنها با دستورات User-agent: * و sitemap سایتم. اما همچنان در گوگل وب مستر، وقتی sitemap سایت ودم رو وارد می کنم با پیغام اینکه فایل robots.txt، اومده و URLهام رو محصور کرده مواجه میشم. URL restricted by robots.txtممنون میشم راهنماییم کنید.
با سلام ، این فایل را خالی بگذارید.
درود بر شما آموزش خیلی خوبی بود.بنده این فایل رو بروز کردم و به صورت پیشفرض User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php دستور توش بود. الان تو Search Console یه خطای از نوع Other برام ثبت کرده و عنوان خطاش اینه:Googlebot couldn’t access this page because the server didn’t understand the syntax of Googlebot’s request.این خطا مربوط به تنظیمات robot.txt یا چیز دیگه؟
با سلام و عرض احترامعذر میخوام من در فایل ربات نقشه سایت مپ رو دقیقا جوریکه گفته بودید وارد کردم.بعد همونطور که در نظرات پاسخ داده بودید گزینه شو هیدن روفعال کردم الان دیگه سایتم بالا نمیاد؟میشه راهنمایی بفرمایید؟
با سلام ، متاسفانه امکان بررسی این مورد توسط بنده وجود ندارد. باتشکر
سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه که داخلش این پیام را نمایش میده User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.phpآیا نیازی میبنید که بخام تغییری ایجاد کنم/اگر نیاز به تغییر وجود داره آیا باید طبق ویدیو ی آموزشی یک فایل بسازم
با سلام و احترام ، نیازی به ایجاد هیچ تغییری نیست. باتشکر
سلام من تمام پست ها رو خونئم تا احیانا سوالم تکراری نباشه من در ادامه ادرس یایتم روبوت txt رو میزنم برام میاد اون دستورا اما وقتی میخوام اصلاحش کنم در سی پنلم نیست حتی فایل های مخفی رو هم به حالت نمایش گذاشتم اما نبود
سلام ، یک فایل دقیقا مشابه آن بسازید و از آن استفاده کنید. ولی توجه داشته باشید اگر نیاز خاصی به تغییر این فایل ندارید هیچ تغییری در آن ایجاد نفرمایید. باتشکر
سلام جناب جبین پور خسته نباشید و تشکر از آموزش های خوبتون . بعد از آدرس سایتم robots.txt رو وارد میکنم یه صفحه خالی بدون هیچ نوشته ای میاد قبلا مطالب سایتم خوب بود صفحه اول گوگل بود الان نه . باید فایل robot رو مجدد بسازم ؟
سلام ، robots.txt باعث افزایش رتبه سایت نمی شود ، اگر robots.txt خالی باشد هیچ مشکلی وجود ندارد. باتشکر
سلام.خسته نباشید.ببخشید من داخل public.html فایل robots.txt نیستش،ولی در کنار آدرس سایتم که میزارم صفحه ای باز میشه با disallow:/ خالی که شما گفتید خوب نیست. الان من از کجا میتونم ویرایشش کنم در حالی که فایلش نیست در هاستم ؟ممنون
سلام خسته نیاشید اقای جبین پور من میخوام سایتم رو گوگل نبینه و اصطلاحا بکشم ایم کد رو میزارم تو robots.txt ولی قلوب نمیکنه وبمستر باید چیکار کنم تا بتونم سایتم رو از بین ببرم در ضمن سایتم اسمش bedonesod.ir هست و فقط میخوام یاد بگیرم همین و از ساخت این سایت دو هفته نمیگذره
سلام ، جناب جبین پور در حال حاضر تشریف ندارند ، انشالله سوال شما در آینده پاسخ داده خواهد شد. باتشکر
سلام آقای جبین پور با تشکر از آموزش های خوبی که ارائه میدید. من وقتی فایل robots.txt رو فراخوانی میکنم بدونه مشکل نمایش میده ولی وقتی که داخل هاست میرم فایلش نیست حتی قسمت نمایش فایلهای مخفی در هاست رو هم فعال میکنم ممنون میشم راهنمایی کنید مشکل از چی میتونه باشه؟ من میخوام اون بخش آخری که سایت مپ رو اضافه کردید به ربوت اضافه کنم
سلام ، در صورتی که موجود نیست خودتان آن را بسازید. با تشکر
یعنی عالی بود . خسته نباشید . گرفتار شده بودم شدید دستت درد نکنهممنون
سلام و عرض احترام خدمت اقای جبین پور عزیز
در فیلم های اموزشی سئو قسمت ۱۱
من متوجه نشدم بالاخره بعد از کلمه ی useragaint
ستاره وارد کنیم یا گوگل بات (*,googlebot)
ممنون میشم راهنماییم کنید
با سلام ، فکر می کنم در ویدئو به خوبی آموزش داده ام و تایپ کرده ام. مجدد مشاهده فرمایید.
ممنون اقای جبین پور عزیز پس روی همان ستاره بگذاریم مانند سایت شما بماند دیگر درسته ؟
سلام. این مورد پایه ای آموزش داده شده است که واقعا یک سئو کار بتواند استفاده کند ، اگر ضروری نبود می گفتیم همه مثل ما فایل را ایجاد کنند. بعداً استفاده خواهد شد. با تشکر
سلام جناب مهندسبرای من در تب Structured Data بخش hentry 236 ارور نشان میده. سایت تازه تاسیس هست میخوام بدونم چظور میتونم این مشکلاتو رفع کنم؟ کمک می کنید؟
سلام ، تصویر خطا را در جایی آپلود و لینک آن را ارسال فرمایید تا بررسی دقیقتری داشته باشم.
************************************
سلام. تصاویر را بررسی کردم. هیچ مشکلی وجود نداشت و طبیعی بود.
ممنونم بابت لطفتون پس نگران این اعداد نباشم؟
این تصویر را بطور واضح تر ارسال بفرمایید.
http://uupload.ir/files/vbgl_capture.png
احتراماً قالب سایت شما چیست ؟
قالب خبری purelife
خطای structure data زیادی دارید. این خطا مربوط به کدنویسی قالب است و از روی html ها خوانده می شود. تمایل دارید قالب خود را تغییر دهید ؟
اگر قالب رو تغییر بدم محتوای سایت مشکلی براش پیش نمیاد؟ یا برای سئو ایرادی نداره؟ چون تا الان تقزسبا سئو بدی نداره سایت. و اینکه آیا امکان داره همین قالب رو مجددا نصب کنم و مشکلی برای محتوا و سئو سایت بوجود نیاد؟ قالب پیشنهادی دارید شما؟ با قیمت مناسب البته
خیر برای محتوای شما هیچ مشکلی ایجاد نخواهد شد و برای سئو هم مشکلی ندارد. پیشنهاد من این است که از قالب پابلیشر استفاده نمایید. از نظر قیمت بنده کار خاصی نمی توانم انجام دهم. با تشکر
سلام مجدد من چند سوال برای خرید قالب پابلیشر دارم بایستی تیکت بزنم یا راه دیگه ای هم وجود داره؟
با سلام و ادب
این مورد را در بخش دیدگاه مربوط به قالب پابلیشر جویا شوید. یا می توانید تیکت ارسال نمایید.
باتشکر
سلامچرا تو فایل ربات با اینکه فقط User–agent: *sitemap: ********* را وارد کردم ولی تو مرورگر وقتی آدرسشو وارد کردم که محتوای فایلو ببینم به این صورت User-agent: *-Disallow: /wp-admin/Allow: /wp-admin/admin-ajax.php بهم نشون میده
سلام. احتمالاً فایل روبوت بصورت پنهان در هاست شما موجود است و باید فایل های Hidden را فعال کنید تا مشاهده کنید.
خب چطوری فعال کنم اگر اون گزینه مربو به فولدرآپشن منظورتونه که فعال هستش
اگر سی پنل دارید ، از بالا سمت راست setting می توانید اقدام کنید.
دایرکت ادمین فایل هیدن ندارد. اگر این فایل در هاست نیست می توانید خودتان بسازید.
این افزونه برای ساخت فایل ربات مناسب نیست ، در افزونه های سئو مثل رنک مث قابلیت مدیریت این فایل از داخل افزونه وجود دارد که اگر از این افزونه استفاده کردید میتوانید در تنظیمات افزونه آنرا مدیریت فرمایید.
باتشکر از شما