- فایل robots.txt چیست؟
- آیا برای سایت وردپرس خود به فایل Robots.txt نیاز دارید؟
- یک فایل Robots.txt ایده آل چگونه است؟
- نحوه ایجاد فایل Robots.txt در وردپرس
- 1- ویرایش فایل Robots.txt با استفاده از افزونه All in One SEO
- 2- ویرایش دستی فایل Robots.txt با استفاده FTP
- سوالات متداول
- جمع بندی: آموزش بهینه سازی فایل روبوتز robots.txt وردپرس
آموزش بهینه سازی فایل robots.txt وردپرس برای سئو
( 1 رای , میانگین : 5,00 از 5)
بارگذاری...آیا قصد بهینه کردن فایل robots.txt وردپرس خود را برای بهبود سئو سایت دارید؟ فایل Robots.txt به موتورهای جستجوگر اطلاع می دهد که چگونه وب سایت شما را بخزند که آن را به یک ابزار سئو فوق العاده قدرتمند تبدیل می کند. به عبارت دیگر؛ فایل robots.txt نقش بسیار مهمی روی عملکرد کلی سایت ایفا می کند و به شما این امکان را می دهد تا با موتورهای جستجوگر ارتباط برقرار کنید و به آنها اجازه دهید تا بدانند که باید کدام یک از بخش های سایت شما را ایندکس کنند. به همین منظور ما در این مطلب قصد داریم نحوه بهینه سازی فایل Robots.txt برای سئو و آموزش بهینه کردن فایل robots.txt وردپرس برای سئو را در اختیار شما عزیزان قرار دهیم. با ما همراه باشید.
فایل robots.txt چیست؟
چطور فایل Robots.txt وردپرس را برای سئو بهینه کنیم؟ قبل از اینکه شما را با آموزش بهینه سازی فایل روبوتز وردپرس برای سئو آشنا کنیم، بهتر است با تعریف و کاربردهای این فایل بیشتر آشنا شوید. به طور کلی؛Robots.txt یک فایل متنی است که صاحبان وب سایت می توانند آن را ایجاد کنند تا به ربات های موتورهای جستجوگر نحوه خزیدن و فهرست بندی صفحات در سایت خود را نشان دهند. این فایل معمولاً در پوشه اصلی سایت شما ذخیره می شود و فرمت اصلی فایل robots.txt به شکل زیر می باشد:
User-agent: [user-agent name]Disallow: [URL string not to be crawled] User-agent: [user-agent name]Allow: [URL string to be crawled] Sitemap: [URL of your XML Sitemap]شما می توانید چندین خط دستورالعمل برای مجاز یا غیرمجاز کردن URL های خاص و اضافه کردن چندین نقشه سایت داشته باشید. اگر URL را مجاز نکنید، ربات‌های موتورهای جستجوگر فرض می کنند که مجاز به خزیدن در آن هستند. در زیر یک فایل نمونه robots.txt را به شما نشان می دهیم:
User-Agent: *Allow: /wp-content/uploads/Disallow: /wp-content/plugins/Disallow: /wp-admin/Sitemap: https://example.com/sitemap_index.xmlآیا برای سایت وردپرس خود به فایل Robots.txt نیاز دارید؟
اگر شما در سایتتان فایل robots.txt را ندارید، موتورهای جستجوگر همچنان در وب سایت شما می خزند و مطالب سایت شما را فهرست بندی می کنند. با این حال، شما نمی توانید به موتورهای جستجوگر اطلاع دهید که کدام صفحات یا پوشه ها را نباید بخزند و ایندکس کنند. اگر شما به تازگی یک وب سایت یا وبلاگ را راه اندازی کرده اید و محتوای زیادی ندارید، این فایل تاثیر زیادی برای شما ندارد و می توانید آن را نداشته باشید. با این حال، همانطور که وب سایت شما روز به روز رشد می کند و محتوای بیشتری تولید می کنید، برای اینکه بتوانید مدیریت بهتری بر نحوه خزیدن و ایندکس شدن وب سایت خود داشته باشید، حتماً باید یک فایل Robots.txt ایجاد نمائید.
بیشتر بخوانید: آموزش رفع مشکل ریدایرکت شدن و خطاهای redirection در وردپرس
یک فایل Robots.txt ایده آل چگونه است؟
بسیاری از وب سایت های محبوب از یک فایل robots.txt بسیار ساده استفاده می کنند. بسته به نیازهای سایت خاص، محتوای آنها ممکن است متفاوت باشد:
User-agent: *Disallow:Sitemap: http://www.example.com/post-sitemap.xmlSitemap: http://www.example.com/page-sitemap.xmlفرمت این فایل بسیار ساده است. اولین خط معمولا نامی از یک User Agent است. User Agent معمولا نام ربات جستجو ای است که شما در تلاش هستید تا با آن ارتباط برقرار کنید. برای مثال Googlebot یا Bingbot. شما می توانید از * برای شامل شدن تمام ربات ها استفاده کنید. خط بعدی با Allow یا Disallow برای راهنمایی موتورهای جستجو استفاده می شود، بدین ترتیب که آنها بخش هایی که شما میخواهید ایندکس شوند را از این طریق متوجه شوند.
بیشتر بخوانید: 9 مورد از بهترین قالب وردپرس از نظر سئو
نحوه ایجاد فایل Robots.txt در وردپرس
در ادامه آموزش بهینه سازی فایل robots.txt وردپرس برای سئو ، قصد داریم نحوه ایجاد فایل Robots.txt در وردپرس را در اختیار شما قرار دهیم. به طور کلی؛ دو روش برای ایجاد فایل Robots.txt در وردپرس وجود دارد. یکی از طریق افزونه و دیگری از طریق هاست. در ادامه هر دو روش را به شما آموزش می دهیم.
1- ویرایش فایل Robots.txt با استفاده از افزونه All in One SEO
افزونه All in One SEO یکی از بهترین افزونه های سئو وردپرس محسوب می شود که با استفاده از آن می توانید سایت خود را بهینه کنید. با کمک این افزونه می توانید به سادگی یک فایل Robots.txt ایجاد نمائید. برای انجام اینکار، در ابتدا باید افزونه را خریداری و در سایت خود نصب کنید (برای خرید افزونه All in One SEO کلیک کنید). پس از اینکه افزونه را خریداری و دانلود کردید، باید آن را در سایت خود نصب و فعال کنید. اگر با طریق نصب افزونه آشنایی ندارید می توانید آموزش نصب افزونه وردپرس را مشاهده کنید. پس از نصب و فعال سازی افزونه، می توانید از آن برای ایجاد و ویرایش فایل robots.txt خود مستقیماً از قسمت مدیریت وردپرس خود استفاده کنید.
حال برای ویرایش فایل robots.txtا بخش “ابزارها” روی گزینه “All in One SEO” کلیک کنید.
درابتدا باید گزینه ویرایش را با کلیک بر روی گزینه Enable Custom Robots.txt به رنگ آبی فعال کنید. با فعال کردن این کلید، می توانید یک فایل robots.txt سفارشی در وردپرس خود ایجاد نمائید.
پس از آن این افزونه فایل robots.txt موجود شما را در بخش پیش نمایش Robots.txt در پایین صفحه نمایش شما نشان می دهد.
این قوانین پیش فرض به موتورهای جستجوگر اطلاع می دهند که فایل های اصلی وردپرس شما را نخوانند. سپس به ربات‌ها اجازه می دهد تا تمام محتوا را فهرست بندی کنند و به آنها پیوندی به نقشه های سایت XML سایت شما ارائه می دهد. حال می توانید قوانین سفارشی خود را برای بهبود robots.txt برای سئو اضافه کنید.
بیشتر بخوانید: لیست مهمترین تگ های html در سئو سایت | موثرترین تگ های html برای seo را بشناسید
برای افزودن یک قانون، یک عامل کاربر را در قسمت “عامل کاربر” وارد کنید. استفاده از * این قانون را برای همه عوامل کاربر اعمال می کند. سپس، باید مشخص کنید که می خواهید که موتورهای جستجوگر در آنها بخزند یا خیر. پس از آن باید نام فایل یا مسیر دایرکتوری را در قسمت «مسیر فهرست» وارد کنید.
این قوانین به صورت خودکار روی robots.txt شما اعمال می شود. برای افزودن یک قانون دیگر روی دکمه «افزودن قانون» کلیک کنید. قوانین سفارشی همچون تصویر زیر خواهند بود:
در نهایت روی دکمه “ذخیره تغییرات” کلیک کنید تا تغییرات شما ذخیره شود.
بیشتر بخوانید: انتخاب رنگ در طراحی سایت و تاثیر آن در جذب کاربر
2- ویرایش دستی فایل Robots.txt با استفاده FTP
در ادامه آموزش فایل robots.txt در وردپرس و بهینه سازی برای سئو ، قصد داریم نحوه ویرایش دستی فایل Robots.txt با استفاده FTP را در اختیار شما قرار دهیم. برای این روش، باید از یک سرویس گیرنده FTP برای ویرایش فایل robots.txt استفاده کنید. به سادگی با استفاده از یک سرویس گیرنده FTP به حساب میزبانی وردپرس خود متصل شوید. بعد از آن می توانید فایل robots.txt را در پوشه ریشه وب سایت خود مشاهده کنید.
اگر شما فایل robots.txt را در پوشه روت سایت خود مشاهده نمی کنید، باید یکی را ایجاد کنید.
بیشتر بخوانید: آموزش ویرایش قالب وردپرسی | چگونه پوسته وردپرس را بدون کدنویسی ویرایش کنیم؟
سوالات متداول
این فایل دارای کاربردهای مختلفی همچون: با کمک این فایل می توانید مدیریت کاملی روی دسترسی های موتورهای جستجوگر داشته باشید، می توانید روی لینک های خود کنترل بیشتری داشته باشید و...
کاربردهای فایل robots.txt چیست؟
بیشتر بخوانید: آموزش ایجاد فایل robot.txt برای وردپرس، تنظیمات و بهینه سازی آن
جمع بندی: آموزش بهینه سازی فایل روبوتز robots.txt وردپرس
چگونه فایل Robots.txt سایت خود را بهینه سازی کنیم؟ هدف از بهینه سازی فایل robots.txt جلوگیری از خزیدن موتورهای جستجوگر در صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال: شما می توانید از خزیدن ربات های موتورهای جستجوگر در صفحاتی در پوشه wp-plugins یا صفحاتی در پوشه مدیریت وردپرس جلوگیری کنید. ما در این مطلب طریقه بهینه سازی فایل robots.txt وردپرس برای سئو را در اختیار شما قرار دادیم. امیدوارم این آموزش مورد رضایت شما عزیزان قرار گرفته باشد. افزونه های بهینه سازی و سئو در نوین وردپرس با 80 درصد تخفیف تهیه کنید.
منبع: wpbeginner
لیست مطالب
- فایل robots.txt چیست؟
- آیا برای سایت وردپرس خود به فایل Robots.txt نیاز دارید؟
- یک فایل Robots.txt ایده آل چگونه است؟
- نحوه ایجاد فایل Robots.txt در وردپرس
- 1- ویرایش فایل Robots.txt با استفاده از افزونه All in One SEO
- 2- ویرایش دستی فایل Robots.txt با استفاده FTP
- سوالات متداول
- کاربردهای فایل robots.txt چیست؟
- جمع بندی: آموزش بهینه سازی فایل روبوتز robots.txt وردپرس
چند نکته قبل از ارسال دیدگاه :
- تمامی دیدگاه ها قبل از انتشار عمومی توسط کارشناسان سایت بررسی خواهند شد.
- دیدگاه هایی که جنبه تبلیغاتی داشته باشند تایید نخواهند شد.
- آدرس سایت ، مشخصات مدیریت و... در متن دیدگاه حذف خواهند شد.
- دیدگاه هایی که به زبان انگلیسی باشند تایید نخواهند شد.
- دیدگاه هایی که حاوی توهین ، تهدید یا... باشند تایید نخواهند شد.
دیدگاهتان را بنویسید
برای نوشتن دیدگاه باید وارد بشوید.
مطالب مرتبط
آموزش ساخت کوپن تخفیف در ووکامرس در چند گام ساده
هر فروشگاه با هدف کسب سود و جذب مشتریان راه اندازی می شود. اگر می خواهید فروشگاه خود را گسترش دهید و درآمد بیشتری کسب کنید، باید بتوانید ...
جزییات بیشتر آموزش را بخوانید!
آموزش تغییر اندازه GRAVATAR
با سلام خدمت شما دوستان نوین وردپرسی
با آموزش دیگر در خدمت شما هستیم.GRAVATAR یک نماد جهانی است که آدرس ایمیل یک کاربر را به تصویر آن مرتبط می ...
جزییات بیشتر آموزش را بخوانید!
معرفی بهترین سرویس های چت آنلاین
امروزه و به دلیل گسترش وب سایت ها و افزایش خرید به صورت آنلاین، اغلب مشتریان توقع دارند که وقتی وارد یک سایت می شوند، خیلی سریع بتوانند ...
جزییات بیشتر آموزش را بخوانید!
تغییر پابرگ پوسته در وردپرس | حذف نام طراح قالب و متن کپی رایت وردپرس
یکی از مواردی که ممکن است بعد از طراحی سایت با آن روبه رو شوید، نام طراح قالب وردپرس است که در انتهای سایت یا همان فوتر نمایان ...
جزییات بیشتر آموزش را بخوانید!
تفاوت سایت وردپرس با PHP چیست؟ کدام بهتر است؟
همه مشاغل در این بازار رقابتی امروزه برای بقای خود نیاز به یک وب سایت دارند. صرف نظر از نوع کسب و کار، شما نیاز دارید یک وب ...
جزییات بیشتر آموزش را بخوانید!
آموزش افزایش محدودیت حافظه PHP در وردپرس
وردپرس به عنوان محبوب ترین پلتفرم سایت ساز همراه با طیف گسترده ای از قالب ها، افزونه ها، فرمت های فایل و نرم افزارهای اضافی ارائه می شود. ...
جزییات بیشتر آموزش را بخوانید!
عدم اتصال به کتابخانه المنتور | راه های رفع مشکل وصل نشدن به کتابخانه در المنتور پرو
المنتور بی تردید یکی از بهترین و محبوب ترین افزونه های صفحه ساز برای وردپرس می باشد که هرکسی با هر میزان توانایی که دارد می تواند بخش ...
جزییات بیشتر آموزش را بخوانید!
ایندکس نشدن سایت در گوگل و روش حل آن
طی ماه های گذشته پیام های زیادی دریافت کرده ایم مبنی بر اینکه چرا سایت من در سرچ گوگل نیست ؟ بی تردید این یکی از سوالات رایج ...
جزییات بیشتر آموزش را بخوانید!
اگر دوست دارید در زمینه آموزش ، افزونه ، قالب وردپرس و ووکامرس ، آموزش سئو و… مقالات آموزشی خود را در نوین وردپرس منتشر کنید میتوانید به عنوان نویسنده در نوین وردپرس فعالیت کنید.
سلام
به نظرتون منطقی هست کدهای زیر به فایل robots.txt افزوده شود ؟
Disallow: /comments/
Disallow: */comments/
سلام
میتونید از کدهای زیر استفاده کنید:
Disallow: *?replytocom
Disallow: /comments/feed/
سلام. این مورد مشکل داره دوست عزیز
User-agent: *
Disallow:
وقتی کد بالا را در ربوت بذاری دسترسی کلیه ربات ها به سایت قطع میشه و کاملا برعکس توضیح دارین. بهتره به جای کپی پیست خودتون یکبار مطلب را بخونید و با توجه به عنوان مطلب اصلا فایل ربات بهینه شده معرفی نشده.
موفق باشید
سلام
دوست عزیز وقتی از User-agent: * استفاده میشه، یعنی میخواهیم دستورات و راهنمایی هایی که درج شده برای کلیه ربات ها اعمال بشه
استفاده از کد زیر:
User-agent: *
Disallow:
یا
User-agent: *
Allow: /
یعنی ایندکس شدن همه چیز در سایت و چیزی که شما دارید میگید کاملا غلط هست.
در عنوان هم ذکر شده که “آموزش بهینه سازی …” هدف آموزش بوده نه معرفی فایل ربات بهینه شده!
بهتر بود به جای اظهار نظر سریع، کمی در خواندن متن مطلب تامل می کردید
با تشکر
موفق باشید