آموزش ایجاد فایل robot.txt برای وردپرس، تنظیمات و بهینه سازی آن

بهینه سازی سئو یکی از مهم ترین موضوعاتیست که می تواند به بهبود رتبه و ترافیک سایت شما کمک کند. روش های مختلفی برای بهینه سازی سایت وجود دارد که یکی از آنها، ساخت فایل robots.txt می باشد. در واقع؛ این فایل به ربات های جستجوگر گوگل اطلاع می دهد که کدام صفحات سایت شما را ایندکس کند. اغلب مدیران سایت ها از ایجاد فایل robots.txt خودداری می کنند، زیرا فکر می کنند اینکار بسیار سخت و پیچیده است در حالی که اینگونه نیست و شما می توانید با استفاده از روش های مختلفی همچون نصب یک افزونه وردپرس اقدام به ساخت robots.txt در سایت خود نمائید. به همین منظور ما در این مطلب قصد داریم آموزش ساخت فایل robots.txt برای وردپرس را به صورت کامل در اختیار شما عزیزان قرار دهیم. با نوین وردپرس همراه باشید.

منظور از فایل robots.txt وردپرس چیست؟

Robots.txt یک فایل متنی ساده است که به ربات های موتورهای جستجوگر همچون گوگل اطلاع می دهد که در کدام صفحات سایت شما بخزند و کدام صفحات را ایندکس نکنند. با کمک این فایل می توانید نحوه خزیدن و ایندکس کردن صفحات سایت را فهرست بندی کنید. کاری که فایل robots.txt انجام می ‌دهد، ارائه مجموعه‌ای از دستورالعمل ‌ها برای ربات‌ های موتورهای جستجوگر است. مهمتر از آن، بدون فایل robots.txt تعداد زیادی ربات در وب سایت شما می خزند که این می تواند بر عملکرد سایت تأثیر منفی بگذارد.

پیشنهاد خرید: مشاهده و بررسی بهترین افزونه های سئو و بهینه سازی

آیا به فایل robots.txt برای وردپرس نیاز داریم؟

در اکثر مواقع نیازی به اضافه کردن robots.txt برای سایت های وردپرسی ندارید، زیرا مورتوهای جستجوگر به صورت پیش فرض تمامی مطالب و صفحات سایت شما را ایندکس می کنند. با این حال؛ اگر می خواهید از ایندکس برخی از صفحات سایت خود توسط موتورهای جستجوگر جلوگیری کنید، می توانید یک فایل robots.txt ایجاد و در فهرست اصلی سایت خود قرار دهید.

همچنین اگر شما به تازگی سایتتان را راه اندازی کرده اید و محتوای زیادی ندارید، نیازی به ایجاد فایل robots ندارید، اما در صورتی که محتواهای زیادی دارید و قصد دارید روی ایندکس شدن آنها مدیریت کاملی داشته باشید، می توانید این فایل را در سایت خود ایجاد کنید.

قالب سایت بازی وردپرس | قالب سایت پزشکی وردپرس | قالب تک صفحه ای برای وردپرس | قالب چند فروشندگی وردپرس

چرا فایل robots.txt برای سئو مهم است؟

به دلیل این‌که برای ربات‌های گوگل و بینگ robots.txt مهم است. این فایل به دلیل این‌که اجازه می‌دهد موتورهای جستجو مانند: گوگل و یاهو و یا بینگ محدرات سایت شما را ایندکس کند یا ایندکس نکند حائز اهمیت می‌باشد.

بنابراین این ربات در بالا رفتن سئو سایت اهمیت فراوانی دارد که نمی‌توان آن را نادیده گرفت. در نظر داشته باشید که عدم نصب این فایل به معنی جستجو نشدن سایت شما نیست اما نصب آن به‌شدت به مدیران سایت توصیه می‌شود و تقریباً تمام مدیران سایت‌ها به خاطر اهمیت آن حتماً آن را نصب می‌کنند. شما توسط این فایل به‌عنوان یک وب‌مستر حرفه‌ای عمل کرده؛ اهمیت فایل تاحدی است که حتی خود گوگل هم دارای این فایل است! پس ساخت آن را حتماً جدی بگیرید.

پس برای اینکه در دنیای تجارت بتوانید از رقبای خود پیشی بگیرید باید تمام مسائل را موردتوجه قرار دهید. شما توسط فایل Robots.txt می‌توانید به‌راحتی سئو سایت خود را بالا ببرید. این کار سبب می‌شود با زیادتر شدن محتوای سایتتان بتوانید روی آن مدیریت بهتری داشته باشید و مثل یک وب‌مستر حرفه‌ای آن را کنترل کنید.

Robots txt کجاست؟

فایل robots.txt در مسیر اصلی وبسایت قرار گرفته است مثلا اگر وبسایت وردپرسی داریدف در جایی که وردپرس نصب شده فایل robots.txt نیز قرار میگیرد. در هاست سی پنل یا دایرکت ادمین با مراجعه به بخش file manaager و سپس قسمت public_html می توانید این فایل را ایجاد یا مدیریت کنید.

قالب سایت گردشگری برای وردپرس | قالب آموزش آنلاین وردپرس | قالب وردپرس با المنتور | قالب املاک برای وردپرس

آموزش ایجاد فایل robot.txt برای وردپرس

تا اینجای مطلب شما را با فایل robot.txt و نحوه عملکرد آن آشنا کردیم. حال در ادامه مطلب قصد داریم نحوه ساخت فایل robots.txt را با استفاده از روش های مختلف به شما آموزش دهیم. با ما همراه باشید.

1- طریقه ایجاد فایل robots txt در وردپرس با افزونه All in One SEO

افزونه All in One SEO یکی از بهترین افزونه های سئو وردپرس می باشد که درحال حاضر بیش از 2 میلیون وب سایت از این افزونه جهت بهبود سئو سایت از آن استفاده می کنند. این افزونه دارای پنل تنظیمات ساده ای می باشد به گونه که شما می توانید خیلی ساده  اقدام به ایجاد فایل  robots.txt نمائید.

در ابتدا افزونه All in One SEO را خریداری و روی وردپرس خود نصب و فعال کنید. اگر با نحوه نصب افزونه آشنا نیستید می توانید آموزش نصب افزونه وردپرس را مطالعه نمائید. پس از نصب و فعال سازی افزونه، می توانید از آن برای ایجاد و ویرایش فایل robots.txt به صورت مستقیم از قسمت مدیریت وردپرس خود اقدام نمائید.

بعد از آن از پیشخوان وردپرس خود از بخش “All in One SEO” روی گزینه “ابزار” کلیک کنید.

ابتدا شما باید گزینه “فعال کردن Robots.txt سفارشی” را فعال کنید. با فعال کردن این گزینه، می توانید یک فایل robots.txt سفارشی در وردپرس خود ایجاد کنید.

بیشتر بخوانید: بهترین روش های حذف و پاک کردن کش در وردپرس 

در این قسمت قوانینی به صورت پیش فرض وجود دارد که در بخش پیش نمایش Robots.txt می توانید مشاهده کنید.

این قوانین به موتورهای جستجوگر دستور می دهد که از فایل های اصلی وب سایت وردپرسی شما استفاده نکنند و تنها به ربات‌ها اجازه می‌دهد تا تمام محتوای سایت شما را فهرست ‌بندی کنند و پیوندی به نقشه‌های سایت XML سایت شما در اختیار آنها قرار می‌دهد.

برای ایجاد قوانین جدید، کافیست روی دکمه “افزودن قانون” کلیک کنید و سپس قوانین سارشی خود را جهت بهبود سئوی سایت به فایل Robots.txt اضافه نمائید.

حال برای افزودن قانون شما باید ابتدا یک عامل کاربر در قسمت “عامل کاربر” وارد نمائید. استفاده از آیکن * این قانون را برای همه عوامل کاربر اعمال می کند.

بعد از آن باید مشخص کنید که موتورهای جستجوگر دسترسی به خزیدن آنها را داشته باشند یا خیر. بعد از آن باید نام فایل یا مسیر دایرکتوری را در قسمت «مسیر دایرکتوری» وارد کنید.

بعد از اعمال تغییرات باید ان را ذخیره کنید.

بیشتر بخوانید: آموزش کار با افزونه All in One SEO Pack 

2- آموزش ساخت فایل robots txt در وردپرس با استفاده از FTP

برای این روش، باید از یک سرویس گیرنده FTP برای ویرایش فایل robots.txt استفاده کنید. در ابتدا وارد حساب میزبانی یا هاست وردپرس خود شوید. سپس وارد پوشه فایل منیجر شوید و بعد از آن وارد پوشه روت هاست خود یعنی پوشه public_htm شوید. سپس در این پوشه شما باید فایل robots.txt را پیدا کنید.

در صورتی که فایل را پیدا نمی کنید، شما باید یک فایل ایجاد کنید. برای اینکار در این پوشه راست کلیک کرده و سپس گزینه “Create new file” را انتخاب نمائید و نام ان را robots.txt وارد کنید.

در صورتی که فایل را پیدا کرده اید، کافیست روی آن راست کلیک کرده و گزینه “ویرایش” را کلیک نمائید تا وارد ویرایشگر فایل شوید.

robots.txt یک فایل متنی ساده است، به این معنی که می توانید آن را در رایانه خود دانلود کرده و با استفاده از هر ویرایشگر متن ساده مانند Notepad یا  TextEdit آن را ویرایش کنید. پس از ذخیره تغییرات خود، می توانید آن را به پوشه اصلی وب سایت خود بارگذاری کنید.

بیشتر بخوانید: بهترین افزونه های ساخت دکمه حرفه ای و زیبا در وردپرس 

3- آموزش ساخت فایل robots.txt برای وردپرس با افزونه Yoast SEO

همانطور که می دانید، افزونه یوآست سئو یکی از بهترین و محبوب ترین افزونه های سئو برای وردپرس می باشد که به شما این امکان را می دهد تا سایتتان را به بهترین شکل ممکن هم برای کاربران و هم برای موتورهای جستجوگر بهینه کنید. جدای از آن، در مورد افزایش خوانایی محتوای شما نیز به شما کمک می کند، به این معنی که کاربران از خواندن محتویات سایت شما لذت خواهند برد. علاوه بر قابلیت های بهینه سازی، این افزونه به شما امکان ایجاد فایل robots.txt را نیز می دهد.

برای انجام اینکار، در ابتدا این افزونه را در سایت خود نصب و فعال کنید. پس از فعال شدن افزونه، از بخش “سئو” روی گزینه “ابزارها” کلیک کنید.

سپس در این صفحه روی لینک “File editor” کلیک کنید.

با کلیک بر روی آن پیوند، به صفحه جدیدی هدایت داده می شوید. حال در آن قسمت می توانید بدون خروج از پیشخوان مدیریت، فایل htaccess خود را ایجاد و ویرایش کنید. همچنین یک دکمه وجود دارد که از شما سوال می پرسد “می خواهید یک فایل htaccess ایجاد کنید؟” که با کلیک روی آن می توانید یک فایل جدید ایجاد نمائید.

پس از کلیک بر روی این دکمه، برگه ویرایشگر جدیدی برای شما نمایش داده می شود که می توانید فایل robots.txt خود را به صورت مستقیم از آن تغییر دهید. به خاطر داشته باشید که Yoast SEO قوانین پیش ‌فرض خود را تنظیم می ‌کند، که فایل مجازی robots.txt تان را نادیده می ‌گیرد. همچنین این نکته را هم در نظر داشته باشید که هر زمانی که یک قانون جدید را اضافه یا حذف می کنید، تغییرات خود را ذخیره نمائید.

بیشتر بخوانید: آموزش بهینه سازی فایل robots.txt وردپرس برای سئو

سوالات متداول

جمع بندی: چگونگی ساخت فایل robots txt

به طور کلی، هدف از بهینه سازی فایل robots.txt جلوگیری از خزیدن ربات های موتورهای جستجوگر در صفحاتی است که به صورت عمومی در دسترس نیستند. به عنوان مثال، صفحاتی در پوشه wp-plugins یا صفحاتی در پوشه مدیریت وردپرس شما وجود دارند. ما در این مطلب آموزش ایجاد فایل robot.txt برای وردپرس، تنظیمات و بهینه سازی آن را در اختیار شما عزیزان قرار دادیم. امیدوارم از این آموزش رضایت داشته باشید.

چگونه افزونه وردپرس طراحی کنیم؟

منبع:wpbeginner