فایل Robots.txt چیست و چگونه آن را بهینه سازی کنیم؟

شاید برای خیلی از کاربران این سوال پیش آمده باشد که چگونه می توان فایل Robots.txt را برای موتور های جستجوگر و سئو بهینه سازی کرد؟

همانطور که می دانیم، فایل Robots.txt درواقع به خزنده های موتور های جستجوگر دستور می دهد که چگونه محتویات و صفحات سایت را بخزند. به همین دلیل، فایل Robots.txt یک ابزار قدرتمند برای جستجو موتور های جستجوگر محسوب می شود.

در ادامه این مقاله از روکسو، ما به شما آموزش ساخت یک فایل Robots.txt مناسب برای سئو را خواهیم آموخت.

فایل Robots.txt چیست؟

فایل Robots.txt یک فایل متن (Text) می باشد که صاحبان وب سایت ها می توانند آن را برای وب سایت خود ایجاد کنند، تا به موتور های جستجوگر دستور دهند که چگونه محتویات سایت را بخزند و آن ها را ایندکس کنند.

معمولا فایل Robots.txt در ریشه دایرکتوری هاست اصلی سایت وجود دارد و برخی از مواقع به عنوان فولدر اصلی وب سایت شما شناخته می شود. فرمت اصلی برای یک فایل Robots.txt مانند زیر است:

User-agent: [user-agent name]
Disallow: [URL string not to be crawled]
 
User-agent: [user-agent name]
Allow: [URL string to be crawled]
 
 
Sitemap: [URL of your XML Sitemap]

شما می توانید خطوط مختلفی را به این فایل اضافه کنید. خطوط دستور العمل ها مانند رد یا اجازه دادن به موتور های جستجوگر برای ایندکس و خزیدن یک آدرس (URL) خاص.

شما می توانید در فایل Robots.txt آدرس های خاصی را قرار دهید و به موتور های جستجوگر دستور دهید تا آن ها را بررسی نکنند، در این صورت شما برخی از آدرس های مورد نظر خود را به اصطلاح disallow کرده اید که هیچ موتور جستجوگری حق بررسی آن را ندارد.

اگر آدرسی را disallow نکنید، موتور های جستجوگر فرض می کنند که مجاز به بررسی آن هستند، به همین سبب آدرس ایندکس می شود.

در ادامه، یک مثال برای فایل Robots.txt می زنیم:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
 
Sitemap: https://example.com/sitemap_index.xml

همانطور که در خطوط بالا مشاهده می کنید، در خط اول ما به موتور های جستجوگر اجازه داده ایم تا بتوانند فایل ها و تصاویر فولدر Uploads وردپرس را بررسی کنند.

در ادامه، ما موتور های جستجوگر را از بررسی فولدر های plugins و wp-admin منع کردیم تا نتوانند آن ها را بررسی کنند.

در خط آخر هم نقشه سایت را قرار داده ایم تا موتور های جستجوگر بتوانند آن را تشخیص دهند.

آیا به فایل Robots.txt برای سایت وردپرس نیاز است؟

اگر فایل Robots.txt برای سایت خود ندارید، باز هم موتور های جستجوگر به کار خود ادامه می دهند و سایت شما را می خزدند و ایندکس می کنند. با این حال، با ایجاد فایل Robots.txt می توانید به موتور های جستجوگر دستور دهید که کدام مطالب یا صفحات را بررسی و ایندکس نکنند.

این موضوع برای زمانی که شما در ابتدای تاسیس یک یک وبلاگ یا سایت هستید، اهمیتی ندارد زیرا محتویات سایت یا وبلاگ شما تکمیل نیست!

با این حال، سایت یا وبلاگ شما رشد خواهد کرد و محتویات سایتتان افزایش پیدا می کند. در اینجاست که شما ممکن است نیاز به تسلط بهتری بر روی خیزش و ایندکس شدن صفحات و مطالب سایت خود داشته باشید.

در ادامه دلیلی می گوییم که شما نیاز به یک فایل Robots.txt خواهید داشت.

ربات موتور های جستجوگر، سهمیه خزیدن برای هر وب سایتی دارند، این به این معنیست که به طور مثال، اگر ربات های گوگل سایت شما را به طور کامل نخزند، بعدا بر می گردند و فرایند را تکمیل می کنند. همین امر موجب کاهش سرعت خزیدن و ایندکس شدن محتویات سایت شما می شود.

شما می توانید به موتور های جستجوگر توسط فایل Robots.txt دستور دهید که صفحات و مطالب غیرضروری مانند صفحه مدیریت وردپرس را بررسی نکنند و به سراغ محتویات و صفحات مهم تر بروند. همین امر موجب می شود تا سهمیه خزیدن سایت شما بهبود پیدا کند و ربات های موتور های جستجوگر بتوانند در روز، صفحات بیشتری از سایت شما را بخزند و ایندکس کنند.

یکی دیگر از دلایل استفاده از Robots.txt زمانی است که شما قصد دارید تا به موتور های جستجوگر دستور دهید، یک مطلب یا صفحه خاص را نخزند و ایندکس نکنند.

اما این راه یک راه امن برای مخفی کردن یک مطلب یا یک صفحه در برابر عموم نیست، ولی به شما کمک می کند تا بتوانید آن را در نتایج موتور های جستجوگر نشان ندهید.

یک فایل Robots.txt ایده آل چگونه باید بنظر برسد؟

بسیاری از وب سایت های محبوب، از یک فایل Robots.txt ساده استفاده می کنند. محتوای آن ها ممکن است بسته به نیاز سایت، متفاوت باشد.

User-agent: *
Disallow:
  
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

در فایل Robots.txt بالا، به موتور های جستجوگر اجازه داده ایم تا تمامی محتویات و صفحات سایت را بررسی و ایندکس کنند و آن ها را به یک نقشه سایت، ارائه کنند.

برای سایت های وردپرس، ما پیشنهاد می کنیم تا از قوانین زیر در Robots.txt استفاده شود:

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins/
Disallow: /wp-admin/
Disallow: /readme.html
Disallow: /refer/
 
Sitemap: http://www.example.com/post-sitemap.xml
Sitemap: http://www.example.com/page-sitemap.xml

در فایل Robots.txt یک ساختار مناسب برای یک سایت وردپرس نوشته ایم و به موتور های جستجوگر اجازه داده ایم تا بتوانند تمامی تصاویر و فایل های آپلود شده در سایت را بررسی کنند. اما به آن ها اجازه نداده ایم که بتوانند فایل ها و پوشه های افزونه ها، قالب ها و بخش مدیریت وردپرس را بررسی کنند.

با افزودن نقشه سایت به Robots.txt فرایند پیدا کردن صفحات سایت را برای موتور های جستجوگر بسیار ساده می کنید.

حال شما یک ساختار ایده آل برای یک فایل Robots.txt را می دانید. در ادامه، بیاید نگاهی به چگونگی ساخت یک فایل Robots.txt در وردپرس بیندازیم.

چگونه یک فایل Robots.txt در وردپرس بسازیم؟

در اینجا، دو راه برای ایجاد فایل Robots.txt وجود دارد که به دلخواه، هرکدام را که می خواهید می توانید انتخاب کنید.

روش اول: ویرایش فایل Robots.txt توسط افزونه Yoast SEO

اگر از افزونه Yoast SEO استفاده می کنید، پس می توانید از تولید کننده فایل Robots.txt آن هم استفاده کنید!

شما می توانید با استفاده از ادیتور Robotx.txt این افزونه، فایل Robots.txt برای سایت خود ایجاد کرده و آن را ویرایش کنید.

به سادگی وارد بخش "ابزار ها << سئو" در منو وردپرس خود بشوید و مانند تصویر زیر، بر روی گزینه ویرایشگر فایل یا همان "File editor" کلیک کنید.

در صفحه بعد، افزونه Yoast SEO فایل فعلی Robots.txt شما را نشان می دهد. در صورتی که فایل Robots.txt ندارید، افزونه Yoast آن را برای سایت ایجاد می کند.

به صورت پیش فرض، افزونه Yoast SEO قوانین زیر را برای فایل جدید Robots.txt ایجاد شده تعریف می کند:

User-agent: *
Disallow: /

نکته مهم اینجاست که حتما باید قوانین بالا را از فایل حذف کنید، زیرا در غیر این صورت موتور های جستجوگر قادر به خزیدن سایت شما نیستند!

پس از حذف دو خط بالا، می توانید قوانین جدید خود را برای فایل Robots.txt تعریف کنید. می توانید از قوانین ایده آلی که در بالا معرفی کردیم، برای فایل خود استفاده کنید.

پس از اتمام کار، فراموش نکنید که تمامی تغییرات را ذخیره کنید.

روش دوم: ویرایش فایل Robots.txt به صورت دستی با استفاده از FTP

در این روش شما نیاز به یک سرویس گیرنده FTP برای ویرایش فایل Robots.txt دارید.

به سادگی به هاست وردپرس سایت خود با استفاده از یک گیرنده FTP متصل شوید.

حال، شما می توانید فایل Robots.txt را در ریشه سایت خود مشاهده کنید.

اگر شما فایلی با نام Robots.txt مشاهده نمی کنید، به این معنیست که سایت شما آن فایل را ندارد. اما نگران نباشید، خیلی ساده یک فایل ایجاد کنید و نام آن را robots.txt قرار دهید.

فایل Robots.txt یک فایل متنی ساده است. این جمله بدین معنیست که شما می توانید فایل Robots.txt سایت خود را دانلود کرده و آن را در کامپیوتر شخصی خود با استفاده از نرم افزار های ویرایشگر، ویرایش کنید و پس از اعمال تغییرات، مجددا آن را در ریشه هاست سایت خود آپلود کنید.

چگونه می توان فایل Robots.txt را تست کرد؟

پس از ایجاد فایل Robots.txt بهتر است که با استفاده از یک ابزار تست، آن را آزمایش کنیم.

ابزار های تست بسیار زیادی برای این کار وجود دارد اما ما ابزار تست گوگل وبمستر تولز را پیشنهاد می کنیم.

خیلی ساده وارد اکانت گوگل وبمستر تولز خود شده و مانند تصویر زیر، به ورژن قدیمی آن سوییچ کنید.

پس از آن، شما به رابط قدیمی وبمستر تولز هدایت می شوید. حال باید به قسمت robots.txt Tester که در زیرمنوی "Crawl" قرار دارد بروید.

پس از آن، گوگل به صورت خودکار فایل robots.txt سایت شما را فچ کرده و آن را تست می کند. پس از فرایند تست، اگر مشکلی یا اروری وجود داشته باشد، به ما گزارش خواهد داد.

نتیجه گیری

هدف از بهینه سازی فایل robots.txt سایت، این است که به موتور های جستجوگر اجازه ندهیم تا صفحات و مطالب غیرضروری و خالی را بررسی کنند تا در نهایت، سرعت ایندکس و خزیدن سایت توسط ربات ها افزایش پیدا کند.

یکی از باور های غلطی که میان سئو کاران وجود دارد، این است که دسترسی های موتور های جستجوگر به بخش برچسب ها، دسته بندی ها و صفحات بایگانی (آرشیو) را باید مسدود کرد! این باور کاملا غلط می باشد و در نهایت منجر به کاهش سطح میزان سئو سایت شما خواهد شد.

توصیه می کنیم تا از فرمت و ساختار robots.txt که در مقاله معرفی کردیم، برای فایل robots.txt سایت خود استفاده کنید.