بهترین ابزارهای XML Sitemap و اهمیت آن

XML Sitemap (نقشه سایت XML)

آقای Kevin Indig یکی از محققان حوزه ی سئو در یکی از نوشته ها/خاطرات خود می گوید:

به تازگی شروع به کار در Atlassian کرده بودم و دنبال راهی برای شناخته شدن در این کمپانی بودم بنابراین شروع به بررسی سایت کردم و متوجه شدم که سایت XML sitemap ندارد. با خودم گفتم عجب بُرد راحتی! ابتدا از توسعه دهندگان خواستم که ابزار Sitemap را در CMS فعال کنند اما با تعجب به من گفتند که متاسفانه امکان چنین کاری وجود ندارد. من هم سعی کردم از درب دیگری وارد شوم و سرویس Screaming Frog به خاطرم آمد. بنابراین با استفاده از این سرویس، یک Sitemap درست کردم و آن را روی سایت بارگذاری کردم. ربات های گوگل آن را خواندند و در عرض چند روز ترافیک ما به شکل قابل توجهی افزایش پیدا کرد. به نظر من نتیجه ی اخلاقی این داستان این است که XML sitemap (نقشه سایت XML) مورد بسیار مهمی در سئوی سایت شماست و نباید آن را فراموش کرد. _{منبع:semrush}

همینطور که از گفته های آقای Kevin Indig مشخص است در بعضی اوقات XML Sitemap ها می توانند تا حد زیادی به سایت شما کمک کنند اما باید اول بدانیم که Sitemap ها چه هستند. XML sitemap ها نقشه ای دیجیتال از سایت شما هستند که به گوگل کمک می کنند تا بفهمد کدام صفحات از همه مهم تر بوده و هر صفحه هر چند روز به روز رسانی می شود.

گوگل در صفحه ی help center خود می گوید:

A sitemap tells the crawler which files you think are important in your site, and also provides valuable information about these files: for example, for pages, when the page was last updated, how often the page is changed, and any alternate language versions of a page.

خلاصه ی گفته ی گوگل همان چیزی است که بالاتر به شما گفتیم؛ چه صفحاتی مهم تر از همه هستند، آخرین باری که به روز رسانی شدند چه زمانی بوده است، نسخه های مختلف ترجمه شده از صفحه و دیگر اطلاعات ممکن.

هر سایتی باید Sitemap داشته باشد اما بعضی از سایت ها به طور خاص و بیشتر به آن نیاز دارند:

• وب سایت های بسیار بزرگ
• وب سایت های تازه تاسیس شده
• وب سایت هایی که صفحات ¹orphaned زیادی دارند
• وب سایت هایی که از تصاویر و ویدیوهای زیادی استفاده می کنند.

1- صفحات orphaned صفحاتی هستند که هیچ لینکی به آن ها اشاره نمی کند بنابراین در حالت عادی کمتر کسی به این صفحات می رسد مگر اینکه URL را به صورت دستی وارد کند.

در واقع فایل معروف robots.txt به شما کمک می کند که قسمت هایی از سایت را از دسترس موتورهای جست و جو خارج کنید اما Sitemap ها دقیقا برعکس این کار را انجام می دهند؛ آن ها به موتورهای جست و جو کمک می کنند تا صفحات جدید را شناسایی کنند. گوگل از سال 2005 شروع به استفاده از XML sitemap ها کرد. البته نکته ی مهمی وجود دارد: HTML sitemap با XML Sitemap یکی نیست! XML sitemap ها برای کاربران قابل مشاهده نیستند بلکه فقط برای Google قابل مشاهده است در حالی که HTML sitemap ها لیستی از لینک های داخلی هستند که تمامی صفحات را در یک جا جمع کرده اند. توصیه می شود که هر دو را داشته باشید:

این فرمت XML به گوگل اجازه می دهد که سریعا اطلاعات را parse کرده و URL های جدید را پیدا کند.

ثبت sitemap و استانداردهای آن

اگر می خواهید بدانید سایت شما sitemap دارد یا نه می توانید از ابزاری مانند Google Search Console یا Bing Webmaster Tools استفاده کنید؛ در قسمتی به نام sitemaps نگاه کنید و لیست موجود را بررسی کنید. اکثر موتورهای جست و جو در فایل robots.txt به دنبال کد <Sitemap: <sitemap_location می گردند بنابراین بهتر است sitemap را در آن قسمت مشخص کنید. راه دیگر این است که فایل sitemap را مستقیما وارد گوگل یا دیگر موتور های جست و جو کنید:

• نحوه ی ارسال مستقیم sitemap به Google
• نحوه ی ارسال مستقیم sitemap به  Baidu
• نحوه ی ارسال مستقیم sitemap به Bing
• نحوه ی ارسال مستقیم sitemap به Yandex

استانداردهای یک sitemap خوب به این شرح هستند:

• فقط شامل لینک های canonical با status code 200 باشد.
• حداکثر 200 هزار URL برای هر sitemap و 50 هزار sitemap برای هر index sitemap داشته باشد.
• در فایل robots.txt مشخص شده باشد.
• دارای encoding از نوع UTF-8 باشد.
• در فرمت gz. فشرده شده باشد.
• بزرگتر از 50mb (مگابایت) نبوده و بیشتر از 50 هزار URL نداشته باشد.

این موارد از استانداردهای حداقلی هستند اما کارهای بیشتری نیز می توان انجام داد. مثلا می توان تنها صفحات مهم را در sitemap قرار داد تا گوگل فقط آن ها را مد نظر بگیرد؛ فرض کنید گوگل یک توریست است و XML sitemap نقشه ای برای توریست ها است. در این نقشه نباید آدرس هر خانه ای را اضافه کرد بلکه فقط قسمت های مهم شهر مانند ساختمان های معروف و پارک های دیدنی را ذکر می کنند. بنابراین صفحاتی مانند «درباره ی ما» یا «شرایط و قوانین» را در این فایل قرار ندهید چرا که از صفحات مهم (برای موتور جست و جو) به حساب نمی آیند.

همچنین اکثر CMS ها می توانند sitemap را به طور مرتب ویرایش کنند و با اضافه شدن هر URL جدید آن را به صفحه اضافه کنند. هر بار که فایل sitemap شما ویرایش می شود گوگل متوجه شده و آن را بازبینی می کند.

وب سایت های بزرگ

اگر وب سایت شما بزرگ است (مانند وب سایت های خبری) بهتر است یک index sitemap داشته باشید که 50 هزار sitemap عادی را در خود جای می دهد، البته نباید از 50 مگابایت حجم بیشتری داشته باشند. دلیل این کار این است که نمی توانید با چنین سایت بزرگی تمام sitemap های خود را در یک فایل بگنجانید.

حتی می توانید برای تصاویر و ویدیوهای سایت خود نیز Sitemap داشته باشید و یا اینکه آن ها را در همان sitemap اصلی اضافه کنید. مثال:

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9"
        xmlns:image="http://www.google.com/schemas/sitemap-image/1.1">
  <url>
    <loc>http://example.com/sample.html</loc>
    <image:image>
      <image:loc>http://example.com/image.jpg</image:loc>
    </image:image>
    <image:image>
      <image:loc>http://example.com/photo.jpg</image:loc>
    </image:image>
  </url>
</urlset>

برای ویدیوها هم همینطور:

<url>
  <loc>https://example.com/mypage</loc>
  <video> ... information about video 1 ... </video>
</url>

sitemap وب سایت های خبری باید به قوانین زیر پایبند باشند:

• مقالاتی که قدیمی تر از 2 روز هستند در Sitemap قرار ندهید.
• در آن واحد بیشتر از 1000 ورودی را به Sitemap تزریق نکنید.
• در صورت تغییر مقالات sitemap را نیز ویرایش کنید.

در واقع باید با درک موقعیت و سنجیدن شرایط sitemap مناسب را برای وب سایت خود انتخاب کنید. ما برخی از ابزارهایی که در این زمینه به شما کمک می کنند را در جدول زیر ذکر کرده ایم:

امیدوارم از بحث نقشه سایت XML و معرفی بهترین ابزارهای آن استفاده کرده باشید.