چگونه از خزنده های گوگل درخواست کنیم تا سایت را بررسی نکنند؟
شاید تا کنون این سوال هم برای شما پیش آمده باشد که چگونه می توان موتور های جستجوگر را از خزیدن سایت متوقف کرد.
سناریو ها و دلیل های مختلفی وجود دارد که یک کاربر بخواهد از موتور های جستجوگر درخواست کند که خزنده های خود را به سایتش نفرستد.
در ادامه این مقاله از روکسو، ما به شما خواهیم آموخت که چگونه می توان موتور های جستجوگر را از خزیدن سایت وردپرس متوقف کرد.
چرا و چه کسی نیاز دارد خزیدن موتور های جستجوگر را متوقف کند؟
همانطور که می دانید، موتور های جستجوگر منبع بزرگی از ترافیک و بازدید برای وب سایت های مختلف هستند. حال شما شاید از خود بپرسید که چرا یک سایت نیاز دارد تا دسترسی موتور های جستجوگر از سایت خود را مسدود کند؟!
هنگام شروع، بسیاری مردم نمی دانند که چگونه می توان یک محیط محلی را توسعه داد یا یک سایت در حال ساخت ایجاد کند. اگر سایت شما تنها بر روی یک دامنه زنده قابل دسترسی است و فاقد از هیچ گونه محتواییست، پس احتمالا نمی خواهید که گوگل سایتتان را در لیست سایت های در حال ساخت ایندکس کند.
همچنین بسیاری از افراد وجود دارند که از وردپرس برای ایجاد وبلاگ های شخصی استفاده می کنند و برخی از آن ها قصد ندارند که موتور های جستجوگر وبلاگ های شخصی آن ها را نیز ایندکس کند.
برخی از افراد هم وجود دارند که از وردپرس برای مدیریت پروژه و اسناد خود استفاده می کنند و قصد ندارند که موتور های جستجوگر، اسناد و پروژه های آن ها را ایندکس کنند.
در تمامی شرایط فوق، احتمالا شما نمی خواهید که یک موتور جستجوگر سایت شما را نیز ایندکس کند و در لیست نتایج جستجو خود قرار دهد.
یک تصور غلطی که در میان کاربران وجود دارد، این است که اگر به دامنه سایت هیچ لینکی ندهیم، موتور های جستجوگر هیچ گاه سایت را پیدا نخواهند کرد.
در اینجا، چند مثال می آوریم که موتور های جستجوگر به احتمال صد در صد، سایت و دامنه شما را پیدا خواهند کرد:
1. سایت شما قبلاً متعلق به شخص دیگری بوده و هم اکنون نیز آن شخص لینک هایی را به دامنه شما ایجاد می کند.
2. برخی از سایت های نتایج دامنه ممکن است نام دامنه شما را در نتایج خود نشان دهند.
3. صد ها هزار صفحه هم ممکن است وجود داشته باشد که در یکی از آن ها، نام دامنه شما نیز قرار گرفته است.
به هر حال، اتفاقات بسیاری زیادی ممکن است رخ دهد که موتور های جستجوگر از طریق آن ها دامنه شما را پیدا کنند. با این حال، وب سایت شما تحت کنترلتان است و می توانید از موتور های جستجوگر درخواست کنید که سایتتان را ایندکس و دنبال نکنند.
مسدود کردن موتور های جستجوگر از ایندکس کردن و خزیدن سایت وردپرسی
وردپرس دارای یک ویژگی داخلی است که به شما این امکان را می دهد تا بتوانید از موتور های جستجوگر درخواست کنید که محتوای سایتتان را بررسی و ایندکس نکنند.
برای انجام این فرایند، به سادگی وارد بخش "خواندن < تنظیمات" در منو وردپرس خود شوید و تیک "نمایش به موتور های جستجوگر" را نیز انتخاب کنید.
زمانی که این گزینه را فعال می کنید، وردپرس کد زیر را در هدر سایتتان قرار می دهد:
<meta name='robots' content='noindex,follow' />
وردپرس همچنین خطوط فایل robots.txt سایتتان را تغییر می دهد و کد های زیر را در آن قرار می دهد:
User-agent: * Disallow: /
این کد ها، از موتور های جستجوگر درخواست می کنند که محتوای سایتتان را بررسی نکنند. با این حال، انجام این کار کاملا به موتور های جستجوگر مربوط می شود و خودشان تصمیم می گیرند که سایت را بررسی نکنند یا بکنند. اما اکثر موتور های جستجوگر به این امر احترام می گذارند و سایت را دیگر بررسی و ایندکس نمی کنند، اما به هر حال ممکن است برخی از صفحات یا تصاویر سایتتان نیز توسط موتور های جستجوگر ایندکس شوند.
چگونه مطمئن شویم سایت وردپرسی در نتایج جستجو موتور های جستجوگر نمایش داده نمی شود؟
تنظیمات پیش فرض وردپرس که در مرحله قبل انجام دادیم، در واقع به موتور های جستجوگر دستور داده که محتوا سایت را بررسی نکنند و آن ها را در نتایج جستجو نیز نمایش ندهند. با این حال، ممکن است با هم برخی از صفحات، تصاویر و محتویات سایت توسط خزنده های گوگل بررسی شوند و در نتایج نمایش داده شوند.
تنها راه اینکه مطمئن شوید دیگر سایتتان در نتایج جستجو نمایش داده نمی شود، قرار دادن یک پسورد برای کل وردپرس در سطح سرور است. این راه بدین معنیست، زمانی که شخصی سعی دارد به سایت شما دسترسی پیدا کند، باید یک رمز عبور و نام کاربری را وارد کند. این مورد نیز شامل موتور های جستجوگر می شود.
زمانی که ربات های موتور های جستجوگر سعی به دسترسی وب سایت داشته باشند و با یک رمز عبور برخورد کنند، با خطا 401 مواجه و در آخر غیرفعال می شوند و همین دلیل باعث می شود که دیگر محتویات سایتتان برای موتور های جستجوگر قابل نمایش نیست.
در ادامه، ما دو روش به شما معرفی خواهیم کرد که با استفاده از آن ها می توانید یک رمز عبور برای کل سایت وردپرس خود قرار دهید.
روش اول: قرار دادن پسورد برای کل سایت با استفاده از سی‌پنل
اگر شرکت میزبانی هاست سایت وردپرس تان، از سی پنل پشتیبانی می کند، خیلی راحت می توانید با استفاده از سی پنل، برای محافظت از کل سایت خود استفاده کنید.
تنها کاری که لازم است انجام دهید، این است که بر روی گزینه "Password Protect Directories" در بخش "Security" سی پنل نیز کلیک کنید.
سپس، شما نیاز دارید تا پوشه ای که وردپرس در آن نصب است را انتخاب کنید. معمولا پوشه "public_html" مکانیست که وردپرس در آن نصب می باشد.
اگر چندین وردپرس در پوشه public_html نصب دارید، می توانید با کلیک بر روی آیکون پوشه، زیرمجموعه ها و پوشه های داخل آن را بررسی کنید و پوشه وردپرس خود را نیز انتخاب کنید.
پس از آن، شما باید یک نام برای پوشه محافظت شده انتخاب کنید و در آخر بر روی دکمه Save کلیک کنید.
اطلاعات شما ذخیره خواهند شد و سی پنل به صورت خودکار، صفحه را رفرش می کند. حال شما نیاز دارید تا یک نام کاربری و رمز عبور نیز انتخاب و وارد کنید.
تمام شد! حال شما موفق شدید که یک نام کاربری و رمز عبور برای کل سایت وردپرسی خود نیز قرار دهید.
روش دوم: قرار دادن پسورد برای کل سایت با استفاده از افزونه
اگر شما به هر دلیلی دسترسی به سی پنل ندارید یا شرکت میزبانی هاستتان از سی پنل پشتیبانی نمی کند، راه های دیگری برای قرار دادن پسورد برای سایت دارید.
می توانید خیلی راحت، از افزونه های مختلف وردپرسی برای قرار دادن پسورد برای کل سایت استفاده کنید، در ادامه ما دو افزونه بسیار محبوب برای انجام این کار را پیشنهاد می کنیم:
خب دوستان مطلب بنده همینجا به پایان می رسه، امیدوارم که استفاده های لازم رو از مطلب کرده باشید. اگر هرگونه سوال، مشکل یا انتقادی در رابطه با این مطلب داشتید خیلی راحت می توانید آن را در بخش نظرات مطرح کنید 🙂
در این قسمت، به پرسش‌های تخصصی شما درباره‌ی محتوای مقاله پاسخ داده نمی‌شود. سوالات خود را اینجا بپرسید.