آموزش robots txt نکته کاربردی مهم آکادمی جذب مارکتینگ

آموزشrobots.txt

robots.txt یکی از مهم‌ترین
فایل‌هایی است که توسط وبمستران مورداستفاده قرار می‌گیرد. این فایل تعیین می‌کند
که خزش ربات‌ها در سایت به چگونه‌ای باشد. این فایل بر اساس استانداردهای مشخص وب
نوشته می‌شود که به امکان یا عدم امکان دسترسی و ایندکس محتوا را به موتورهای
جستجو می‌دهد.

در ادامه پس از معرفی این
فایل به کدهای اختصاصی جهت ایجاد چنین فایلی خواهیم پرداخت. در انتها با ارائه
نکاتی مهم، شما را در جهت ایجاد فایلی کارآمد راهنمایی خواهیم کرد. با ما همراه باشید.

معرفی فایل robots.txt

برای استفاده از این امکان
به عنوان وبمستر باید اطلاعات کاملی از ساختار آن داشته باشید؛ فرمت کلی این فایل
به شکل زیر است:

user-agent: [user-agent
name]disallow: [url string not to be crawled]

یک فایل robots.txt ممکن است که تعداد زیادی از کد
بالا را شامل شود. این کاملا بستگی به هدف استفاده از فایل مورد نظر دارد. در این
خط به عامل کاربر که منظور همان نرم‌افزاری که کاربر جهت استفاده از بستر اینترنت
استفاده می‌کند، User-agent گفته می‌شود.

پس از تعیین یوزر ایجنت در
فایل robots.txt قوانین مورد
نظر ازجمله allow یا اجازه دادن
و
disallow یا عدم اجازه برای عامل کاربر مشخص می‌شود.

چند مثال از کاربرد robots.txt

در ادامه با بررسی چند مثال کاربرد این فایل را
به صورت شفاف‌تری توضیح خواهیم داد. هر کدام از این مثال‌ها کاربرد مختص به خود را
دارد. در نتیجه با شناسایی کاربرد هر کدام متوجه خواهید شد که کدام یک را در فایل robots.txt نیاز خواهد داشت.

بلوکه کردن دسترسی تمام
خزنده‌های وب از محتوا

جهت انجام این اقدام از کد
زیر استفاده می‌شود:

user-agent: * disallow: /

این کد به تمامی خزنده ها
می گوید که اجازه ایندکس کردن هیچ آدرسی از سایت مورد نظر را ندارند. این مسأله
حتی در مورد صفحه اصلی صدق می کند.

user-agent: * disallow:

این کد به خزنده‌های وب می‌گوید که تمامی صفحات سایت مورد نظر ازجمله صفحه اصلی را
ایندکس کنند.

user-agent: googlebot disallow: /example-subfolder/

این خط کد به صورت اختصاصی
به خزنده‌های گوگل می‌گوید که اجازه صفحه خاصی از سایت را ندارند. در نتیجه دسترسی
خزنده‌های گوگل به واسطه این کد محدود می‌شود.

user-agent: bingbotdisallow: /example-subfolder/blocked-page.html

این کد جهت محدود کردن
دسترسی خزنده‌های اختصاصی بینگ به کار می رود.

به صورت کلی موتورهای جستجو
دو کار مشخص دارند:

• خزش در صفحات وب جهت پیدا
  کردن محتوا
• ایندکس کردن محتوای پیداشده
  جهت دسترسی راحت‌تر کاربران جستجو کننده

مهم‌ترین نکاتی robots.txt که باید بدانید

اطلاعاتی که در ادامه در
اختیار شما قرار خواهیم داد مهم‌ترین اطلاعاتی است که باید در رابطه با این فایل
بدانید.

نکته اول:فایل robots.txt باید در نخستین قسمت دایرکتوری
هاست شما قرار بگیرد. در نتیجه نباید درون هیچ پوشه‌ای این فایل را قرار دهید.

نکته دوم:فایل robots.txt فایل بسیار حساسی است که الزاما
باید با نام robots.txt در هاست
بارگذاری شود. در نتیجه به هیچ وجه از اسامی چون robots.txt یا Rorobt.txt و غیره استفاده نکنید.

نکته سوم:برخی از عامل‌های
کاربری ممکن است این فایل را در نظر نگیرند

نکته چهارم:فایل robots.txt به صورت عمومی است. در نتیجه هر
کسی می تواند ببیند که شما درخواست خزش یا عدم خزش چه لینک‌هایی را داده است.

نکته پنجم:هر ساب دامین
نیازمند یک فایل robots.txt مجزا است. در
نتیجه اگر blog.exm.com ساب دامین سایت
شما است و سایت اصلی exm.com است؛ باید برای
هر دو سایت فایل مجزا در نظر داشته باشید.

اصطلاحات تخصصی فایل robots.txt

اگر بخواهید از این فایل استفاده حداکثری داشته
باشید باید اصطلاحات تخصصی یا زبان robots.txt را بشناسید. در ادامه می‌خواهیم رایج‌ترین عبارات به کاررفته در
این فایل را موردبررسی قرار دهیم:

user-agent: به معنای موتور جستجویی است که
می‌خواهید دسترسی آن را محدود کنید

disallow: به معنای عدم اجازه به یوزر
ایجنت جهت خزش به لینک مورد نظر است.

allow: به معنای اجازه خزش به دایرکتوری
مورد نظر است

crawl-delay: به معنای مدت زمانی است که خزنده
باید صبر کند و سپس به خزش بپردازد. توجه داشته باشید که موتور جستجو گوگل این کد
را نمی‌شناسد.

sitemap: به معنای نقشه سایت است.

فایل robots.txt یکی از مهم‌ترین فایل‌هایی است که
در سئو کنسول نیز در نظر گرفته می‌شود. در نتیجه دقت لازم را در ساخت این فایل در
نظر داشته باشید و تمامی نکات ذکرشده در قسمت‌های پیشین را در نظر داشته باشید.