robots.txt: یه فایل متنی ساده هست که در کنار فایل های موجود در ریشه یک سایت قرار میگیرد.(example.com/robots.txt)
روزانه علاوه بر کاربران بازدید کننده از صفحات وب سایت شما، ربات هایی مفید یا مخرب نیز از صفحات سایت شما بازدید می کنند، این فایل در سایت شما به نوعی یک راهنما و به ربات های مراجعه کننده مسیردهی و تعیین میکند که مجاز هستن به کدام بخش از وب سایت دسترسی داشته باشند، این فایل درعین سادگی برای مدیریت سئوی سایت بسیار مهم می باشد.
تمامی موتور های جستجو برای نمایش سایت شما در نتایج جستجو، توسط ربات هایی صفحات وب سایت شما را بررسی و به اصطلاح کرال (Crawl)می کنند، این فایل راهنمای ربات های بازدید کننده است که مجاز هستن از چه صفحاتی بازدید کنند و از چه صفحاتی بازدید انجام نشود.
کاربردهای فایل robots.txt
جلوگیری از ایندکس شدن صفحات حساس.
بهینه سازی در کرال کردن وب سایت بدین منظور که تنها صفحات مهم وب سایت کرال شود.
جلوگیری از ایندکس شدن صفحات تکراری.
جلوگیری از مصرف پهنای باند توسط ربات ها.
نکته:
ایجاد فایل robots.txt اجباری نمی باشد ولی جهت عملکرد وب سایت بهتر است که به صورت هدفمند استفاده شود.
استفاده اشتباه از کدها در این فایل گاهی ممکن است باعث حذف سایت از گوگل شود.
پس از ویرایش فایل با استفاده از ابزار Google Search Consol فایل را تست نمایید.
در ادامه نمونه ساده ای از فایل robots.txt به همراه توضیحات هر لاین ارائه میگردد:
خط اول: به همه ربات ها اشاره دارد
خط دوم: وارد پوشه ادمین نشود
خط سوم: وارد پوشه private نشود
خط چهارم: بقیه وب سایت بررسی شود
در پویاسازان