Файл robots.txt - это набор правил для поисковых роботов, которые регламентирую, какие страницы нужно индексировать поисковым системам, а какие нет. Задает правила обхода страниц сайта. Например, с помощью правильно настроенного файла robots.txt можно исключить дубли страниц, которые генерирует 1С-Битрикс, ограничить индексацию определенных страниц сайта (таких, как корзина, административные разделы, технические страницы). Правильно настроенный файл robots.txt положительно влияет на поисковую оптимизацию всего сайта, повышает вероятность сайта попасть на верхние строчки поисковой выдачи в поисковых системах Яндекс и Google.
-
•
Подходит для редакций — Старт, Стандарт, Малый бизнес, Бизнес