Инструменты · проверка
Проверка robots.txt.
Покажем, какие правила закрывают обход и что стоит поправить. Пока инструмент в планах — без формы и демо-результатов.
В планах
Статус · в планах
Появится вместе с сервисом аудита.
Проверка будет использовать тот же безопасный сетевой модуль, что и аудит сайта. Включать её раньше движка нечестно — результатов пока нет.
Что будет проверяться
- Какие разделы закрыты от обхода и каким User-Agent.
- Ошибки синтаксиса и конфликтующие директивы.
- Ссылка на sitemap и доступность самого файла.
- Отличие «закрыто robots» от «страница удалена».
Проверка не обходит запреты сайта и не нарушает правила обхода. Если robots закрывает страницу — покажем это как факт, а не «ошибку».