robots.txt - тестер и конструктор
Вставьте правила и проверьте путь по каждому боту, или соберите robots.txt с нуля. Модель сопоставления как у Google - длиннее правило приоритетнее, Allow побеждает Disallow.
robots.txt
Правила группируются по User-agent. Внутри группы, подходящей боту, побеждает правило с самым длинным шаблоном пути; при равенстве Allow и Disallow побеждает Allow.
Проверить путь
Собрать из формы
Разместите по адресу https://ваш-домен.com/robots.txt. robots.txt управляет обходом, а не индексацией - чтобы страница не попала в выдачу, используйте meta-тег или заголовок noindex на странице, которая при этом доступна для обхода.
Чем управляет robots.txt - и чем нет
robots.txt управляет обходом, а не индексацией. Правило Disallow говорит послушным ботам не запрашивать подходящие URL, но запрещенная страница все равно может проиндексироваться по внешним ссылкам, просто без сниппета. Чтобы страница не попала в выдачу, разрешите ее обход и добавьте meta-тег или заголовок noindex. Инструмент проверяет, доступен ли путь боту по вашим правилам, и собирает robots.txt из формы. Он использует модель сопоставления Google: бот выбирает группу User-agent, наиболее конкретно совпавшую с его именем, затем внутри группы побеждает правило с самым длинным шаблоном пути, а при равной длине Allow и Disallow побеждает Allow.
Подстановки, группы и частые ошибки
Подстановки * (любая последовательность) и $ (конец пути) поддерживаются Google, Bing и Yandex. Частый сюрприз: Disallow: /search блокирует любой путь, начинающийся с /search, включая /search/help и /search?q=x - напишите Disallow: /search$, чтобы заблокировать только точную страницу, или добавьте Allow: /search/help, чтобы оставить один путь открытым. Разным ботам нужны отдельные группы User-agent, и бот использует только одну наиболее конкретную группу, игнорируя остальные, поэтому общие правила повторяйте в каждой. Crawl-delay игнорируется Google (частоту задавайте в Search Console), но учитывается Bing и Yandex.