Файл robots.txt задаёт поисковым роботам базовые правила доступа к разделам сайта. Ошибка в одной строке не всегда заметна посетителю: страницы продолжат открываться в браузере, но робот может получить другой сигнал. Поэтому перед публикацией или изменением файла полезно пройти короткую проверку.
Найдите файл по правильному адресу
Откройте адрес в корне домена: https://ваш-домен/robots.txt. Проверьте, что сервер отвечает без лишнего перенаправления, а вместо страницы сайта возвращает обычный текстовый файл. Если адрес не открывается, сначала уточните у технического специалиста, где формируется файл: он может быть статическим или создаваться CMS.
Сверьте правила с задачами сайта
Прочитайте строки User-agent, Disallow и Allow. Они должны соответствовать реальной структуре сайта. Закрывать служебные разделы от индексации может быть разумно, но нельзя механически переносить правила с другого проекта: пути, папки и сценарии у сайтов отличаются. Для каждой закрытой области должно быть понятное объяснение.
Не перекрывайте важные страницы и ресурсы
Отдельно проверьте главную страницу, разделы с услугами или направлениями работы, контакты, новости и опубликованные документы. Убедитесь, что правила не блокируют файлы, необходимые для отображения страниц, если поисковому роботу нужно их обработать. Не добавляйте в robots.txt пароли, ключи и другие секреты: этот файл доступен публично и не является способом защиты данных.
Проверьте ссылку на карту сайта
Если на сайте размещена XML-карта, проверьте её адрес и доступность. Ссылка в robots.txt должна вести на действующий публичный URL, а сам файл карты — содержать только нужные для поиска страницы. Не включайте туда закрытые, тестовые и дублирующиеся адреса. Изменение одного файла не заменяет проверку второго.
Проведите проверку после изменений
После сохранения откройте robots.txt в приватном окне или без административной сессии. Проверьте главную страницу и несколько типовых URL, затем просмотрите HTML-код и метаданные важных страниц. Если менялась структура сайта, сравните новый файл с предыдущей версией и убедитесь, что случайная строка не закрыла весь ресурс.
Зафиксируйте результат
Запишите дату проверки, адрес файла, ответственного и краткое описание изменений. Сохраняйте предыдущую версию перед правкой, чтобы быстро вернуть рабочий вариант при ошибке. Такой журнал особенно полезен, когда сайт обслуживают несколько человек или настройки меняются вместе с обновлением структуры.
Итог
Проверка robots.txt состоит из пяти шагов: открыть файл по корневому адресу, понять правила, исключить блокировку важных страниц и ресурсов, сверить карту сайта и сделать публичную проверку после изменения. Не используйте файл как хранилище секретов и не копируйте настройки другого сайта без проверки путей.