Если поисковые роботы обходят лишние страницы, а нужные разделы индексируются не так, как вы ожидаете, первым делом стоит проверить robots.txt. Для WordPress это не «магический файл для SEO», а обычная инструкция для роботов: что можно сканировать, а что лучше не трогать. Настроить его можно быстро, но важно не переусердствовать — одна лишняя директива способна закрыть от обхода весь сайт или важные разделы.
Для типового WordPress-сайта задача обычно сводится к двум вещам: не мешать поисковикам видеть публичные страницы и при этом ограничить обход служебных URL, которые не нужны в поиске. Ниже — рабочий порядок действий без опасных экспериментов.
Где в WordPress находится robots.txt
У WordPress есть особенность: если в корне сайта нет физического файла robots.txt, система может отдавать виртуальный вариант по адресу /robots.txt. Это удобно для старта, но для нормальной настройки лучше создать именно файл в корне сайта, чтобы управлять правилами явно.
Проверить текущую ситуацию просто: откройте в браузере https://ваш-домен.ru/robots.txt. Если файл уже существует, вы увидите его содержимое. Если нет — WordPress или сервер могут отдавать стандартный ответ, который не всегда подходит под ваши задачи.
Файл должен лежать в корне сайта рядом с wp-config.php, а не в папке темы или плагина. Если у вас доступ только через хостинг-панель или FTP, редактировать нужно именно этот файл.
Базовые правила для большинства сайтов на WordPress
Для обычного сайта без сложной структуры и без специальных требований поисковой оптимизации достаточно аккуратного набора правил. Он не пытается «запретить всё лишнее», а только убирает технический шум.
Вот безопасная базовая заготовка:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Что здесь важно:
User-agent: *— правило для всех поисковых роботов;Disallow: /wp-admin/— закрывает административную часть сайта;Allow: /wp-admin/admin-ajax.php— оставляет доступ к AJAX-обработчику, который нужен многим темам и плагинам.
Этого уже достаточно для большинства сайтов. Не стоит добавлять десятки строк «на всякий случай», если вы не понимаете, что именно закрываете. В robots.txt ошибка обычно проявляется не сразу, а потом приходится искать, почему робот перестал обходить нужные страницы.
Что обычно не стоит закрывать без причины
Самая частая ошибка — пытаться через robots.txt спрятать всё, что кажется «служебным»: страницы поиска, архивы, параметры URL, теги, пагинацию. Иногда это оправдано, но не по умолчанию. Если закрыть важный раздел от обхода, поисковик просто не сможет нормально его переоценить.
Особенно осторожно нужно относиться к следующим вещам:
- страницам, которые реально должны попадать в поиск;
- URL с параметрами, если они используются для фильтров или сортировки и ведут на полезный контент;
- категориям и архивам, если они дают трафик и не являются дублями;
- файлам CSS и JS — их нельзя бездумно закрывать, иначе поисковик может хуже понимать страницу.
Если вы не уверены, лучше не закрывать ничего лишнего. robots.txt не удаляет страницы из индекса и не скрывает контент от пользователей; он только ограничивает обход. Это разные задачи, и путать их не стоит.
Как добавить свой robots.txt на хостинге
Способ зависит от того, как у вас устроен доступ к сайту. Самый простой вариант — через файловый менеджер хостинга или FTP-клиент.
Порядок действий такой:
- Откройте корневую папку сайта.
- Создайте файл
robots.txt, если его нет. - Вставьте нужные правила.
- Сохраните файл в кодировке UTF-8 без BOM, если редактор это позволяет.
- Проверьте открытие файла по адресу
/robots.txt.
Если вы используете панель хостинга, убедитесь, что файл действительно лежит в корне сайта, а не в подкаталоге вроде /public_html/ или /www/ — на разных хостингах структура отличается. Ошибка здесь встречается чаще, чем проблемы с самими правилами.
Если сайт работает через CDN или прокси, например Cloudflare, после изменения файла может понадобиться очистить кэш на стороне сервиса. Иначе в браузере вы увидите старую версию robots.txt.
Примеры настроек для типовых сценариев
Универсального файла для всех сайтов нет, но есть несколько рабочих шаблонов, которые подходят под распространённые ситуации.
Обычный корпоративный сайт или блог
Если у вас стандартный публичный сайт без сложных технических разделов, обычно хватает минимального варианта:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Это хороший старт, если вы не хотите случайно закрыть полезные страницы.
Сайт с отдельными служебными разделами
Если на сайте есть внутренние разделы, которые не должны обходиться роботами, можно добавить точечные запреты. Например, если есть техническая папка с временными файлами, её можно закрыть отдельно:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /tmp/
Disallow: /private/
Такой подход лучше, чем закрывать слишком широкие маски вроде всего сайта или целых групп URL без необходимости.
Если нужно разрешить обход только части сайта
Иногда владельцы сайтов пытаются использовать robots.txt как фильтр доступа. Это не работает: файл не предназначен для защиты контента. Если нужно ограничить доступ к закрытым разделам, используйте авторизацию, серверные правила или настройки самого WordPress, а не robots.txt.
Как проверить, что robots.txt настроен правильно
После сохранения файла проверьте три вещи.
- Файл открывается по адресу
/robots.txtбез ошибки 404. - В нём нет случайных запретов на весь сайт, например
Disallow: /, если это не было вашей целью. - Страницы, которые должны обходиться, не закрыты по ошибке слишком широким правилом.
Дополнительно можно проверить файл в инструментах для вебмастеров поисковых систем. Там обычно видно, как робот интерпретирует правила и какие URL попадают под запрет. Это полезно, если у вас несколько директив Disallow и вы хотите убедиться, что они не конфликтуют.
Если после изменения файла страницы перестали обходиться, сначала откройте сам robots.txt и проверьте его глазами. На практике проблема часто оказывается в одной лишней строке, а не в WordPress как таковом.
Типичные ошибки, из-за которых robots.txt ломает обход
У robots.txt есть несколько ошибок, которые встречаются особенно часто:
- закрывают весь сайт строкой
Disallow: /и забывают убрать её после тестов; - добавляют правила из чужого шаблона, не понимая, что они запрещают;
- путают
robots.txtс настройками индексации и ждут, что он уберёт страницы из поиска; - редактируют файл не в корне сайта, а в папке темы или плагина;
- не проверяют, не кэшируется ли старая версия файла на CDN или у хостинга.
Ещё одна практическая проблема — конфликт между robots.txt и реальной структурой сайта. Например, если вы закрыли папку, в которой лежат важные CSS или JS-файлы, поисковик может хуже отрисовать страницу. Поэтому перед запретом лучше понять, что именно находится по этому пути.
Когда лучше не трогать robots.txt вручную
Если сайт небольшой и у вас нет чёткой причины ограничивать обход, не нужно усложнять файл. Для WordPress часто достаточно минимального набора правил, а все остальные задачи решаются структурой сайта, мета-тегами и настройками конкретных страниц.
Ручная правка особенно рискованна, если сайт уже давно работает, а вы не уверены, какие правила были добавлены раньше. В такой ситуации сначала сохраните копию текущего файла, потом вносите изменения по одному и проверяйте результат после каждого шага. Это проще, чем потом искать, какая строка сломала обход.
Если вам нужно не просто отредактировать файл, а навести порядок в технических SEO-настройках WordPress, иногда удобнее использовать плагин, который помогает управлять служебными страницами и дублями. Но сам robots.txt всё равно лучше держать под контролем вручную: так вы точно понимаете, что именно разрешено и запрещено роботам.
Для большинства сайтов рабочая схема выглядит так: создать файл в корне, оставить минимальные правила для wp-admin, не закрывать лишнее и проверить результат в браузере и инструментах для вебмастеров. Этого достаточно, чтобы управлять обходом без лишнего риска.