Robots.txt для WordPress представляет собой инструмент для поисковых роботов, задающий им странички для посещения. Можно настроить выдачу в популярных поисковиках, среди которых Google, Yandex. Для того чтобы система действительно работала правильно и эффективно выполняла свою задачу, ее следует грамотно отрегулировать. Существует несколько рекомендаций по этому поводу.

Варианты настройки
Настройка файла robots.txt заключается в ведении верного программного кода. Нужно понимать, что универсальный код не всегда будет действенен. Необходимо учитывать особенности конкретного сайта и подстраиваться под них. Лучше не пытаться самостоятельно что-то реализовывать или корректировать, а довериться SEO-специалисту. Существуют короткая и расширенные версии правильного robots для WordPress, каждая со своими особенностями.
Первая версия является предпочтительной и ограничивает вероятность запрета индексации файлов внутри ядра ВордПресс. Выглядит программный код следующим образом:

Что касается более сложной и длинной версии, то она дает больше контроля, но при этом имеет ряд недостатков. Например, может ввести что-либо недоступное поисковым ботам:

Ошибки
Блогеры могут допустить ряд просчетов при настройке файла robots, что приведет к плохому отклику и не отображению в выдаче. Среди популярных ошибок можно отметить:
- использование правил только для User-agent;
- прописывание после каждого User-agent кода Sitemap;
- запрет доступа к папкам wp—content, wp—includes, cache, plugins, themes, что считается устаревшим требованием;
- закрытие страниц категорий и тегов;
- прописывание crawl-delay, которое считается модным, но на деле оказывается абсолютно неэффективным;
- мелкие программные неточности.
Нет универсальных рекомендаций по настройке. Поэтому всегда нужно отталкиваться от конкретной ситуации. Помните, что правильное отображение в WordPress является важным этапом оптимизации сайта. Ему нужно уделить пристальное внимание, привлечь специалистов. В этом случае можно получить действительно хорошую отдачу. Поисковые роботы будут работать эффективно, не станут запрещать посещение страничек, которые должны быть в открытом доступе. При внесении изменений они будут видны только через пару месяцев, и можно будет сказать об эффективности.
Профессионально занимаюсь интернет-маркетингом с 2014 года. Основная специализация — контекстная реклама. Сфокусирован на мелком и среднем бизнесе. Возникли вопросы? Звоните и получайте консультацию.
О нашем агентстве
Помогаем привлекать целевую аудиторию, увеличивать продажи и достигать других маркетинговых целей. Работаем с мелкими и крупными клиентами. Результативно. Быстро. Честно.
Получите бесплатный аудит контекстной рекламы!
Мы проанализируем ваш рекламный аккаунт и дадим список рекомендаций для увеличения продаж через сайт. В 95% случаев в аккаунте имеются грубые ошибки.