Главная » Оптимизация » Как правильно составить файл robots txt для продвижения сайта

Как правильно составить файл robots txt для продвижения сайта

правильный robots.txt для сайта на wordpressПриветствую Вас, читатель моего блога! В этой статье я расскажу о необходимости создания файла robots txt, и о том, как его правильно составить.

Правильный robots txt – один из важных моментов поисковой оптимизации, необходимой для продвижения сайта в топ.

Одной из функций файла является запрет индексации всех лишних страниц блога.

В robots.txt задается также адрес sitemap.xml (карты сайта) и прописывается его главное зеркало (с www или без www).

Поисковые системы один и тот же веб ресурс с www и без www воспринимают, как разные сайты. Обнаружив, что их содержимое ничем не отличается, поисковики «склеивают» сайты.

Чтобы этого не происходило, рекомендуется в файле robots.txt обозначить главное зеркало.

Объясню на примере своего сайта, как определить его главное зеркало. Если набрать в браузере адрес сайта с www.seitostroenie.ru, то Вас перебросит на этот же сайт, но без www.

файл robots.txt

До перехода на сайт

как сделать файл robots.txt

После перехода на сайт

Значит, для моего сайта главное зеркало – без www. Надеюсь, понятно объяснила.

Пример правильного robots.txt для моего сайта на WordPress

robots.txt для сайта

В этом файле от индексации закрыты все те разделы, которые не должны учитываться поисковыми системами.

  • Все это надо прописать в текстовом документе с расширением .txt, то есть, дать файлу название robots.txt. Только, не забудьте, поменять seitostroenie.ru на данные своего сайта.
  • Затем этот файл надо разместить в корне блога, в ту же папку, где находится wp-content.

А теперь рассмотрим более подробно, что означают в документе каждая из строк.

User-agent: * — создание правила для всех поисковиков;

User-agent: Yandex – для Яндекса;

Запретить доступ роботов к разделам:

Disallow: /

Чтобы задать основное зеркало блога прописываем:

Host:

Адрес карт сайта, Sitemap, созданных при помощи плагина Google XML Sitemaps прописываем в двух последних строчках.

Проблемы с индексацией

Если на сайте не настроены ЧПУ, то с индексацией могут быть проблемы:

Строка — Disallow: /*?* закрывает от индексации такие страницы, так как ссылки на эти посты выглядят примерно так: site.ru/?p=665.

Чтобы это исправить, удаляем эти строчки.

Проверка robots.txt

Как правильно составить файл robots txt

Идем в Яндекс Вебмастер и в разделе «Анализ robots.txt» вписываем адрес сайта

как самому составить файл robots txt

и нажимаем “Загрузить robots.txt с сайта”, появится следующее сообщение:

запрет в файле robots.txt

В графу “Список URL” добавляем адрес статьи, чтобы проверить, не стоит ли запрет на ее индексацию. Жмем на кнопку «Проверить».

Получаем результат, что все в порядке:

анализ robots.txt

robots.txt анализ файла результат

Надеюсь, что данная статья была Вам полезной. Если у Вас есть какие-либо дополнения, поделитесь ими в комментариях.

Комментарий о “Как правильно составить файл robots txt для продвижения сайта

  1. Для Рунета самой часто встречающейся задачей является создание файла robots.txt для Яндекса , так как сейчас Яндекс – самая популярная поисковая система. Важно уметь правильно использовать директиву Host , которую соблюдает этот поисковик.

Добавить комментарий

Ваш e-mail не будет опубликован.

*

Заполняя форму для комментария вы соглашаетесь с Политикой конфиденциальности