Зачем нужен robots.txt

Как правило в robots.txt прописываются запреты индексации служебной информации, дублирующего контента, административной части интерфейса и многое другое. Все это нужно для того, что бы с одной стороны помочь поисковику в индексации вашего сайта, а с другой - не попасть под  некоторые фильтры ПС, которые, в случае применения негативно скажутся потоке посетителей с поисковых машин.

Когда специалист по продвижению сайтов берет ваш сайт в работу, то он обязательно проводит анализ и, при необходимости, редактирование этого файла.

Как это работает

Давайте разберемся, как работает Robots Exclusion Protocol. Итак, поисковая машина попадает на ваш сайт и начинает проверять существование файла robots.txt. Проверка производится по адресу http://www.sait.xx/ robots.txt. Таким образом, вам необходимо поместить файл в корневую директорию сайта. Поисковый робот, найдя этот файл, начинает чтение и анализ инструкций в нем построчно и последовательно.  Если инструкции написаны корректно, то начинается их выполнение.

Конкретные примеры инструкций в robots.txt

Существует ряд команд-инструкций и давайте рассмотрим наиболее используемые. Если вы хотите запретить индексацию отдельно всех страниц сайта для всех поисковых машин, то инструкция будет выглядеть следующим образом.

User-agent:*

Disallow: /

Для того чтобы запретить индексацию страниц только для Рамблера нужно прописать следующее:

User-agent: StackRambler

Disallow: /

Если вы хотите запретить определенный раздел своего сайта, то вместо «/» поставьте «/имя_раздела».  В случае необходимости запрета индексации определенной страницы, то пишите полный путь к ней, например «/категория/раздел/страница.html».

Подводя итог, нужно отметить, что работа по продвижению сайта начинается с правильной настройки robots.txt, поскольку не верное или не полное указание инструкций в нем может сильно снизить эффективность работ с сайтом.