Индексация ресурса поисковыми роботами – обязательный этап SEO-продвижения. Файл robots.txt предназначен для передачи им рекомендаций по просмотру и добавлению в индекс страниц сайта.
Далеко не все наполнения сайта подлежат индексации – вне поля зрения поисковых алгоритмов должны оказаться служебные, технические страницы, дубли, а также контент с низкой частотой поискового запроса. В robots.txt прописываются закрытые для просмотра страницы, а так же даются различные служебные указания для поисковых ботов Google и Яндекс.
Основная роль robots.txt в SEO
Если рассматривать работу файла robots.txt в целом, то можно заметить сразу три крупных задачи:
- запрет на индексацию вспомогательных страниц веб-ресурса;
- разрешение на доступ и вспомогательные указания для сканирования основных страниц;
- разгрузка сервера за счет изменения времени индексирования.
Отдельного внимания заслуживает роль robots.txt в SEO. За счет сокращения задач и отсутствия не нужной информации, поисковый бот может уделить больше внимания индексации новых данных, а значит помогает:
- быстрее привлечь целевую аудиторию;
- увеличить релевантность;
- отследить изменения позиций сайта.
Использование файла не является обязательным, поэтому для небольших проектов можно использовать другие решения, например Sitemap или Host.
Легко и быстро – как составить правильный robots.txt
Работу над новым файлом robots.txt удобнее вести в одном из простых текстовых редакторов, например в Блокноте. Основная задача всех действий – убрать из индексации всю лишнюю или конфиденциальную информацию и задать ботам четкий алгоритм действий.
Составление инструкций предполагает:
- стандартное обращение-директиву к поисковому роботу – User-agent;
- далее следует имя робота, например: YandexBot, Googlebot;
- если указание предназначено для всех ботов, то ставят «*», если для какой-то одной системы, то указывают ее название;
- хештег «#» означает комментарии не для ботов;
- задания роботам прописывают в виде директив: Disallow – запрет, Allow – разрешение, Crawl-delay – уменьшить скорость обхода;
- информацию записывают в виде блоков, каждый из которых содержит правила для определенного бота;
Сочетание файла robots.txt и SEO продвижения помогает ускорить индексацию нужных страниц и тем самым вывести сайт на первые строчки выдачи.