Індексація ресурсу пошуковими роботами – обов'язковий етап SEO просування. Файл robots.txt призначений для передачі їм рекомендацій щодо перегляду та додавання до індексу сторінок сайту.
Далеко не всі наповнення сайту підлягають індексації – поза увагою пошукових алгоритмів мають виявитися службові, технічні сторінки, дублі, а також контент із низькою частотою пошукового запиту. У robots.txt прописуються закриті для перегляду сторінки, а також даються різні службові вказівки для пошукових роботів Google та Яндекс.
ОСНОВНА РОЛЬ ROBOTS.TXT У SEO
Якщо розглядати роботу файлу robots.txt в цілому, то можна помітити відразу три великі завдання:
- заборона індексації допоміжних сторінок веб-ресурсу;
- дозвіл на доступ та допоміжні вказівки для сканування основних сторінок;
- розвантаження сервера за рахунок зміни часу індексування.
На окрему увагу заслуговує роль robots.txt в SEO. За рахунок скорочення завдань та відсутності не потрібної інформації, пошуковий бот може приділити більше уваги індексації нових даних, а значить допомагає:
- швидше залучити цільову аудиторію;
- збільшити релевантність;
- відстежити зміни позицій сайту
Використання файлу не є обов'язковим, тому для невеликих проектів можна використовувати інші рішення, наприклад, Sitemap або Host.
ЛЕГКО І ШВИДКО – ЯК Скласти ПРАВИЛЬНИЙ ROBOTS.TXT
Роботу над новим файлом robots.txt зручніше вести в одному із простих текстових редакторів, наприклад, у Блокноті. Основне завдання всіх дій – усунути з індексації всю зайву чи конфіденційну інформацію та задати ботам чіткий алгоритм дій.
Складання інструкцій передбачає:
- стандартне звернення-директиву до пошукової роботи – User-agent;
- далі слідує ім'я робота, наприклад: YandexBot, Googlebot;
- якщо вказівка призначена всім ботів, то ставлять «*», якщо якийсь однієї системи, то вказують її назва;
- хештег «#» означає коментарі для ботів;
- завдання роботам прописують як директив: Disallow – заборона, Allow – дозвіл, Crawl-delay – зменшити швидкість обходу;
- інформацію записують як блоків, кожен із яких містить правила для певного бота;
Поєднання файлу robots.txt та SEO просування допомагає прискорити індексацію потрібних сторінок і тим самим вивести сайт на перші рядки видачі.