Взаємодія з пошуковими системами є основним завданням, для якого призначений мета тег robots. Його введення в код має вказівний характер, повідомляючи про те, що потрібно чи не потрібно індексувати на цій сторінці. Крім цього, він пропонує пошукачам переглянути та проіндексувати інші сторінки ресурсу.
ОСНОВНА РОЛЬ МЕТА-ТЕГА ROBOTS ДЛЯ SEO
Отже, у стандартних ситуаціях роль метатегу robots полягає у налаштуванні індексації та показі в результатах пошуку вибраних веб-сторінок та їхнього вмісту. Особливо цінуються його вказівки пошуковими алгоритмами Google.
Крім цього, не варто списувати з рахунків ще одну важливу особливість мета-тегу robots – з його допомогою можна відкрити або закрити певні сторінки пошукових систем. Тобто, якщо в коді прописано robots - значить, дана директива дійсна для всіх без винятку ботів. Якщо ж потрібно зробити виняток – назву вписують замість атрибута. Наприклад, якщо потрібно дати вказівку Google, його змінюють на «Googlebot».
КІЛЬКА ПОРАД: ЯК ВИКОРИСТОВУВАТИ МЕТА-ТЕГ ROBOTS
Чіткі директиви та вказівки для пошукових роботів від мета-тегу robots – допомагають керувати індексацією веб-ресурсу. На окрему увагу заслуговують стандартні директиви атрибуту content. Відповідно до правил йому можна присвоїти одне з кількох значень:
- index чи noindex – дозвіл або заборона на індексацію вмісту;
- all чи none – означає необхідність чи відмова від індексування всього контенту;
- follow або nofollow – дозволяє аналізувати чи пропускати посилання.
Крім парних вказівок використовуються так само: noarchive – заборона на показ у результатах посилань на копії сторінок (з кеша), noimageindex – заборона на індексацію візуального контенту та nosnippet – неможливість показу у пошуковій видачі сніпетту зі змістом сторінки. Іноді використовується директива – noodp, яка забороняє роботам використовувати опис з каталогу Open Directory Project як фрагмент сторінки.
Крім цього, можна використовувати метатег robots як забороняючу або вирішальну директиву загального характеру. Вказівка "none" є альтернативою для "nofollow", "noindex", а вказівка "all" для "index", "follow". Якщо ж знехтувати мета тегом robots, і не вказувати його в коді, то пошукові роботи проіндексують абсолютно весь вміст веб-сторінок.