Взаимодействие с поисковыми системами является основной задачей, для которой предназначен мета тег robots. Его ввод в код носит указательный характер, сообщая о том, что нужно или не нужно индексировать на данной странице. Кроме этого, он предлагает поисковикам просмотреть и проиндексировать другие страницы ресурса.
Основная роль мета-тега robots для SEO
Итак, в стандартных ситуациях роль метатега robots состоит в настройке индексации и показе в результатах поиска избранных веб-страниц и их содержимого. Особенно ценятся его указания поисковыми алгоритмами Google.
Кроме этого, не стоит списывать со счетов еще одну важную особенность мета-тега robots – с его помощью можно открыть или закрыть определенные страницы от поисковых систем. То есть, если в коде прописано «robots» - значит, данная директива действительна для всех без исключения ботов. Если же необходимо сделать исключение – название вписывают вместо атрибута. Например, если нужно дать указание Google, то его меняют на «Googlebot».
Несколько советов: как использовать мета-тег robots
Четкие директивы и указания для поисковых ботов от мета-тега robots – помогают управлять индексацией веб-ресурса. Отдельного внимания заслуживают стандартные директивы атрибута content. Согласно правилам ему можно присвоить одно из нескольких значений:
- index или noindex – разрешение или запрет на индексацию содержимого;
- all или none – означает необходимость или отказ от индексирования всего контента;
- follow или nofollow – позволяет анализировать или пропускать ссылки.
Помимо парных указаний используются так же: noarchive – запрет на показ в результатах ссылок на копии страниц (из кеша), noimageindex – запрет на индексацию визуального контента и nosnippet – невозможность показа в поисковой выдаче снипетта с содержанием страницы. Иногда используется директива – noodp, запрещающая ботам использовать описание из каталога Open Directory Project в качестве фрагмента страницы.
Кроме этого, можно использовать метатег robots в качестве запрещающей или разрешающей директивы общего характера. Указание «none» является альтернативой для «nofollow», «noindex», а указание «all» для «index», «follow». Если же пренебречь мета тегом robots, и не указывать его в коде, то поисковые боты проиндексируют абсолютно все содержимое веб-страниц.