Каждый вебмастер стремится к тому, чтобы его виртуальная площадка оказалось в индексе поисковиков и заняла, хорошую позицию в общем рейтинге поисковой выдачи. Однако при поисковой индексации сайта, зачастую возникают ситуации, когда попадание всего сайта или отдельных его элементов в индекс крайне нежелательно. Именно в подобных ситуациях требуется вводить запрет на индексацию с помощью служебного файла robots.txt.
Поисковый робот и индексация сайта
Когда необходим запрет на индексацию? Безусловно, все владельцы виртуальных площадок в сети в курсе, какую плачевную ситуацию могут создать ошибки, допущенные при индексации ресурса в поисковой системе. Дело в том, что поисковый робот индексирует все разделы сайта, не разбираясь в их целевом предназначении.
«Внимание! Так на всеобщее обозрение могут попасть разделы, которые изначально должны быть скрыты от глаз пользователей сети.»
Например, поисковый робот не должен «видеть» технические разделы сайта, которые могут стать причиной того, что и остальные титульные его страницы не попадут в индекс поисковой системы. К тому же пользователям будет совершенно не интересно смотреть на техническую сторону вопроса, в которой они ничего не понимают.
А вот разбирающиеся в веб-программировании злоумышленники могут легко воспользоваться обнажённым нутром сайта, если его технический раздел случайно попадёт на всеобщее обозрение. Кроме того, поисковый робот не должен выдавать и скрытые странички, на которых, к примеру, отражены конфиденциальные данные:
- покупателей,
- контрагентов,
- или деловых партнёров.
Обнародование такой информации может вызвать большой резонанс и уничтожить доброе имя компании.
Как скрыть от индексации не титульные разделы сайта?
Чтобы поисковый робот выносил на суд пользователей только те разделы и страницы, которые предназначены для просмотра посетителями площадки, необходимо каким-то образом указать ему на то, какие разделы должны отображаться в выдаче, а какие — оставаться за кадром. Для этого служит специальный в текстовом формате конфигурационный файл robots.txt, который должен находиться в корневой директории любого сайта.
Даже если таковой не удалось обнаружить в корневой директории, его всегда можно создать и поместить туда самостоятельно. Для этого не нужно привлекать специалиста и использовать особое программное обеспечение. Создать данный файл можно, и с помощью стандартного текстового редактора «Блокнот».
«Подсказка: Только пустой файл с названием robots.txt не принесёт никакой практической пользы, поскольку в нём должны быть прописаны необходимые команды для поисковиков. Важно правильно сообщить роботу, что можно индексировать, а что нет.«
Поисковые роботы, заходящие на сайт, первым делом обращаются к файлу robots.txt, а именно, к его содержимому. Начинка данного файла прописывается с помощью различных директив, ключевыми из которых являются:
- User-agent,
- Disallow,
- и Allow.
Первая определяет, для какого робота предназначена команда, вторая директива запрещает индексации сайта (если это необходимо) или конкретных указанных его страниц (разделов), а последняя, наоборот, разрешает роботу индексировать ресурс или его отдельные страницы.
Проверка файла robots.txt
Можно ли проверить robots.txt на правильность? От корректности содержания файла robots.txt зависит то, насколько правильно поисковый робот будет индексировать сайт. При задаче неверных команд поисковик может вынести на всеобщее обозрение конфиденциальную информацию, скрыв от глаз пользователей нужные разделы.
Чтобы избежать таких негативных последствий, рекомендуется время от времени проверять файл robots.txt на предмет корректности, для чего можно воспользоваться, к примеру, сервисом Яндекс.Вебмастер, а конкретнее — инструментом Анализ robots.txt, который позволяет выявить ошибки в файле robots.txt по одному только доменному имени площадки.
Таким образом, можно с уверенностью сказать, что правильный файл robots.txt всегда поможет закрыть от индексации сайта и его определенные разделы, если это необходимо. Следовательно, закрывая от индекса технических разделов и других нежелательных элементов, можно помочь роботу успешно индексировать остальные страницы сайта, без лишних проблем.