Когда контент веб-ресурса индексируется роботами систем поиска, машины обращают повышенное внимание на те слова и фразы, которые употребляются чаще других. Их еще принято называть основными ключевыми словами или фразами. Именно когда запросы пользователей Интернета совпадают с данными словами на сайт приходят целевые () посетители, которые действительно заинтересованы в определенных товарах, услугах или же для получения конкретной информации.
Важно отметить, что существуют и другие слова, которые в зависимости от условий полностью игнорируются поисковиком ввиду их незначительной важности или слишком большой плотности. Подобные слова называют шумовыми. К данной категорию обычно относят различные причастия, междометия, суффиксы, частицы, предлоги. (как, с, ли, об, но, те, для, если и многие другие).
Существует мнение, что данные слова могут вообще не нести какую-либо смысловую нагрузку, поэтому часто просто отбрасываются поисковиком, вместе с запятыми и другими знаками препинания.
Если речь идет о самом процессе индексации контента сайта, то поисковый робот сканирует именно исходный код страницы. В процессе сканирования робот отделяет ненужные включения, фрагменты кода, теги, знаки препинания и шумовые слова. Следовательно, остается лишь полезный контент.
Шумовые слова также называют стоп-словами. Естественно в разных языках существуют разные стоп-слова. Именно по этой причине при разработке поисковой системы большое значение имеет национальность разработчика. Если поисковик изначально ориентирован на англоязычную аудиторию, то например, русские стоп-слова он будет фильтровать несколько хуже, чем английские.
Если же мы имеем дело с российским поисковиком, то в данной ситуации фильтрация шумовых слов будет выполняться более качественно с учетом особенностей языка, традиций и других соответственных языковых фак5торов.
Еще одна отличительная особенность индексации шумовых слов заключается в том, что существуют устойчивые фразеологические обороты (кратко УФО). Такие обороты часто состоят именно из стоп-слов, к примеру, фраза «быть или не быть». Поисковики все это учитывают и могут определять в тексте наличие таких устойчивых фразеологических оборотов. В противном случае у нас не получилось бы найти все, что связано со знаменитой фразой из произведения великих писателей.
Наличие в контенте сайта таких оборотов и корректное распознавание их поисковиками роботами – еще один веский аргумент в пользу того, что российские поисковые системы обладают большей релевантностью поиска по ряду запросов пользователей.
Важно помнить, что нет абсолютных шумовых слов, то есть слов, которые можно было бы выкинуть из контента сайта в 100% случаев. То же местоимение или предлог может иметь важное смысловое значение в ином составе в другом месте контента. Поэтому грамотное определение значимости шумовых слов в каждом отдельно взятом случае – это довольно сложная задача для автоматизированного алгоритма. Разные поисковые системы справляются с данной задачей по-разному. Поэтому ожидать одинаковый результаты запросов осуществленных в разных поисковых системах просто не логично и не реально.