Довольно часто на длинном и тернистом пути к высоким позициям ресурса появляется проблема с дублированной информацией, потому как поисковые роботы совсем не любят, как частичное, так и полное дублирование данных. Подавляющая часть возникновения дублей страниц в большинстве случаях связана с характерными особенностями CMS сайта.
Вред от дублированного контента.
Дублированный контент на сайте может спровоцировать появления серьезных и неприятных проблем.
Часто может произойти ухудшение позиции вашего ресурса в выдаче поисковых систем именно по этой причине, потому что покупаемые ссылки ведут не только на страницы, которые обладают индексами поисковых систем или же к полной потере индекса. Из-за чего контент на сайте нужно постоянно обновлять и следить за ним, чтобы не было его дублей.
Постараемся разобраться, что может случиться, если дублирование произойдет на сайте или же блоге. Этого следует понять, для того чтобы все негативные последствия в виде наложения фильтров своевременно были предотвращены. Откуда появляется на сайте дублированный контент? Основные источники дублированного контента следующие:
- Ленты новостей RSS.
- Страницы со служебной тематикой.
- Страницы, которые предназначаются для распечатки.
- Дублированный контент, который создается системой CMS.
Как узнать, если ли у сайта дубли в интернете?
Чтобы узнать, существуют ли среди страниц, которые Вы продвигаете, дубли в интернете можно несколькими разными способами. Это необходимо проверить, а то иногда даже появляется дубли главной страницы сайта и с этим ничего не сделаешь. Например, одна и та же страница с wwwи без www, это самое популярное, что сопровождается уведомлением поисковиков типа «Главное зеркало сайта не определено». Кроме этого дубли с главной страницы могут появиться со слеш (/) и без него.
Для поиска дублей прежде всего, можно использовать следующие бесплатные программы, которые можно найти в Интернете, и скачать к себе на компьютер:
- double content finder (DCF);
- программа от Advego;
- или программа eTXT Антиплагиат.
Помимо этого можно проверить текст в онлайн режиме на этих сайтах:
- Advego.ru (для проверки требуется регистрация суточный лимит символов 5000 сбп бесплатно);
- eTXT,ru важно наличие аккуанта на бирже;
- и TEXT.ru проверить текст как с регистрацией, так и без регистрации на сайте.
Также можно найти дубли страниц используя поисковую систему. К примеру, открываем Яндекс Вебмастер, переходим к пункту «Индексирование», потом «Страницы в поиске» и смотрим пункт исключенные, и смотрим есть ли дубли.
Как бороться с дублированным контентом?
Наверное, каждый понимает, что с самого начала нужно сделать генеральную уборку, а также удалить весь связанный с этим контент на сайте. Если удалить текстовые данные не получается или не сильно хочется, можно закрыть их от роботов-поисковиков, то есть, они не будут индексироваться. Так сайт не будет выглядеть пустым, но данный контент не сможет приводить людей на сайт. Чтобы сделать это, нужно использовать некоторые вещи, например некоторые страницы закрывать от индексации в robots.txt потенциальные дубли.
Robots.txt.
С помощью данного файла можно закрывать от индексации абсолютно любую часть текстовых данных, которые расположены у Вас на странице. Робот будет видеть эти данные, но не станет их учитывать.
В наших более ранних выпусках мы много раз говорили о данном файле, и напомнить только хочется то, что текстовый документ Роботс, который находится (или должен находиться) в основной, корневой папке ресурса очень важен в продвижении сайта.
«Внимание! В этот файл Вы можете записывать дополнительные команды для роботов-поисковиков. При этом также можно добавить команды для каждого поисковика отдельно»
Таким способом есть возможность запретить или разрешить ботам провести индексацию определенных разделов сайта. Можно также указывать на главное зеркало web-ресурса, а также указывать определенный поисковый интервал для скачиваний файлов с сервера.
Как Вы поняли, ничего сложного в борьбе с дублированным контентом нет. Этого попросту можно избежать. Как? Во время создания web-ресурса сразу же стоит произвести техническую оптимизацию ресурса. Решить этот вопрос также поможет карта сайта. Это очень актуально для ресурсов, контент на которых каждый день обновляется.
Как Вы понимаете, уникальность текстовых данных – обязательно условие во время продвижения сайта. Стоит понимать, что даже статьи, которые были написаны своими руками или же по специальному заказу не будут гарантировать Вам 100% избавление от дублированного контента. Но если вовремя найти пути устранения дубли страниц на сайте, то успеха в продвижении сайта добиться будет в несколько раз проще.