Ищем дубли страниц на сайте

Одной из самых вероятных причин плохой индексации сайта, падения позиций в поисковой выдаче и наложение фильтров поисковыми системами является наличие полных и частичных дублей контента.

Иногда исключение страниц-дублей приводит к росту позиций и увеличению трафика в два раза всего за несколько дней.
Но для того, чтобы запретить индексацию дублей, нужно из найти. Для этого можно использовать ряд инструментов.

1. Google Webmasters – полезный инструмент от гугла. Во вкладке оптимизация->оптимизация html, можно найти страницы с одинаковыми заголовками, ключевыми словами и мета-описаниями. Многие из них и будут являться дублями. Форматов книг огромное количество, но как открыть fb2 читайте здесь.
2. С помощью программы для веб-мастеров Xenu Link Sleuth. Для этого достаточно отсортировать страницы сайта по названию и визуально найти повторяющиеся заголовки.
3. Используя поисковую систему Яндекс. Довольно трудоемкий способ. Копируем часть текста статьи в строку запроса, в конце добавляете site: вашсайт.ру и смотрите сколько страниц в поисковой выдаче.
4. Используя поисковую систему Гугл можно найти страницы, которые не учувствуют в основном индексе. Для этого набираем site:вашсайт.ру –site:вашсайт.ру/&. Таким образом вы получите страницы, которые крайне редко показываются посетителям в поисковой выдаче. Более 90% из них будут полные и частичные дубли, а также неуникальные статьи, опубликованные не только на вашем сайте.

Результат после чистки сайта от дублированного контента иногда виден сразу (в течении 3-5 дней), но иногда приходится подождать несколько недель.