Выявление дублированного контента на сайте

Дублированный контентКак хорошо, что есть такая девушка Энн Смарти. У нее реально талант находить полезные сервисы для вебмастеров и оптимизаторов.

В этот раз она взялась за дублированный контент и сервисы, которые помогают отыскать его на сайте. Думаю, многим из вас будет интересно.

Так вот, дублированный контент.

Почему тема дублированного контента сегодня так актуальна? Если не считать очевидных (копипаст одних и тех же статей на разные страницы), основных причин две:

  • использование движков, которые создают кучу урлов на одну и ту же страницу;
  • нехватка знаний в области seo. Так, например, урлы www.yoursite.com/page1 и www.yoursite.com/Page1 поисковики видят как две разные страницы, хотя их наполнение совершенно идентично с тем лишь отличием, что во втором урле слово page написано с большой буквы. Но это знают не все.

Предпосылки для появления дублированного контента:

  • наличие двух версий сайта: с www и без него;
  • присутствие на сайте страниц с одинаковыми тайтлами и мета-описаниями;
  • существование нескольких версий главной страницы (www.site.com и www.site.com/index.php);
  • неполадки в навигации сайта, приводящие к появлению нескольких урлов на одни и те же страницы (www.site.com/page.php?id=567 и www.site.com/category/page.php?id=567).

Естественно, дублированный контент вам нужен, как телеге пятое колесо. И дело здесь не только в том, что поисковый бот может подхватить и вынести в выдачу не совсем ту страницу, какую бы вы хотели там видеть (хотя это тоже очень важный момент). В дополнение к этому дублированный контент снижает скорость сканирования страниц гуглботами (даже боты не хотят выполнять лишнюю работу и сканировать дубли) и замедляет процесс попадания в индекс молодых сайтов.

НО! НЕ ВСЕ ТАК ПЛОХО! Купите платную подписку на мои сайты HowtoKillYourSitein10Seconds.com и SurefireWaytoDestroyYourRankingsImmediately.com я расскажу, как все исправить 🙂

Ладно, шутки в сторону. Думаю, увидев имя Энн Смарти в начале поста, вы уже поняли, что без полезных инстурментов тут не обойдется. Так и есть.

1. Duplicate Content Tool. Сервис выявляет следующие моменты:

  • наличие/отсутствие редиректа с www.site.com на site.com;
  • проблемы с кешированием страниц;
  • наличие одинаковых страниц в выдаче;
  • выдача 404-й ошибки на несуществующие страницы;
  • разбазаривание PR между ‘www-‘ и ‘без-www-‘ вариантами сайта.

Duplicate Content Tool

2. Xenu (десктопное приложение). Программка сканирует сайт и выдает информацию по всем урлам, которые там находит. Вам достаточно отсортировать результат по тайтлу (колонка Title), найти одинаковые заголовки и исправить их. (В программе что-то не так с кодировкой, русские заголовки идут иероглифами. Впрочем, удивляться не приходится (с).)

Xenu

3. Google Webmaster Tools. Сервис помогает найти идентичные татйлы и мета-описания.

Какие еще знаете инструменты, полезные для этих целей?

п.с. Кстати, найти дубли — это только полдела, их еще нужно и устранить. И в этом вам поможет вот эта статейка.

Записи по теме:

Нравятся статьи? Подписывайтесь на рассылку!

1 Star2 Stars3 Stars4 Stars5 Stars (Пока оценок нет)
loadingЗагрузка...
Логотип сайта

17 комментариев

  1. ну вообще некоторые пункты, перечисленные в статье, лидирующие поисковики уже давно разбирают и не считают дублированным контентом, но лишняя осторожность конечно не помешает, темболее, что ещё не все поисковики “умные”

  2. первый шаг в бизнесе, так оно ведь без разницы 🙂

    Я этот редирект делал еще когда толком и не знал, что такое редирект. В каком-то буржуйском блоге подсмотрел такую фишку, прочитал, что это для блога будет гуд, и поставил.

  3. Подскажите, как это настроить?

    Default Page Check: FAILED
    You have not standardized your default pages meaning the following versions of your url return a 200/OK Header, which may cause duplicate content issues. The following extensions work:

  4. Полезные фичи, не спорю. Но как бы базовые моменты вроде 301 редиректа и т.п. у вебмастера это должно “срабатывать по умолчанию”

  5. Так кто-нибудь может подсказать, как сделать 301 редирект:

    ввв.name.com -> name.com
    name.com/index.php -> name.com
    ввв.name.com/index.php -> name.com

    учитывая, что в .htaccess много работающих правил RewriteRule для замены ссылок. Заранее спасибо

  6. Богдан. Разницы нет. Просто нужно придерживаться одного варианта.
    Сейчас Яша знает твой сайт с www.
    А в роботс ты говоришь ему – без www.
    Хотя у тебя и идет 301 редирект и яша его понимает.
    Такая нестыковка и кто его знает как бот яндекса поведет себя в дальнейшем, например при сбое в работе сайта.
    Короче пропиши host: https://www.profithunter.ru на всякий случай

    первый шаг
    вот здесь почитай http://3pu.info/301-redirect/

  7. Эдуард 10/12/08 @ 23:18

    так поступают слабые люди, которые не хотят учится, работать, а хотят срубить бабла как можно быстрее.

    этот вариант тоже имеет право на существование

  8. Эдуард 10/12/08 @ 23:18

    так поступают слабые люди, которые не хотят учится, работать, а хотят срубить бабла как можно быстрее.

    Согласен на все 100%

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Получать новые комментарии по электронной почте. Вы можете подписатьсяi без комментирования.

Этот сайт использует Akismet для борьбы со спамом. Узнайте, как обрабатываются ваши данные комментариев.