Как я расстался с дублями страниц

[Kufi 127]

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *
Disallow: /wp-includes
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: сайт.com
Sitemap: http ://сайт/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>

RewriteEngine On

RewriteBase /

RewriteCond %{QUERY_STRING} ^replytocom= [NC]

RewriteRule (.*) $1? [R=301,L]

RewriteRule (.+)/feed /$1 [R=301,L]

RewriteRule (.+)/comment-page /$1 [R=301,L]

RewriteRule (.+)/trackback /$1 [R=301,L]

RewriteRule (.+)/comments /$1 [R=301,L]

RewriteRule (.+)/attachment /$1 [R=301,L]

RewriteCond %{QUERY_STRING} ^attachment_id= [NC]

RewriteRule (.*) $1? [R=301,L]

RewriteRule ^index\.php$ - [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule . /index.php [L]

</IfModule>

 

# END WordPress

 

После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:

 

 

Все! Итого:

 

Дубли в Яндексе, он их выплюнул практически сразу:

 

Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:

 

 

P.S.

 

Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!

 

Трафик из обоих ПС начал значительно подниматься!

 

UPDATE

 

Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:

 

 

 

UPDATE 15.09.2015

 

Прошел почти год после работы с дублями и хотел добавить рост трафика за это время.

 

Первый скрин за октябрь 2014, собственно, сразу посе того, как убрал дубли

 

 

И спустя почти год. Пояснение: на сайт добавлялись только статьи, ничего не закупалось, нигде не прогонялось. Чисто внутренней оптимизацией.

 

[rasta25 28]

Недавно тоже все дубли убирал а инфа думая многим пригодится.

[Kufi 127]

Недавно тоже все дубли убирал а инфа думая многим пригодится.

 

У меня из-за этих дублей Гугл позиции опустил ниже городской канализации))

[YourBro 64]

Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей?

[Kufi 127]

Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей?

 

Скажу в цифрах -

 

до 10-15 уник

после 60-70, вчера было 76!

[YourBro 64]

Пропорция не может не радовать. Спасибо

[Воланд 5003]

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

[Kufi 127]

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

 

Спасибо! Я с июля наблюдал, сейчас решил поделиться результатами! 

 

В одном из топиков про дубли мне сказали, что я не прав и роботс у меня кривой! За что хотели получить 1000 рублей, чтобы дубли убрать! Я сказал им, что обращусь, если у меня ничего не выйдет! =)

[Kufi 127]

т.е. вы прописали 301 редирект для дублей?

В таком случае смысл закрывать их в robots?

 

Да, выходит так!

 

А их в роботсе никто и не закрывал! Роботс полностью открытый

[Slavik 72]

да, невнимательно посмотрел, спасибо за тему

[salex 65]

 

 

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

Согласен. Вот если бы по IPB кто написал)

[GladWeb 1425]

Disallow: /wp-feed

 

 

Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ?

[Kufi 127]

Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ?

 

Да, скорее ошибочка вышла! В топике поправил, ну собственно не суть! Она как-то не играет роли...Хотя из-за нее может быть и очень медленно уходит feed из индекса! Спасибо!

[Воланд 5003]

Коллеги, если у кого то будут похожие наблюдения по другим движкам, просьба почтить в этот топик. Только пожалуйста, пишите именно собственные, а не перепосты с сайта Алаича и тд

[YahooЕЮ 315]

Да действительно полезно и интересно.

Для ДЛЕ поделитесь как найти и убрать дубли, желательно на пальцах показать, ну или хоть ссылочку на мануал.

Спасибо.

[LyalinDV 13]

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

[Kufi 127]

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

[fans 42]

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду?

[Kufi 127]

Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду?

 

Прошу прощения, попутал малость!

 

Индекс Google - статус индексирования

[serjin 1023]

На прошлой недели только прикрыли дубли на одном из магазинов ,результат гугл подьем по позициям был топ 20 уже в 10 влез по запросу. Неоднократно замечено закритие дублей плодотворно влияет на сайт в целом , + оптимизация текстов ефект отличный! (если остальное сделано дизайн......)

[vvvlad777 73]

А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. 

Что все равно делать  добавил новый параметр под названием replytocom ?

[Kufi 127]

А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. 

Что все равно делать  добавил новый параметр под названием replytocom ?

 

Да, все равно нужно добавить этот параметр и указать, что да, изменяет и оставить на усмотрение робота! Потом увидите, там же, напротив добавленного параметра сколько он отслеживает дублей

[vvvlad777 73]

Большое ВАМ человеческое СПАСИБО !!!  

[Kufi 127]

Большое ВАМ человеческое СПАСИБО !!!  

 

На здоровье! Рад быть полезен обществу 

[Ekliptik 118]

ребятки удаление дубликатов страниц это одно из важных факторов в оптимизации вопрос как проверить на эти самые дубли и как их найти ?