Kufi

Как я расстался с дублями страниц

126 posts in this topic

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *
Disallow: /wp-includes
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: сайт.com
Sitemap: http ://сайт/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:
 
0_1199a1_d641c269_orig.jpg
 
Все! Итого:
 
Дубли в Яндексе, он их выплюнул практически сразу:
 
0_1199a0_a383660b_orig.jpg
Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:
 
0_119286_8087702_orig.jpg
 
P.S.
 
Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!
 
Трафик из обоих ПС начал значительно подниматься!
 
UPDATE
 
Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:
 
0_1199b3_d6fbd185_orig.jpg
 
 
UPDATE 15.09.2015
 
Прошел почти год после работы с дублями и хотел добавить рост трафика за это время.
 
Первый скрин за октябрь 2014, собственно, сразу посе того, как убрал дубли
 
0_147578_c03e369b_orig.jpg
 
И спустя почти год. Пояснение: на сайт добавлялись только статьи, ничего не закупалось, нигде не прогонялось. Чисто внутренней оптимизацией.
 
0_14757a_22e939ab_orig.jpg
sofcase, rasta25, saskozp and 22 others like this

Share this post


Link to post
Share on other sites

Недавно тоже все дубли убирал а инфа думая многим пригодится.

Share this post


Link to post
Share on other sites

Недавно тоже все дубли убирал а инфа думая многим пригодится.

 

У меня из-за этих дублей Гугл позиции опустил ниже городской канализации))

Folder likes this

Share this post


Link to post
Share on other sites

Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей?

Share this post


Link to post
Share on other sites

Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей?

 

Скажу в цифрах -

 

до 10-15 уник

после 60-70, вчера было 76!

Share this post


Link to post
Share on other sites

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

lider1991 likes this

Share this post


Link to post
Share on other sites

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

 

Спасибо! Я с июля наблюдал, сейчас решил поделиться результатами! 

 

В одном из топиков про дубли мне сказали, что я не прав и роботс у меня кривой! За что хотели получить 1000 рублей, чтобы дубли убрать! Я сказал им, что обращусь, если у меня ничего не выйдет! =)

Share this post


Link to post
Share on other sites

т.е. вы прописали 301 редирект для дублей?

В таком случае смысл закрывать их в robots?

 

Да, выходит так!

 

А их в роботсе никто и не закрывал! Роботс полностью открытый

Share this post


Link to post
Share on other sites

 

 


Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

Согласен. Вот если бы по IPB кто написал)

seoinfodom likes this

Share this post


Link to post
Share on other sites
Disallow: /wp-feed

 

 

Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ?

Share this post


Link to post
Share on other sites

Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ?

 

Да, скорее ошибочка вышла! В топике поправил, ну собственно не суть! Она как-то не играет роли...Хотя из-за нее может быть и очень медленно уходит feed из индекса! Спасибо!

Share this post


Link to post
Share on other sites

Коллеги, если у кого то будут похожие наблюдения по другим движкам, просьба почтить в этот топик. Только пожалуйста, пишите именно собственные, а не перепосты с сайта Алаича и тд

seoinfodom likes this

Share this post


Link to post
Share on other sites

Да действительно полезно и интересно.

Для ДЛЕ поделитесь как найти и убрать дубли, желательно на пальцах показать, ну или хоть ссылочку на мануал.

Спасибо.

sergej2638 likes this

Share this post


Link to post
Share on other sites

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

Share this post


Link to post
Share on other sites

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

Share this post


Link to post
Share on other sites

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду?

Share this post


Link to post
Share on other sites

Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду?

 

Прошу прощения, попутал малость!

 

Индекс Google - статус индексирования

Share this post


Link to post
Share on other sites

На прошлой недели только прикрыли дубли на одном из магазинов ,результат гугл подьем по позициям был топ 20 уже в 10 влез по запросу. Неоднократно замечено закритие дублей плодотворно влияет на сайт в целом , + оптимизация текстов ефект отличный! (если остальное сделано дизайн......)

Share this post


Link to post
Share on other sites

А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. 

Что все равно делать  добавил новый параметр под названием replytocom ?

Share this post


Link to post
Share on other sites

А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. 

Что все равно делать  добавил новый параметр под названием replytocom ?

 

Да, все равно нужно добавить этот параметр и указать, что да, изменяет и оставить на усмотрение робота! Потом увидите, там же, напротив добавленного параметра сколько он отслеживает дублей

vvvlad777 likes this

Share this post


Link to post
Share on other sites

Большое ВАМ человеческое СПАСИБО !!! ;) 

 

На здоровье! Рад быть полезен обществу  :)

nikolka1993 likes this

Share this post


Link to post
Share on other sites

ребятки удаление дубликатов страниц это одно из важных факторов в оптимизации вопрос как проверить на эти самые дубли и как их найти ?

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.