Kufi

Как я расстался с дублями страниц

122 сообщения в этой теме

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *
Disallow: /wp-includes
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: сайт.com
Sitemap: http ://сайт/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:
 
0_1199a1_d641c269_orig.jpg
 
Все! Итого:
 
Дубли в Яндексе, он их выплюнул практически сразу:
 
0_1199a0_a383660b_orig.jpg
Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:
 
0_119286_8087702_orig.jpg
 
P.S.
 
Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!
 
Трафик из обоих ПС начал значительно подниматься!
 
UPDATE
 
Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:
 
0_1199b3_d6fbd185_orig.jpg
 
 
UPDATE 15.09.2015
 
Прошел почти год после работы с дублями и хотел добавить рост трафика за это время.
 
Первый скрин за октябрь 2014, собственно, сразу посе того, как убрал дубли
 
0_147578_c03e369b_orig.jpg
 
И спустя почти год. Пояснение: на сайт добавлялись только статьи, ничего не закупалось, нигде не прогонялось. Чисто внутренней оптимизацией.
 
0_14757a_22e939ab_orig.jpg
YourBro, campusboy, AlexBrush и 22 другим понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Недавно тоже все дубли убирал а инфа думая многим пригодится.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Недавно тоже все дубли убирал а инфа думая многим пригодится.

 

У меня из-за этих дублей Гугл позиции опустил ниже городской канализации))

Folder понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей?

 

Скажу в цифрах -

 

до 10-15 уник

после 60-70, вчера было 76!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

lider1991 понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

 

Спасибо! Я с июля наблюдал, сейчас решил поделиться результатами! 

 

В одном из топиков про дубли мне сказали, что я не прав и роботс у меня кривой! За что хотели получить 1000 рублей, чтобы дубли убрать! Я сказал им, что обращусь, если у меня ничего не выйдет! =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

т.е. вы прописали 301 редирект для дублей?

В таком случае смысл закрывать их в robots?

 

Да, выходит так!

 

А их в роботсе никто и не закрывал! Роботс полностью открытый

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

 


Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная

Согласен. Вот если бы по IPB кто написал)

seoinfodom понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Disallow: /wp-feed

 

 

Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ?

 

Да, скорее ошибочка вышла! В топике поправил, ну собственно не суть! Она как-то не играет роли...Хотя из-за нее может быть и очень медленно уходит feed из индекса! Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Коллеги, если у кого то будут похожие наблюдения по другим движкам, просьба почтить в этот топик. Только пожалуйста, пишите именно собственные, а не перепосты с сайта Алаича и тд

seoinfodom понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Да действительно полезно и интересно.

Для ДЛЕ поделитесь как найти и убрать дубли, желательно на пальцах показать, ну или хоть ссылочку на мануал.

Спасибо.

sergej2638 понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду?

 

Прошу прощения, попутал малость!

 

Индекс Google - статус индексирования

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

На прошлой недели только прикрыли дубли на одном из магазинов ,результат гугл подьем по позициям был топ 20 уже в 10 влез по запросу. Неоднократно замечено закритие дублей плодотворно влияет на сайт в целом , + оптимизация текстов ефект отличный! (если остальное сделано дизайн......)

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. 

Что все равно делать  добавил новый параметр под названием replytocom ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. 

Что все равно делать  добавил новый параметр под названием replytocom ?

 

Да, все равно нужно добавить этот параметр и указать, что да, изменяет и оставить на усмотрение робота! Потом увидите, там же, напротив добавленного параметра сколько он отслеживает дублей

vvvlad777 понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Большое ВАМ человеческое СПАСИБО !!! ;) 

 

На здоровье! Рад быть полезен обществу  :)

nikolka1993 понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

ребятки удаление дубликатов страниц это одно из важных факторов в оптимизации вопрос как проверить на эти самые дубли и как их найти ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу