Kufi 127 Report post Posted October 7, 2014 Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так: User-agent: *Disallow: /wp-includesDisallow: /feedDisallow: /wp-content/pluginsDisallow: /wp-content/cacheDisallow: /wp-content/themesHost: сайт.comSitemap: http ://сайт/sitemap.xmlUser-agent: Googlebot-ImageAllow: /wp-content/uploads/User-agent: YandexImagesAllow: /wp-content/uploads/ После чего открыл файл .htaccess и добавил в него следующее : # BEGIN WordPress <IfModule mod_rewrite.c> RewriteEngine On RewriteBase / RewriteCond %{QUERY_STRING} ^replytocom= [NC] RewriteRule (.*) $1? [R=301,L] RewriteRule (.+)/feed /$1 [R=301,L] RewriteRule (.+)/comment-page /$1 [R=301,L] RewriteRule (.+)/trackback /$1 [R=301,L] RewriteRule (.+)/comments /$1 [R=301,L] RewriteRule (.+)/attachment /$1 [R=301,L] RewriteCond %{QUERY_STRING} ^attachment_id= [NC] RewriteRule (.*) $1? [R=301,L] RewriteRule ^index\.php$ - [L] RewriteCond %{REQUEST_FILENAME} !-f RewriteCond %{REQUEST_FILENAME} !-d RewriteRule . /index.php [L] </IfModule> # END WordPress После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами: Все! Итого: Дубли в Яндексе, он их выплюнул практически сразу: Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса: P.S. Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс! Трафик из обоих ПС начал значительно подниматься! UPDATE Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин: UPDATE 15.09.2015 Прошел почти год после работы с дублями и хотел добавить рост трафика за это время. Первый скрин за октябрь 2014, собственно, сразу посе того, как убрал дубли И спустя почти год. Пояснение: на сайт добавлялись только статьи, ничего не закупалось, нигде не прогонялось. Чисто внутренней оптимизацией. 25 Aart, rasta25, MARLOV and 22 others reacted to this Quote Share this post Link to post Share on other sites
rasta25 28 Report post Posted October 7, 2014 Недавно тоже все дубли убирал а инфа думая многим пригодится. Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 Недавно тоже все дубли убирал а инфа думая многим пригодится. У меня из-за этих дублей Гугл позиции опустил ниже городской канализации)) 1 Folder reacted to this Quote Share this post Link to post Share on other sites
YourBro 64 Report post Posted October 7, 2014 Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей? Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 Информативно. Насколько вырос трафик сейчас, по сравнению с периодом дублей? Скажу в цифрах - до 10-15 уник после 60-70, вчера было 76! Quote Share this post Link to post Share on other sites
YourBro 64 Report post Posted October 7, 2014 Пропорция не может не радовать. Спасибо Quote Share this post Link to post Share on other sites
Воланд 5016 Report post Posted October 7, 2014 Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная 1 lider1991 reacted to this Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная Спасибо! Я с июля наблюдал, сейчас решил поделиться результатами! В одном из топиков про дубли мне сказали, что я не прав и роботс у меня кривой! За что хотели получить 1000 рублей, чтобы дубли убрать! Я сказал им, что обращусь, если у меня ничего не выйдет! =) Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 т.е. вы прописали 301 редирект для дублей? В таком случае смысл закрывать их в robots? Да, выходит так! А их в роботсе никто и не закрывал! Роботс полностью открытый Quote Share this post Link to post Share on other sites
Slavik 72 Report post Posted October 7, 2014 да, невнимательно посмотрел, спасибо за тему Quote Share this post Link to post Share on other sites
salex 65 Report post Posted October 7, 2014 Жаль, что только для ВП пример. В любом случае топик закреплен, так как инфа очень полезная Согласен. Вот если бы по IPB кто написал) 1 seoinfodom reacted to this Quote Share this post Link to post Share on other sites
GladWeb 1433 Report post Posted October 7, 2014 Disallow: /wp-feed Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ? Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 Это не ошибка? Ведь у Wordpress нету такой страницы и папки? Может имелось ввиду просто /feed ? Да, скорее ошибочка вышла! В топике поправил, ну собственно не суть! Она как-то не играет роли...Хотя из-за нее может быть и очень медленно уходит feed из индекса! Спасибо! Quote Share this post Link to post Share on other sites
Воланд 5016 Report post Posted October 7, 2014 Коллеги, если у кого то будут похожие наблюдения по другим движкам, просьба почтить в этот топик. Только пожалуйста, пишите именно собственные, а не перепосты с сайта Алаича и тд 1 seoinfodom reacted to this Quote Share this post Link to post Share on other sites
YahooЕЮ 322 Report post Posted October 7, 2014 Да действительно полезно и интересно. Для ДЛЕ поделитесь как найти и убрать дубли, желательно на пальцах показать, ну или хоть ссылочку на мануал. Спасибо. 1 sergej2638 reacted to this Quote Share this post Link to post Share on other sites
LyalinDV 13 Report post Posted October 7, 2014 Подскажите пожалуйста, как определить дубли на сайте? есть точная методика? Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 Подскажите пожалуйста, как определить дубли на сайте? есть точная методика? 1. Идете в гугл поиск 2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее) 3. Затем нажимаете на ссылку Показать скрытые результаты 4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек) Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли! Quote Share this post Link to post Share on other sites
fans 47 Report post Posted October 7, 2014 1. Идете в гугл поиск 2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее) 3. Затем нажимаете на ссылку Показать скрытые результаты 4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек) Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли! Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду? Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 7, 2014 Чето нифига не нашел "Индекс сканирования" в гугле. Может вы что другое имели ввиду? Прошу прощения, попутал малость! Индекс Google - статус индексирования Quote Share this post Link to post Share on other sites
serjin 1047 Report post Posted October 7, 2014 На прошлой недели только прикрыли дубли на одном из магазинов ,результат гугл подьем по позициям был топ 20 уже в 10 влез по запросу. Неоднократно замечено закритие дублей плодотворно влияет на сайт в целом , + оптимизация текстов ефект отличный! (если остальное сделано дизайн......) Quote Share this post Link to post Share on other sites
vvvlad777 85 Report post Posted October 8, 2014 А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. Что все равно делать добавил новый параметр под названием replytocom ? Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 8, 2014 А если открываешь раздел Сканирование - Параметры URL а там написано вот это : В настоящее время у робота Googlebot не возникает проблем при сканировании вашего сайта, поэтому настраивать параметры URL не требуется. Обратите внимание: поскольку неверная настройка параметров может привести к удалению страниц сайта из индекса Google, не рекомендуется использовать этот инструмент без необходимости. Что все равно делать добавил новый параметр под названием replytocom ? Да, все равно нужно добавить этот параметр и указать, что да, изменяет и оставить на усмотрение робота! Потом увидите, там же, напротив добавленного параметра сколько он отслеживает дублей 1 vvvlad777 reacted to this Quote Share this post Link to post Share on other sites
vvvlad777 85 Report post Posted October 8, 2014 Большое ВАМ человеческое СПАСИБО !!! Quote Share this post Link to post Share on other sites
Kufi 127 Report post Posted October 8, 2014 Большое ВАМ человеческое СПАСИБО !!! На здоровье! Рад быть полезен обществу 1 nikolka1993 reacted to this Quote Share this post Link to post Share on other sites
Ekliptik 118 Report post Posted October 8, 2014 ребятки удаление дубликатов страниц это одно из важных факторов в оптимизации вопрос как проверить на эти самые дубли и как их найти ? Quote Share this post Link to post Share on other sites
