Как я расстался с дублями страниц

secher90 · October 26, 2015

Всем привет! Есть интернет-магазин по продаже дверей. В категориях сайта присутствуют одни и те же товарные позиции. Например: пункты меню - "Двери для квартиры" и "двери для дачи" имеют одинаковые товары, т.к. некоторые модели подходят для установки как в частный, так и в квартирный дом. Каким образом избавиться от таких дублей, чтобы не прописывать вручную урлы в робот.тхт.

Подойдёт ли решение автора для моей проблемы?
Спасибо.

Dr_Tapac · October 27, 2015

Коллеги, есть сервис оптимизации сайтов, добавляете проект и получаете технический аудит со всеми дублями страниц, тайтлов.

Да вроде как даже и на pr-cy, на котором мы сейчас общаемся, есть неплохой анализатор =)

Вова Супер_сео · December 3, 2015

Отлично. Попробую у себя на сайте так-же сделать.

Спасибо.

Aart · December 4, 2015

Здравствуйте, нужна помощь
У моего сайт было много дублей attachment_id и в Яндексе и в Гугле, я все открыть для поисковых роботов, и при этом настроить редиректы. Я это сделал примерно месяц назад, с тех пор с Гугла пропали почти все дубли, но в Яндексе нет изменений почти. Везде пишут, что код в Роботсе для Яндекса и Гугла работает практически одинаково, так ли это? Или мне прописать в Роботсе отдельный код для Яндекса и там все закрыть в отличии от Гугла?
Или мне нужно просто еще ждать?

phoenix · December 4, 2015

Aart,

а вы проверьте в яндекс вебмастере, закрыто или нет в роботсе

Aart · December 4, 2015

Aart,

а вы проверьте в яндекс вебмастере, закрыто или нет в роботсе

Вы не правильно поняли, или я вас )

В Роботсе все открыто, я знаю, я делал все так как написано в начале этой темы

Но Яндекс на это за месяц не отреагировал

Я вот и думаю, может для него прописать персональный код и все закрыть как это делается стандартно?

Aart · January 4, 2016

У меня был плагин с редиректом и открытый Роботс - с Гугла дубли пропадали, с Яндекса нет
Отключил плагин, прописал редиректы сам - с Гугла начали дубли рости, а с Яндекса пропадать
Почему так происходит?

David00 · January 7, 2016

Всем доброго времени суток!
Мой сайт mitsu-motors.ru.
Сайт работает с 27 ноября 2015 года. То есть, ему больше месяца.

Когда проверяю, сколько страниц и индексе, смотрю по этой ссылке: https://www.google.com.ua/search?q=...AUIBigA&dpr=1#q=site:mitsu-motors.ru&start=90

Не могу разобраться, что делать. У меня показывает, что все страницы находятся в дополнительном индексе Гугла. Если страницы в этом индексе, значит они не показываются в результатах поиска. Правильно ведь?
Но! Люди приходят на некоторые страницы из поиска.

Ничего не понимаю, как так бывает. Пожалуйста, подскажите, в чем проблема и как от нее избавиться.
Ссылка на Роботс: mitsu-motors.ru/robots.txt

Может в нем проблема?

Aart · January 11, 2016

Всем доброго времени суток!

Мой сайт mitsu-motors.ru.

Сайт работает с 27 ноября 2015 года. То есть, ему больше месяца.

Когда проверяю, сколько страниц и индексе, смотрю по этой ссылке: https://www.google.com.ua/search?q=...AUIBigA&dpr=1#q=site:mitsu-motors.ru&start=90

Не могу разобраться, что делать. У меня показывает, что все страницы находятся в дополнительном индексе Гугла. Если страницы в этом индексе, значит они не показываются в результатах поиска. Правильно ведь?

Но! Люди приходят на некоторые страницы из поиска.

Ничего не понимаю, как так бывает. Пожалуйста, подскажите, в чем проблема и как от нее избавиться.

Ссылка на Роботс: mitsu-motors.ru/robots.txt

Может в нем проблема?

А с чего вы взяли, что у вас все страницы в дополнительном индексе? Я смотрю, что у вас 5-10 процентов страниц сайта в нем всего лишь

David00 · January 11, 2016

А с чего вы взяли, что у вас все страницы в дополнительном индексе? Я смотрю, что у вас 5-10 процентов страниц сайта в нем всего лишь

Так я хочу, чтобы все 100% страниц были в индексе. Сайт пока молодой, так Гугл не успевает индексировать все страницы, а каждый день у меня добавляется несколько новых. Он добавляет и в дополнительный индекс, а раз в 7 - 10 дней закидывает новые страницы в основной. Вот и получается, что у меня постоянно несколько процентов страниц висят в соплях))

David00 · January 14, 2016

Сейчас сделал на своем сайте mitsu-motors.ru так, как в стартовом топике указано. Изменения сделал всего неделю назад, а количество дублей выросло. Теперь в основном индексе 76% страниц, а было 95%. В Яндексе все отлично работает. На днях был апдейт, так дубли сразу повылетали. Что подскажете, подождать пару месяцев и потом посмотреть?

Aart · January 22, 2016

Сейчас сделал на своем сайте mitsu-motors.ru так, как в стартовом топике указано. Изменения сделал всего неделю назад, а количество дублей выросло. Теперь в основном индексе 76% страниц, а было 95%. В Яндексе все отлично работает. На днях был апдейт, так дубли сразу повылетали. Что подскажете, подождать пару месяцев и потом посмотреть?

У меня тоже проблема с дублями, и инструкции с этой темы сделал, но страницы отдельные с картинками все равно остались

bandesign · January 22, 2016

У меня такая проблемма:

При написания CMS сайта, мы не учли момент возникновения дублей страниц с одинаковым наполнением.
Вот конкретный пример:

Яндекс в поиске выдаёт эту страницу http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2
Гугл вот эту http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 То есть идентичны они...

Всего их несколько: 
http://www.bandesign.ru/portfolio.php?s=2#work=210&s=2 (java окно) 
http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 
http://www.bandesign.ru/portfolio.php?s=2&ss=2&work=210 
http://www.bandesign.ru/portfolio.php?work=210&s=2 
http://www.bandesign.ru/portfolio.php?s=2&work=210

Это всё одна и та же работа в портфолио, но вызывается из разных мест, с чуть видоизмененным урлом.

В целом схема такая:
-------------------- Все работы раздела / Итоговая страница
---------------------- /
Портфолио / Раздел
---------------------- \
-------------------- Работы конкретного подраздела / Итоговая страница

То есть итоговая страница может вызываться из 2х разных мест, но уже с построением другого урла. Так как навигация на страницах разная, в зависимости из какого раздела она запущена. Итого имеем под 200 таких дублей, это скорее всего отрицательно влияет на выдачу.

Так же у нас ещё сделано что из перечислинных работ в портфолио, если нажать на картинку работы, то открывается java окно, которое подставляет свой урл.

Как пример http://www.bandesign.ru/portfolio.php?s=0 можете посмотреть тут.

А если нажимать на текст под картинкой, то открывается полноценное окно с этой работой.

По поводу ссылки на открытое java окно я не уверен, может оно и не видно для поисковиков как дубль, тут хотел об этом спросить у вас.

Подскажите как лучше решить проблему таких дублей? Учитывая, что они будут появляться при выставлении новой работы в раздел портфолио.

pawklo · January 27, 2016

а в google вебмастере нужно добавить только "replytocom" или еще tag, page, и другие?

Mitriy-Bug · January 28, 2016

У меня такая проблемма:

При написания CMS сайта, мы не учли момент возникновения дублей страниц с одинаковым наполнением.

Вот конкретный пример:
Яндекс в поиске выдаёт эту страницу http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2
Гугл вот эту http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 То есть идентичны они...

Всего их несколько: 
http://www.bandesign.ru/portfolio.php?s=2#work=210&s=2 (java окно) 
http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 
http://www.bandesign.ru/portfolio.php?s=2&ss=2&work=210 
http://www.bandesign.ru/portfolio.php?work=210&s=2 
http://www.bandesign.ru/portfolio.php?s=2&work=210
Это всё одна и та же работа в портфолио, но вызывается из разных мест, с чуть видоизмененным урлом.

В целом схема такая:

-------------------- Все работы раздела / Итоговая страница

---------------------- /

Портфолио / Раздел

---------------------- \

-------------------- Работы конкретного подраздела / Итоговая страница

То есть итоговая страница может вызываться из 2х разных мест, но уже с построением другого урла. Так как навигация на страницах разная, в зависимости из какого раздела она запущена. Итого имеем под 200 таких дублей, это скорее всего отрицательно влияет на выдачу.

Так же у нас ещё сделано что из перечислинных работ в портфолио, если нажать на картинку работы, то открывается java окно, которое подставляет свой урл.
Как пример http://www.bandesign.ru/portfolio.php?s=0 можете посмотреть тут.
А если нажимать на текст под картинкой, то открывается полноценное окно с этой работой.

По поводу ссылки на открытое java окно я не уверен, может оно и не видно для поисковиков как дубль, тут хотел об этом спросить у вас.

Подскажите как лучше решить проблему таких дублей? Учитывая, что они будут появляться при выставлении новой работы в раздел портфолио.

Атрибут rel="canonical" тега <link>

Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:

www.examplesite.ru/pages?id=2www.examplesite.ru/blog

Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:

<link rel="canonical" href="http://www.examplesite.ru/blog"/>

rustamcom · January 28, 2016

Добрый день! Столкнулся с одной проблемой при оптимизации Dle нужно сделать правильный редирект категории без слеша на слеш Так же не заню как сделать редирект mysite/id-BOLSHIIBUKVI.HTML на mysite/id-bolshiibukvi.HTML
Щас в файле .htaccess стоит такое код

RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.*)\.html(.+) [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.htm$ [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.ht$ [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.h$ [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.$
RewriteRule ^(.*)\.(.*) $1.html [R=301,L]

v-torria · February 13, 2016

Дубли надо не в роботсе закрывать, а метатегами на самих страницах.)

serjin · February 13, 2016

Дубли надо не в роботсе закрывать, а метатегами на самих страницах.)

А как крыть дубли страницы которых генерятся на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000 каждому тег писать?

Все сложнее на практике, если в вашем случае получилось далеко не факт что это хороший вариант, и уж точно не настолько чтоб им заменить роботс.

v-torria · February 13, 2016

А как крыть дубли страницы которых генерятся на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000 каждому тег писать?

Все сложнее на практике, если в вашем случае получилось далеко не факт что это хороший вариант, и уж точно не настолько чтоб им заменить роботс.

))) А как вы их закрываете в роботс, если "А как крыть дубли страницы которых генерятся на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000".

Также и метатегами.)))

serjin · February 13, 2016

))) А как вы их закрываете в роботс, если "А как крыть дубли страницы которых генерятся на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000".

Также и метатегами.)))

Ну что тут скажеш... С виду ответ логичный и остроумный, пробуйте на практике)

serjin · February 14, 2016

Не возможно сказать точно,вы уверены что это дубли?

Нужно смотреть конкретно вашу проблему , возможно пол года назад вы не знали о существовании дублей или ставили плагин в общем что-то что в итоге спровоцировало их появление и как итог теперь они есть.

Также возможен взлом и внедрение ген-дорвея что произвело к появлению новых страниц .

GulyaiVasko77 · February 25, 2016

Спасибо, очень полезный пост.

Aart · May 16, 2016

А темы точно в Роботсе нужны закрывать?
У меня через несколько месяцев они повылазили в индекс

Disallow: /wp-content/themes

gena26061974 · June 6, 2016

Здравствуйте!

Подскажите советом. В Гугл вебмастере своего сайта в разделе "Параметры URL" обнаружил следующее:

Количество отслеживаемых URL:

page_id - 90
srp 92
srk 92
sra 92
filter_by
pg 4
ver 2
replytocom- 0
feed - 0
Вопрос: Это дубли страниц? И если да то как их удалить? Можно ли изменить параметры наблюдения в консоле и т.п.
Чуть ранее проверял на индексирование сайта: Яндекс-100 страниц, а в ГУГЛ - 260 страниц. Указанные параметры замечены были при проверке site: адрес сайта в поисковике ГУГЛ.
Мой сайт: razvitie-baby.ru
Буду рад практичному совету

shopeq · June 6, 2016

Это не дубли, скорее для Вас информация

узнайте - 90

ПСП 92

СРК 92

сра 92

filter_by

стр. 4

вер 2

replytocom - 0

корма - 0

А дубли смотрите там же в поиске в скрытых результатах, раскройте их и увидите страницы типа:

развитие--baby.ru/page/2/

развитие-baby.ru/page/10/

или смотрим здесь

Как я расстался с дублями страниц

Recommended Posts

Link to post

Share on other sites

Top Posters In This Topic

Popular Days

Top Posters In This Topic

Popular Days

Popular Posts

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Please sign in to comment

Recently Browsing 0 members