Как я расстался с дублями страниц

[secher90 42]

Всем привет! Есть интернет-магазин по продаже дверей. В категориях сайта присутствуют одни и те же товарные позиции. Например: пункты меню - "Двери для квартиры" и "двери для дачи" имеют одинаковые товары, т.к. некоторые модели подходят для установки как в частный, так и в квартирный дом. Каким образом избавиться от таких дублей, чтобы не прописывать вручную урлы в робот.тхт.

Подойдёт ли решение автора для моей проблемы?
Спасибо.

[Dr_Tapac 5]

 

 

Коллеги, есть сервис оптимизации сайтов, добавляете проект и получаете технический аудит со всеми дублями страниц, тайтлов.

 

Да вроде как даже и на pr-cy, на котором мы сейчас общаемся, есть неплохой анализатор =)

[Вова Супер_сео 0]

Отлично. Попробую у себя на сайте так-же сделать.

Спасибо.

[Aart 8]

Здравствуйте, нужна помощь 
У моего сайт было много дублей attachment_id и в Яндексе и в Гугле, я все открыть для поисковых роботов, и при этом настроить редиректы. Я это сделал примерно месяц назад, с тех пор с Гугла пропали почти все дубли, но в Яндексе нет изменений почти. Везде пишут, что код в Роботсе для Яндекса и Гугла работает практически одинаково, так ли это? Или мне прописать в Роботсе отдельный код для Яндекса и там все закрыть в отличии от Гугла?
Или мне нужно просто еще ждать?

[phoenix 5]

Aart,

а вы проверьте в яндекс вебмастере, закрыто или нет в роботсе

[Aart 8]

Aart,

а вы проверьте в яндекс вебмастере, закрыто или нет в роботсе

 

Вы не правильно поняли, или я вас ) 

В Роботсе все открыто, я знаю, я делал все так как написано в начале этой темы

Но Яндекс на это за месяц не отреагировал 

Я вот и думаю, может для него прописать персональный код и все закрыть как это делается стандартно?

[Aart 8]

У меня был плагин с редиректом и открытый Роботс - с Гугла дубли пропадали, с Яндекса нет 
Отключил плагин, прописал редиректы сам - с Гугла начали дубли рости, а с Яндекса пропадать 
Почему так происходит?

[David00 0]

Всем доброго времени суток!
Мой сайт mitsu-motors.ru.
Сайт работает с 27 ноября 2015 года. То есть, ему больше месяца.

Когда проверяю, сколько страниц и индексе, смотрю по этой ссылке: https://www.google.com.ua/search?q=...AUIBigA&dpr=1#q=site:mitsu-motors.ru&start=90

Не могу разобраться, что делать. У меня показывает, что все страницы находятся в дополнительном индексе Гугла. Если страницы в этом индексе, значит они не показываются в результатах поиска. Правильно ведь?
Но! Люди приходят на некоторые страницы из поиска.

Ничего не понимаю, как так бывает. Пожалуйста, подскажите, в чем проблема и как от нее избавиться.
Ссылка на Роботс: mitsu-motors.ru/robots.txt

Может в нем проблема?

[Aart 8]

Всем доброго времени суток!

Мой сайт mitsu-motors.ru.

Сайт работает с 27 ноября 2015 года. То есть, ему больше месяца.

 

Когда проверяю, сколько страниц и индексе, смотрю по этой ссылке: https://www.google.com.ua/search?q=...AUIBigA&dpr=1#q=site:mitsu-motors.ru&start=90

 

Не могу разобраться, что делать. У меня показывает, что все страницы находятся в дополнительном индексе Гугла. Если страницы в этом индексе, значит они не показываются в результатах поиска. Правильно ведь?

Но! Люди приходят на некоторые страницы из поиска.

 

Ничего не понимаю, как так бывает. Пожалуйста, подскажите, в чем проблема и как от нее избавиться.

Ссылка на Роботс: mitsu-motors.ru/robots.txt

 

Может в нем проблема?

 

А с чего вы взяли, что у вас все страницы в дополнительном индексе? Я смотрю, что у вас 5-10 процентов страниц сайта в нем всего лишь

[David00 0]

А с чего вы взяли, что у вас все страницы в дополнительном индексе? Я смотрю, что у вас 5-10 процентов страниц сайта в нем всего лишь

Так я хочу, чтобы все 100% страниц были в индексе. Сайт пока молодой, так Гугл не успевает индексировать все страницы, а каждый день у меня добавляется несколько новых. Он добавляет и в дополнительный индекс, а раз в 7 - 10 дней закидывает новые страницы в основной. Вот и получается, что у меня постоянно несколько процентов страниц висят в соплях))

[David00 0]

Сейчас сделал на своем сайте mitsu-motors.ru так, как в стартовом топике указано. Изменения сделал всего неделю назад, а количество дублей выросло. Теперь в основном индексе 76% страниц, а было 95%. В Яндексе все отлично работает. На днях был апдейт, так дубли сразу повылетали. Что подскажете, подождать пару месяцев и потом посмотреть?

[Aart 8]

Сейчас сделал на своем сайте mitsu-motors.ru так, как в стартовом топике указано. Изменения сделал всего неделю назад, а количество дублей выросло. Теперь в основном индексе 76% страниц, а было 95%. В Яндексе все отлично работает. На днях был апдейт, так дубли сразу повылетали. Что подскажете, подождать пару месяцев и потом посмотреть?

 

У меня тоже проблема с дублями, и инструкции с этой темы сделал, но страницы отдельные с картинками все равно остались

[bandesign 1]

У меня такая проблемма:

При написания CMS сайта, мы не учли момент возникновения дублей страниц с одинаковым наполнением.
Вот конкретный пример:

Яндекс в поиске выдаёт эту страницу http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2
Гугл вот эту http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 То есть идентичны они...

Всего их несколько: 
http://www.bandesign.ru/portfolio.php?s=2#work=210&s=2 (java окно) 
http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 
http://www.bandesign.ru/portfolio.php?s=2&ss=2&work=210 
http://www.bandesign.ru/portfolio.php?work=210&s=2 
http://www.bandesign.ru/portfolio.php?s=2&work=210

Это всё одна и та же работа в портфолио, но вызывается из разных мест, с чуть видоизмененным урлом.

 

В целом схема такая:
-------------------- Все работы раздела / Итоговая страница
---------------------- /
Портфолио / Раздел
---------------------- \
-------------------- Работы конкретного подраздела / Итоговая страница

 

То есть итоговая страница может вызываться из 2х разных мест, но уже с построением другого урла. Так как навигация на страницах разная, в зависимости из какого раздела она запущена. Итого имеем под 200 таких дублей, это скорее всего отрицательно влияет на выдачу.

 

Так же у нас ещё сделано что из перечислинных работ в портфолио, если нажать на картинку работы, то открывается java окно, которое подставляет свой урл.

Как пример http://www.bandesign.ru/portfolio.php?s=0 можете посмотреть тут.

А если нажимать на текст под картинкой, то открывается полноценное окно с этой работой.

По поводу ссылки на открытое java окно я не уверен, может оно и не видно для поисковиков как дубль, тут хотел об этом спросить у вас.

 

Подскажите как лучше решить проблему таких дублей? Учитывая, что они будут появляться при выставлении новой работы в раздел портфолио.

[pawklo 0]

а в google вебмастере нужно добавить только "replytocom" или еще tag, page, и другие?

[Mitriy-Bug 24]

У меня такая проблемма:

При написания CMS сайта, мы не учли момент возникновения дублей страниц с одинаковым наполнением.

Вот конкретный пример:

Яндекс в поиске выдаёт эту страницу http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2
Гугл вот эту http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 То есть идентичны они...

Всего их несколько: 
http://www.bandesign.ru/portfolio.php?s=2#work=210&s=2 (java окно) 
http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2'>http://www.bandesign.ru/portfolio.php?work=210&s=2&ss=2 
http://www.bandesign.ru/portfolio.php?s=2&ss=2&work=210 
http://www.bandesign.ru/portfolio.php?work=210&s=2 
http://www.bandesign.ru/portfolio.php?s=2&work=210

Это всё одна и та же работа в портфолио, но вызывается из разных мест, с чуть видоизмененным урлом.

 

В целом схема такая:

-------------------- Все работы раздела / Итоговая страница

---------------------- /

Портфолио / Раздел

---------------------- \

-------------------- Работы конкретного подраздела / Итоговая страница

 

То есть итоговая страница может вызываться из 2х разных мест, но уже с построением другого урла. Так как навигация на страницах разная, в зависимости из какого раздела она запущена. Итого имеем под 200 таких дублей, это скорее всего отрицательно влияет на выдачу.

 

Так же у нас ещё сделано что из перечислинных работ в портфолио, если нажать на картинку работы, то открывается java окно, которое подставляет свой урл.

Как пример http://www.bandesign.ru/portfolio.php?s=0 можете посмотреть тут.

А если нажимать на текст под картинкой, то открывается полноценное окно с этой работой.

По поводу ссылки на открытое java окно я не уверен, может оно и не видно для поисковиков как дубль, тут хотел об этом спросить у вас.

 

Подскажите как лучше решить проблему таких дублей? Учитывая, что они будут появляться при выставлении новой работы в раздел портфолио.

Атрибут rel="canonical" тега <link>

Если на сайте присутствуют группы схожих по контенту страниц, вебмастер может указать для каждой страницы группы предпочитаемый (канонический) адрес, который будет участвовать в поиске. Например, страница доступна по двум адресам:

www.examplesite.ru/pages?id=2www.examplesite.ru/blog

Если предпочитаемый адрес — /blog, это нужно отразить в коде страницы /pages?id=2:

<link rel="canonical" href="http://www.examplesite.ru/blog"/>

[rustamcom 8]

Добрый день! Столкнулся с одной проблемой при оптимизации Dle нужно сделать правильный редирект категории без слеша на слеш Так же не заню как сделать редирект mysite/id-BOLSHIIBUKVI.HTML на mysite/id-bolshiibukvi.HTML 
Щас в файле .htaccess стоит такое код 

RewriteBase /
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_URI} ^(.*)\.html(.+) [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.htm$ [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.ht$ [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.h$ [OR]
RewriteCond %{REQUEST_URI} ^(.*)\.$
RewriteRule ^(.*)\.(.*) $1.html [R=301,L]

[v-torria 2]

Дубли надо не в роботсе закрывать, а метатегами на самих страницах.)

[serjin 1047]

Дубли надо не в роботсе закрывать, а метатегами на самих страницах.)

А как крыть дубли страницы которых генерятся  на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000 каждому тег писать?

Все сложнее на практике, если в вашем случае получилось  далеко не факт что это хороший вариант, и уж точно не настолько чтоб им заменить роботс.  

[v-torria 2]

А как крыть дубли страницы которых генерятся  на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000 каждому тег писать?

Все сложнее на практике, если в вашем случае получилось  далеко не факт что это хороший вариант, и уж точно не настолько чтоб им заменить роботс.  

 

))) А как вы их закрываете в роботс, если "А как крыть дубли страницы которых генерятся  на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000".

Также и метатегами.)))

[serjin 1047]

))) А как вы их закрываете в роботс, если "А как крыть дубли страницы которых генерятся  на лету?

Как им прописать тег если их нигде нет и где появятся неизвестно? если их не 20,а 20 000".

Также и метатегами.)))

Ну что тут скажеш... С виду ответ логичный и остроумный, пробуйте на практике)

[serjin 1047]

Не возможно сказать точно,вы уверены что это дубли?

Нужно смотреть конкретно вашу проблему , возможно пол года назад вы не знали о существовании дублей или ставили плагин в общем что-то что в итоге спровоцировало их появление и как итог теперь они есть.

Также возможен взлом и внедрение ген-дорвея что произвело к появлению новых страниц .

[GulyaiVasko77 0]

Спасибо, очень полезный пост. 

[Aart 8]

А темы точно в Роботсе нужны закрывать? 
У меня через несколько месяцев они повылазили в индекс 

Disallow: /wp-content/themes

[gena26061974 0]

Здравствуйте!

Подскажите советом. В Гугл вебмастере своего сайта в разделе "Параметры URL" обнаружил следующее:


Количество отслеживаемых URL:

page_id - 90 
srp 92 
srk 92
sra 92 
filter_by 
pg 4 
ver 2 
replytocom- 0 
feed - 0
Вопрос: Это дубли страниц? И если да то как их удалить? Можно ли изменить параметры наблюдения в консоле и т.п.
Чуть ранее проверял на индексирование сайта: Яндекс-100 страниц, а в ГУГЛ - 260 страниц. Указанные параметры замечены были при проверке site: адрес сайта в поисковике ГУГЛ.
Мой сайт: razvitie-baby.ru
Буду рад практичному совету

[shopeq 141]

Это не дубли, скорее для Вас информация 

узнайте - 90

ПСП 92

СРК 92

сра 92

filter_by

стр. 4

вер 2

replytocom - 0

корма - 0

 

А дубли смотрите там же в поиске в скрытых результатах, раскройте их и увидите страницы типа: 

развитие--baby.ru/page/2/

развитие-baby.ru/page/10/

или смотрим здесь