Kufi

Как я расстался с дублями страниц

126 posts in this topic

А как проверить наличие дублей в Яндексе?

В поиске Яндекс:

site:ваш_ресурс/&

Весь мусор и дубли выдаются на последних страницах!

Их-то и нужно исключать из поиска.

Share this post


Link to post
Share on other sites

если у меня на html и моя главная скопирована и находится на другом сайте (но не в качестве главной и с неё идёт ссылка на меня): могу ли я бороться с этим такими методами? или можно не трогать? всегда ваш.

Share this post


Link to post
Share on other sites
А случайно ни кто не знает как такое же проделать с Joomla 3Х? а именно интересует feed rss atom и особенно вот с этой гадостью:

 

/component/search/?Itemid=101&catid=20&id=18&format=opensearch ?

 

Такой код писать?:


# RewriteBase /

RewriteRule (.+)/feed /$1 [R=301,L]

RewriteRule (.+)/search /$1 [R=301,L]

RewriteRule (.+)/rss /$1 [R=301,L]

RewriteRule (.+)/atom /$1 [R=301,L]

Share this post


Link to post
Share on other sites

если у меня на html и моя главная скопирована и находится на другом сайте (но не в качестве главной и с неё идёт ссылка на меня): могу ли я бороться с этим такими методами? или можно не трогать? всегда ваш.

Предложенный метод позволяет устранить мусор на Вашем сайте.

А за Вашу схему дублирования контента и неестественный обмен ссылками можно поисковый фильтр схлопотать!

Share this post


Link to post
Share on other sites

Привет друзья !

Для IPB никто не нашёл как найти и убрать из индекса дубли ?

Share this post


Link to post
Share on other sites

ну а что, вполне полезно, спасибо за инфу по вп.

Share this post


Link to post
Share on other sites

Не знал что из веб мастера Гугла можно закрыть дубли. Спасибо за инфу. Что только неделал уже, чтобы на одном из сайтов генерируемые страницы, при подборе параметров из индекса выкинуть. Посмотрим как сработают эти настройки.

Share this post


Link to post
Share on other sites

у вас Дважды в документе htaccess в правилах повторяется одна строка - RewriteRule (.*) $1? [R=301,L] (одна лишней получается).

Share this post


Link to post
Share on other sites

 

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *

Disallow: /wp-includes

Disallow: /feed

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host: сайт.com

Sitemap: http ://сайт/sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: YandexImages

Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:
 
0_1199a1_d641c269_orig.jpg
 
Все! Итого:
 
Дубли в Яндексе, он их выплюнул практически сразу:
 
0_1199a0_a383660b_orig.jpg
Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:
 
0_119286_8087702_orig.jpg
 
P.S.
 
Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!
 
Трафик из обоих ПС начал значительно подниматься!
 
UPDATE
 
Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:
 
0_1199b3_d6fbd185_orig.jpg

 

Плагин есть классный-Fix Duplicates!Сам пользуюсь!

Share this post


Link to post
Share on other sites

Fix Duplicates выполняет немного другую функцию. Неполные дубли он не видит.

Share this post


Link to post
Share on other sites

Давненько научился правильно под себя роботс составлять и прочие мелочи, проблема дублей уже несколько лет не беспокоит ) Главное разок сесть и вникнуть во все. Раньше парило в гугле хлама много было. Сейчас с гуглом и яшей разброс всего максимум 15 страниц.

bozon likes this

Share this post


Link to post
Share on other sites

Поясните подробнее, вот эту формулировку. Для чего, что она дает и тд

После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование -Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:

 

Share this post


Link to post
Share on other sites

Поясните подробнее, вот эту формулировку. Для чего, что она дает и тд

 

Для отслеживания УРЛов replytocom

 

Дает она статистику по изменению количества дублирующих страниц и, соответственно, дает Гуглу понять, что этот параметр как-то изменяет содержимое. И если я правильно понял, то знает, что такой параметр является дублирующим содержимом. Как-то так...

 

Если кто знает точно, буду рад узнать тоже )

Share this post


Link to post
Share on other sites

т.е это лишь статистика, она никак (переменная эта) не влияет на удаление дубля.

Share this post


Link to post
Share on other sites

т.е это лишь статистика, она никак (переменная эта) не влияет на удаление дубля.

 

Да фиг его знает. При создании параметра указываешь, что типо этот параметр меняет содержимое. Хотя я не заморачивался, работает и пусть работает :)

Share this post


Link to post
Share on other sites

Спасибо дружище. Надо будет на своих WP сайтах попробовать.

 

Попробуй, у меня все получилось. И я добавил скрины в стартовый топик с трафиком

Share this post


Link to post
Share on other sites

После того как прочитал эту статью, решил "реанимировать" свой сайт на WP. Посмотрим что выйдет :)

Kufi likes this

Share this post


Link to post
Share on other sites

Борьбу" с дублями всегда вел через robots.txt

WP или Джумла! (или dle, или ipb). Есть список страниц, есть структура сайта (в Вебмастер). Сиди, кликай, разбирайся. Каждый конкретный сайт - "выдаст" свои дубли, помимо стандартных (и не только дублей, но и конкретного "хлама"). Шаблонных методов, имхо, нет.

 

Многое зависит от многого. Включили "Текстовая версия" в ipb - получите дубликат форума, включили "Печать" или "Версия .pdf (в любом cms) - ролучите еще две копии сайта... Не rss единым. И - /*index.php или /*? - генерят движки (нередко). Можно еще дубли .doc выложить... "до-кучи".

А уж сортировка... и не сосчитаешь. Есть VM магазин? - "просмотр товара" и пр. настройки карточки товара "нагенят" такого, что только успевать "закрывать".

 

Сколько сайтов, столько и версий "борьбы".

Понятно, что дубли - зло. Только вот рецептуры общей нет. Зато у всех - есть Яндекс.Вебмастер и Гугл.Вебмастер. Это - единственный рецепт "сокрытия" дублей хотя бы на 90%.

 

Впрочем... каждому своё. Наверное и метода в стартопе пригодится. Почему бы и не так... что-то "прикроет".

Процитирую только предостережение Гугл:

Используйте эту функцию, только если вам точно известно, как тот или иной параметр влияет на работу вашего сайта. Если вы по ошибке запретите Google сканировать URL с определенными параметрами, значительная часть страниц вашего сайта может пропасть из результатов поиска.

Стоит проявить известную осторожность при работе с инструментарием. Он - "острый".

Kufi and 695140 like this

Share this post


Link to post
Share on other sites

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

Коллеги, есть сервис оптимизации сайтов, добавляете проект и получаете технический аудит со всеми дублями страниц, тайтлов. 

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.