Jump to content
Kufi

Как я расстался с дублями страниц

Recommended Posts

А как проверить наличие дублей в Яндексе?

В поиске Яндекс:

site:ваш_ресурс/&

Весь мусор и дубли выдаются на последних страницах!

Их-то и нужно исключать из поиска.

Share this post


Link to post
Share on other sites

если у меня на html и моя главная скопирована и находится на другом сайте (но не в качестве главной и с неё идёт ссылка на меня): могу ли я бороться с этим такими методами? или можно не трогать? всегда ваш.

Share this post


Link to post
Share on other sites
А случайно ни кто не знает как такое же проделать с Joomla 3Х? а именно интересует feed rss atom и особенно вот с этой гадостью:

 

/component/search/?Itemid=101&catid=20&id=18&format=opensearch ?

 

Такой код писать?:


# RewriteBase /

RewriteRule (.+)/feed /$1 [R=301,L]

RewriteRule (.+)/search /$1 [R=301,L]

RewriteRule (.+)/rss /$1 [R=301,L]

RewriteRule (.+)/atom /$1 [R=301,L]

Share this post


Link to post
Share on other sites

если у меня на html и моя главная скопирована и находится на другом сайте (но не в качестве главной и с неё идёт ссылка на меня): могу ли я бороться с этим такими методами? или можно не трогать? всегда ваш.

Предложенный метод позволяет устранить мусор на Вашем сайте.

А за Вашу схему дублирования контента и неестественный обмен ссылками можно поисковый фильтр схлопотать!

Share this post


Link to post
Share on other sites

Не знал что из веб мастера Гугла можно закрыть дубли. Спасибо за инфу. Что только неделал уже, чтобы на одном из сайтов генерируемые страницы, при подборе параметров из индекса выкинуть. Посмотрим как сработают эти настройки.

Share this post


Link to post
Share on other sites

у вас Дважды в документе htaccess в правилах повторяется одна строка - RewriteRule (.*) $1? [R=301,L] (одна лишней получается).

Share this post


Link to post
Share on other sites

 

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *

Disallow: /wp-includes

Disallow: /feed

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host: сайт.com

Sitemap: http ://сайт/sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: YandexImages

Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:
 
0_1199a1_d641c269_orig.jpg
 
Все! Итого:
 
Дубли в Яндексе, он их выплюнул практически сразу:
 
0_1199a0_a383660b_orig.jpg
Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:
 
0_119286_8087702_orig.jpg
 
P.S.
 
Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!
 
Трафик из обоих ПС начал значительно подниматься!
 
UPDATE
 
Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:
 
0_1199b3_d6fbd185_orig.jpg

 

Плагин есть классный-Fix Duplicates!Сам пользуюсь!

Share this post


Link to post
Share on other sites

Давненько научился правильно под себя роботс составлять и прочие мелочи, проблема дублей уже несколько лет не беспокоит ) Главное разок сесть и вникнуть во все. Раньше парило в гугле хлама много было. Сейчас с гуглом и яшей разброс всего максимум 15 страниц.

Share this post


Link to post
Share on other sites

Поясните подробнее, вот эту формулировку. Для чего, что она дает и тд

После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование -Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:

 

Share this post


Link to post
Share on other sites

Поясните подробнее, вот эту формулировку. Для чего, что она дает и тд

 

Для отслеживания УРЛов replytocom

 

Дает она статистику по изменению количества дублирующих страниц и, соответственно, дает Гуглу понять, что этот параметр как-то изменяет содержимое. И если я правильно понял, то знает, что такой параметр является дублирующим содержимом. Как-то так...

 

Если кто знает точно, буду рад узнать тоже )

Share this post


Link to post
Share on other sites

т.е это лишь статистика, она никак (переменная эта) не влияет на удаление дубля.

Share this post


Link to post
Share on other sites

т.е это лишь статистика, она никак (переменная эта) не влияет на удаление дубля.

 

Да фиг его знает. При создании параметра указываешь, что типо этот параметр меняет содержимое. Хотя я не заморачивался, работает и пусть работает :)

Share this post


Link to post
Share on other sites

Спасибо дружище. Надо будет на своих WP сайтах попробовать.

 

Попробуй, у меня все получилось. И я добавил скрины в стартовый топик с трафиком

Share this post


Link to post
Share on other sites

Борьбу" с дублями всегда вел через robots.txt

WP или Джумла! (или dle, или ipb). Есть список страниц, есть структура сайта (в Вебмастер). Сиди, кликай, разбирайся. Каждый конкретный сайт - "выдаст" свои дубли, помимо стандартных (и не только дублей, но и конкретного "хлама"). Шаблонных методов, имхо, нет.

 

Многое зависит от многого. Включили "Текстовая версия" в ipb - получите дубликат форума, включили "Печать" или "Версия .pdf (в любом cms) - ролучите еще две копии сайта... Не rss единым. И - /*index.php или /*? - генерят движки (нередко). Можно еще дубли .doc выложить... "до-кучи".

А уж сортировка... и не сосчитаешь. Есть VM магазин? - "просмотр товара" и пр. настройки карточки товара "нагенят" такого, что только успевать "закрывать".

 

Сколько сайтов, столько и версий "борьбы".

Понятно, что дубли - зло. Только вот рецептуры общей нет. Зато у всех - есть Яндекс.Вебмастер и Гугл.Вебмастер. Это - единственный рецепт "сокрытия" дублей хотя бы на 90%.

 

Впрочем... каждому своё. Наверное и метода в стартопе пригодится. Почему бы и не так... что-то "прикроет".

Процитирую только предостережение Гугл:

Используйте эту функцию, только если вам точно известно, как тот или иной параметр влияет на работу вашего сайта. Если вы по ошибке запретите Google сканировать URL с определенными параметрами, значительная часть страниц вашего сайта может пропасть из результатов поиска.

Стоит проявить известную осторожность при работе с инструментарием. Он - "острый".

Share this post


Link to post
Share on other sites

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

Коллеги, есть сервис оптимизации сайтов, добавляете проект и получаете технический аудит со всеми дублями страниц, тайтлов. 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...