Jump to content

Как я расстался с дублями страниц


Recommended Posts

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

  • Replies 129
  • Created
  • Last Reply

Top Posters In This Topic

Top Posters In This Topic

Popular Posts

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейча

Для поиска дублей я использую программу Netpeak Spider. Очень помогает

Поскольку тут описанны стандартные дубли и принцип закрытия похож для любой смс, добавлю от себя что часто встречаю на магазинах . Вебмастера зачастую забывают крыть дубли в магазинах при их разработ

если у меня на html и моя главная скопирована и находится на другом сайте (но не в качестве главной и с неё идёт ссылка на меня): могу ли я бороться с этим такими методами? или можно не трогать? всегда ваш.

Link to post
Share on other sites
А случайно ни кто не знает как такое же проделать с Joomla 3Х? а именно интересует feed rss atom и особенно вот с этой гадостью:

 

/component/search/?Itemid=101&catid=20&id=18&format=opensearch ?

 

Такой код писать?:


# RewriteBase /

RewriteRule (.+)/feed /$1 [R=301,L]

RewriteRule (.+)/search /$1 [R=301,L]

RewriteRule (.+)/rss /$1 [R=301,L]

RewriteRule (.+)/atom /$1 [R=301,L]

Link to post
Share on other sites

если у меня на html и моя главная скопирована и находится на другом сайте (но не в качестве главной и с неё идёт ссылка на меня): могу ли я бороться с этим такими методами? или можно не трогать? всегда ваш.

Предложенный метод позволяет устранить мусор на Вашем сайте.

А за Вашу схему дублирования контента и неестественный обмен ссылками можно поисковый фильтр схлопотать!

Link to post
Share on other sites
  • 4 weeks later...

Не знал что из веб мастера Гугла можно закрыть дубли. Спасибо за инфу. Что только неделал уже, чтобы на одном из сайтов генерируемые страницы, при подборе параметров из индекса выкинуть. Посмотрим как сработают эти настройки.

Link to post
Share on other sites
  • 4 months later...

 

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *

Disallow: /wp-includes

Disallow: /feed

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host: сайт.com

Sitemap: http ://сайт/sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: YandexImages

Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>
RewriteEngine On
RewriteBase /
RewriteCond %{QUERY_STRING} ^replytocom= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule (.+)/feed /$1 [R=301,L]
RewriteRule (.+)/comment-page /$1 [R=301,L]
RewriteRule (.+)/trackback /$1 [R=301,L]
RewriteRule (.+)/comments /$1 [R=301,L]
RewriteRule (.+)/attachment /$1 [R=301,L]
RewriteCond %{QUERY_STRING} ^attachment_id= [NC]
RewriteRule (.*) $1? [R=301,L]
RewriteRule ^index\.php$ - [L]
RewriteCond %{REQUEST_FILENAME} !-f
RewriteCond %{REQUEST_FILENAME} !-d
RewriteRule . /index.php [L]
</IfModule>
 
# END WordPress
 
После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:
 
0_1199a1_d641c269_orig.jpg
 
Все! Итого:
 
Дубли в Яндексе, он их выплюнул практически сразу:
 
0_1199a0_a383660b_orig.jpg
Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:
 
0_119286_8087702_orig.jpg
 
P.S.
 
Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!
 
Трафик из обоих ПС начал значительно подниматься!
 
UPDATE
 
Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:
 
0_1199b3_d6fbd185_orig.jpg

 

Плагин есть классный-Fix Duplicates!Сам пользуюсь!

Link to post
Share on other sites

Давненько научился правильно под себя роботс составлять и прочие мелочи, проблема дублей уже несколько лет не беспокоит ) Главное разок сесть и вникнуть во все. Раньше парило в гугле хлама много было. Сейчас с гуглом и яшей разброс всего максимум 15 страниц.

Link to post
Share on other sites
  • 4 weeks later...
  • 5 weeks later...

Поясните подробнее, вот эту формулировку. Для чего, что она дает и тд

После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование -Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:

 

Link to post
Share on other sites

Поясните подробнее, вот эту формулировку. Для чего, что она дает и тд

 

Для отслеживания УРЛов replytocom

 

Дает она статистику по изменению количества дублирующих страниц и, соответственно, дает Гуглу понять, что этот параметр как-то изменяет содержимое. И если я правильно понял, то знает, что такой параметр является дублирующим содержимом. Как-то так...

 

Если кто знает точно, буду рад узнать тоже )

Link to post
Share on other sites

т.е это лишь статистика, она никак (переменная эта) не влияет на удаление дубля.

 

Да фиг его знает. При создании параметра указываешь, что типо этот параметр меняет содержимое. Хотя я не заморачивался, работает и пусть работает :)

Link to post
Share on other sites

Спасибо дружище. Надо будет на своих WP сайтах попробовать.

 

Попробуй, у меня все получилось. И я добавил скрины в стартовый топик с трафиком

Link to post
Share on other sites
  • 2 weeks later...

Борьбу" с дублями всегда вел через robots.txt

WP или Джумла! (или dle, или ipb). Есть список страниц, есть структура сайта (в Вебмастер). Сиди, кликай, разбирайся. Каждый конкретный сайт - "выдаст" свои дубли, помимо стандартных (и не только дублей, но и конкретного "хлама"). Шаблонных методов, имхо, нет.

 

Многое зависит от многого. Включили "Текстовая версия" в ipb - получите дубликат форума, включили "Печать" или "Версия .pdf (в любом cms) - ролучите еще две копии сайта... Не rss единым. И - /*index.php или /*? - генерят движки (нередко). Можно еще дубли .doc выложить... "до-кучи".

А уж сортировка... и не сосчитаешь. Есть VM магазин? - "просмотр товара" и пр. настройки карточки товара "нагенят" такого, что только успевать "закрывать".

 

Сколько сайтов, столько и версий "борьбы".

Понятно, что дубли - зло. Только вот рецептуры общей нет. Зато у всех - есть Яндекс.Вебмастер и Гугл.Вебмастер. Это - единственный рецепт "сокрытия" дублей хотя бы на 90%.

 

Впрочем... каждому своё. Наверное и метода в стартопе пригодится. Почему бы и не так... что-то "прикроет".

Процитирую только предостережение Гугл:

Используйте эту функцию, только если вам точно известно, как тот или иной параметр влияет на работу вашего сайта. Если вы по ошибке запретите Google сканировать URL с определенными параметрами, значительная часть страниц вашего сайта может пропасть из результатов поиска.

Стоит проявить известную осторожность при работе с инструментарием. Он - "острый".

Link to post
Share on other sites
  • 3 weeks later...

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

Коллеги, есть сервис оптимизации сайтов, добавляете проект и получаете технический аудит со всеми дублями страниц, тайтлов. 

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.


×
×
  • Create New...