Как я расстался с дублями страниц

[Kufi 127]

ребятки удаление дубликатов страниц это одно из важных факторов в оптимизации вопрос как проверить на эти самые дубли и как их найти ?

 

1. Идете в гугл поиск

2. В поисковой строке вбиваете site:сайт.ру (и подряд вбиваете значения из последней таблицы - replytocom, feed, tag и так далее)

3. Затем нажимаете на ссылку Показать скрытые результаты

4. Смотрите число, которое выглядит примерно Результатов: 45 789 (0,45 сек)

 

Или в панеле инструментов Гугла заходите в Сканирование - Индекс сканирования и смотрите сколько у вас страниц в индексе - скорее всего это дубли!

[GladWeb 1433]

Еще одна ошибочка, строка RewriteRule (.*) $1? [R=301,L] у вас повторяется два раза. Думаю так не должно быть

[Kufi 127]

Еще одна ошибочка, строка RewriteRule (.*) $1? [R=301,L] у вас повторяется два раза. Думаю так не должно быть

 

Тут уже не подскажу. Не специалист в этой области

[nikolka1993 86]

 

Host: сайт.com

Sitemap: http ://сайт/sitemap.xml

Пробел один тут убрать надо еще) А то яш ругается, а вообще, ТС, огромное спасибо)

 

 

 

 

[Kufi 127]

 

 

Host: сайт.com

Sitemap: http ://сайт/sitemap.xml

Пробел один тут убрать надо еще) А то яш ругается, а вообще, ТС, огромное спасибо)

 

 

 

 

 

 

Аха..Надо, я его поставил, чтобы избежать кликабельной ссылки =) Пожалуйста

[Irakez 97]

На старом блоге было 3545 страниц Гугл и Яндекс исключали по 20-30 в сутки после такой операции. Новый блог сразу же оптимизировал...

[Kufi 127]

На старом блоге было 3545 страниц Гугл и Яндекс исключали по 20-30 в сутки после такой операции. Новый блог сразу же оптимизировал...

 

У меня Яша сразу выплюнул после первого же Апа все, что бы)))А Гугл постепенно))

[LyalinDV 13]

Вообщем смотрите. Ввел я в гугле запрос: "site:мой сайт.com".

Выдал он мне: " Результатов: примерно 676, страница 57 (0,30 сек.) "

На 57 странице появилась надпись "Показать скрытые результаты."

Нажал на нее.

Поиск остановился также на 57 странице со следующей надписью: "Результатов: примерно 687, страница 57 (0,36 сек.) "

 

То есть у меня 9 дублей?

[Irakez 97]

Введи site:site.ru replytocom (это для wp)

[LyalinDV 13]

Введи site:site.ru replytocom (это для wp)

 

Ничего не найдено

[Irakez 97]

Я имею ввиду site:твой адрес сайта.

Если ничего не найдено, значит дублей нету.

! Это только для Worpdress и только в google.

 

Ещё такие варианты запросов для дублей.

 

site:site.ru feed
site:site.ru tag
site:site.ru attachment
site:site.ru attachment_id
site:site.ru page
site:site.ru category
site:site.ru comment-page
site:site.ru trackback

[LyalinDV 13]

Я имею ввиду site:твой адрес сайта.

Если ничего не найдено, значит дублей нету.

! Это только для Worpdress и только в google.

 

Ещё такие варианты запросов для дублей.

 

site:site.ru feed

site:site.ru tag

site:site.ru attachment

site:site.ru attachment_id

site:site.ru page

site:site.ru category

site:site.ru comment-page

site:site.ru trackback

 

Я уж понял. Все равно ничего на найдено

[Irakez 97]

Я уж понял. Все равно ничего на найдено

Ну значит всё нормал...

[jekakeba 14]

ну у меня по некоторым запросам есть, по некоторым ничего не найдено...

что подскажите, проделать ваш метод?

[Kufi 127]

ну у меня по некоторым запросам есть, по некоторым ничего не найдено...

что подскажите, проделать ваш метод?

 

У меня изначально тоже по некоторым были, по некоторым не было Но в итоге дубли росли. Сами решайте =)

[serjin 1047]

Поскольку тут описанны стандартные дубли и принцип закрытия похож для любой смс, добавлю от себя что часто встречаю на магазинах .

Вебмастера зачастую забывают крыть дубли в магазинах при их разработке .

Например в магазине стоит сортировка по цене, дате, названию и т.п общее количество товаров 100 то-етсь 100 стр.(нужных) при сортировке генерятся страницы в соответствии с выбранными фильтрами дубли, и их количество может быть просто колосальным исчислятся тысячами и десятками тыс. в зависимости от количества самих товаров так и пунктов сортировки .

Тоже касается каталогов и прочих сайтов где встречается сортировка

Проверяем свои сайты ,кроем дубли. Трафик растет запросы крепнут проверено опытом!

[dzhenkins 49]

хм... странно, у меня в wordpresse вот такой роботс:

User-agent: *
Disallow: /?
Host: site.site
Sitemap: http://site.site/sitemap.xml

нет ни каких дублей в индексе... единственное, что с помощью йоаста запретил индексацию страниц медиафайлов, тегов и ещё чего то... 

[diplomdistant 616]

 

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *

Disallow: /wp-includes

Disallow: /feed

Disallow: /wp-content/plugins

Disallow: /wp-content/cache

Disallow: /wp-content/themes

Host: сайт.com

Sitemap: http ://сайт/sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

User-agent: YandexImages

Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>

RewriteEngine On

RewriteBase /

RewriteCond %{QUERY_STRING} ^replytocom= [NC]

RewriteRule (.*) $1? [R=301,L]

RewriteRule (.+)/feed /$1 [R=301,L]

RewriteRule (.+)/comment-page /$1 [R=301,L]

RewriteRule (.+)/trackback /$1 [R=301,L]

RewriteRule (.+)/comments /$1 [R=301,L]

RewriteRule (.+)/attachment /$1 [R=301,L]

RewriteCond %{QUERY_STRING} ^attachment_id= [NC]

RewriteRule (.*) $1? [R=301,L]

RewriteRule ^index\.php$ - [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule . /index.php [L]

</IfModule>

 

# END WordPress

 

После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:

 

 

Все! Итого:

 

Дубли в Яндексе, он их выплюнул практически сразу:

 

Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:

 

 

P.S.

 

Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!

 

Трафик из обоих ПС начал значительно подниматься!

 

UPDATE

 

Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:

 

 

рекомендую  на ВП аналогично сделали недели 3 назад по первому посту. эффект присутствует.

[Kufi 127]

Ребята, привет. В июле я поставил эксперимент по дублям страниц и сегодня хочу показать результат.

 

 

Все это время я следил за динамикой изменения количества страниц. Считаю, что результат есть и и этот вариант избавления от дублей себя оправдывает полностью.

[zanuda911 6]

Для поиска дублей я использую программу Netpeak Spider. Очень помогает

[Makedo 291]

@Kufi, спасибо огромное! сделаю и себе такое. Плюс ко всему у меня WP, да и еще фотоблог)))

[Kufi 127]

@Kufi, спасибо огромное! сделаю и себе такое. Плюс ко всему у меня WP, да и еще фотоблог)))

 

Круто! А можно ссыль на фотоблог в личку?

[kiberwebinfo 4]

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс.

Ну все по порядку...

 

P.S.

 

Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!

 

Трафик из обоих ПС начал значительно подниматься!

 

Да уж инфа полезная, НО это Методика от Александра Борисова - Из его третьего курса, да и на Блоге у него имеется тематическая статья.

А вы даже ссылку на источник не сделали ... 

 

Подскажите пожалуйста, как определить дубли на сайте? есть точная методика?

 

Справедливости ради и из уважения к автору - Ссылка на авторскую Методику:

Дубли страниц replytocom wordpress или как умерли и умирают тысячи блогов даже не зная об этом!

(isif-life.ru/blogovedenie/dubli-stranic-replytocom-wordpress-ili-kak-umerli-i-umirayut-tysyachi-blogov-dazhe-ne-podozrevaya-ob-etom.html) 

[Kufi 127]

Да уж инфа полезная, НО это Методика от Александра Борисова - Из его третьего курса, да и на Блоге у него имеется тематическая статья.

А вы даже ссылку на источник не сделали ... 

 

А тут дело не в методике Александра Борисова...А в том, что это мой личный эксперимент! И не важно где я и о чем узнал! Если бы материал полностью был бы взят из его статьи, я бы поставил ссылку на его статью!

[mashinist 0]

А как проверить наличие дублей в Яндексе?