Как я расстался с дублями страниц

[Dantist 0]

В ответ на свой вопрос, решил пока добавить на страницу каноническую ссылку автоматически правильно формируемую PHP. Посмотрю, что из этого получится.  

[DM_i 0]

Борюсь с дублями редиректом

[Transparent 0]

А откуда вообще берутся эти дубли? Это уже в админке они накапливаются или дело в коде может быть? Как изначально их избежать?  

[Garry777 0]

<link rel="canonical" href="" />

решает все проблемы, забил на дубли давно, пустая трата времени.

[LeylaMos 0]

Нам тоже советовали дубли убирать вручную. 

[SeR681 0]

В 07.10.2014 в 10:03 AM, Kufi сказал:

Друзья привет! Я не СЕО мастер, но на своем примере хочу рассказать, как я избавился от дублей страниц, которых у меня было более 40 тыс. Ну все по порядку, в начале я в файле robots.txt открыл, сейчас мой роботс выглядит так:

 

User-agent: *
Disallow: /wp-includes
Disallow: /feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: сайт.com
Sitemap: http ://сайт/sitemap.xml

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/

 

После чего открыл файл .htaccess и добавил в него следующее :

 

# BEGIN WordPress

<IfModule mod_rewrite.c>

RewriteEngine On

RewriteBase /

RewriteCond %{QUERY_STRING} ^replytocom= [NC]

RewriteRule (.*) $1? [R=301,L]

RewriteRule (.+)/feed /$1 [R=301,L]

RewriteRule (.+)/comment-page /$1 [R=301,L]

RewriteRule (.+)/trackback /$1 [R=301,L]

RewriteRule (.+)/comments /$1 [R=301,L]

RewriteRule (.+)/attachment /$1 [R=301,L]

RewriteCond %{QUERY_STRING} ^attachment_id= [NC]

RewriteRule (.*) $1? [R=301,L]

RewriteRule ^index\.php$ - [L]

RewriteCond %{REQUEST_FILENAME} !-f

RewriteCond %{REQUEST_FILENAME} !-d

RewriteRule . /index.php [L]

</IfModule>

 

# END WordPress

 

После чего зашел в панель Вебмастера Гугл, ибо к дублям Гугл относится уж сильно трепетно, в раздел Сканирование - Параметры URL и добавил новый параметр под названием replytocom со следующими параметрами:

 

 

Все! Итого:

 

Дубли в Яндексе, он их выплюнул практически сразу:

 

Дубли в Гугле, тут очень долго, но медленно и верно их выкидывает из основного индекса:

 

 

P.S.

 

Ребята, на многие вопросы я ответить не смогу, я всего лишь фотоблогер, но подумал, что эта инфа может быть кому-нибудь полезна. Я рассказал, что сделал и что получил в результате. А как вы с этим боритесь я не знаю, но точно перекрытые сопли в роботсе ПС игнорируют и забирают себе в индекс!

 

Трафик из обоих ПС начал значительно подниматься!

 

UPDATE

 

Совсем забыл добавить! После этих манипуляций, я завел себе файлик с Экселя и каждый понедельник следил за динамикой! Еще скрин:

 

 

 

UPDATE 15.09.2015

 

Прошел почти год после работы с дублями и хотел добавить рост трафика за это время.

 

Первый скрин за октябрь 2014, собственно, сразу посе того, как убрал дубли

 

 

И спустя почти год. Пояснение: на сайт добавлялись только статьи, ничего не закупалось, нигде не прогонялось. Чисто внутренней оптимизацией.

 

Добрый день, попробовал все осталось два дубля с / в конце и с /?

Помогите пожалуйста избавиться от дублей.

Вот код

Options +FollowSymLinks
Options -Indexes
RewriteEngine On
RewriteBase /
RewriteCond %{SERVER_PORT} ^443$ [OR]
RewriteCond %{HTTPS} on
RewriteCond %{HTTP_HOST} ^www\.(.*) [NC]
RewriteRule .* https://%1%{REQUEST_URI} [R=301,L,QSA]
RewriteCond %{HTTPS} !=on
RewriteRule ^(.*)$ https://%{HTTP_HOST}/$0 [R=301,L]
RewriteRule ^(\w+)$ $1.php [NC]
RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /index\.php\ HTTPS/
RewriteRule ^index\.php$ https://mymegatour.ru [R=301,L]
ErrorDocument 404 /404.html
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(([^/]+/)*[^.]+)$ /$1.php [L]
RewriteCond %{REQUEST_URI} ^/index$ [OR]
RewriteCond %{REQUEST_URI} ^/index[.]+(\w+)$
RewriteRule . / [R=301,L]
RewriteCond %{THE_REQUEST} //
RewriteRule ^(.*)$ https://%{HTTP_HOST}/$0 [R=301,L]
RewriteCond %{REQUEST_URI} !\?
RewriteCond %{REQUEST_URI} !\&
RewriteCond %{REQUEST_URI} !\=
RewriteCond %{REQUEST_URI} !\.
RewriteCond %{REQUEST_URI} ![^\/]$
RewriteRule ^(.*)\/$ /$1 [R=301,L]