Как закрыть ссылки от индексации?

Aledor · October 14, 2015

движок Netcat, Как закрыть ссылки от индексации? которые содержатся в url, много дублей выходит

возможно, кто то поделится своим robots и .htacess

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?cur_cc

я закрыл их так, наверное сделал неправильно ибо из поиска страницы эти не вылетели за 2 апа

serzh82 · October 14, 2015

движок Netcat, Как закрыть ссылки от индексации? которые содержатся в url, много дублей выходит

возможно, кто то поделится своим robots и .htacess

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

Disallow: /*?cur_cc

я закрыл их так, наверное сделал неправильно ибо из поиска страницы эти не вылетели за 2 апа

Вроде правильно. В вебмастере проверяли блокируется эти адреса?

styoplotr · October 14, 2015

Если нужен пример robots думаю неплохо будет подглядеть на их сайте

http://www.netcat.ru/robots.txt

sochi-russia · October 14, 2015

Уже никак не закроете.

Aledor · October 14, 2015

Если нужен пример robots думаю неплохо будет подглядеть на их сайте

http://www.netcat.ru/robots.txt

не нашел, ответа на свой вопрос там

Aledor · October 14, 2015

Сейчас он выглядит вот так:

User-Agent: Yandex

Disallow: /?

Disallow: /install/

Disallow: /search/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /s/

Disallow: /download/

Disallow: /404/ #379#

Disallow: /paged/

Disallow: /*.swf

Disallow: /eng/

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

возможно правильней делать так?

Disallow: *?sid*

Disallow: *?price*

Disallow: *?alf*

Disallow: *?vendor*

Disallow: *?cur_cc*

Disallow: *?stock*

Aledor · October 14, 2015

Уже никак не закр

это почему?

tvskit · October 14, 2015

Попробуй:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

Потом после редактирования, проверте через вебмастер - Анализ роботс, вставляйте дубли в поле проверки он должен их блокировать, т.е. в результате что типа: запрещен правилом /*?*

пс: результаты проверки:

Aledor · October 14, 2015

Попробуй:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

Потом после редактирования, проверте через вебмастер - Анализ роботс, вставляйте дубли в поле проверки он должен их блокировать, т.е. в результате что типа: запрещен правилом /*?*

пс: результаты проверки:

всё таки 2 звёздочки? не понял до конца

tvskit · October 14, 2015

Скопируйте полностью и замените все в своём роботсе:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

example заменить на своё

И главное, после проверяйте основные/нужные страницы, они не должны блокироваться, я так один раз попал.

bozon · October 14, 2015

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /img

Host: http://site.ru
Sitemap: http://site.ru/sitemap.xml

попробуйте адаптировать этот роботс под свои нужды))

Aledor · October 14, 2015

Скопируйте полностью и замените все в своём роботсе:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

example заменить на своё

И главное, после проверяйте основные/нужные страницы, они не должны блокироваться, я так один раз попал.

У меня проблема именно с вот этой частью.. что делать .....

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

Disallow: /*?curPos

а вот сейчас он таков :

Disallow: /?

Disallow: /backup/

Disallow: /install/

Disallow: /search/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /component/

Disallow: /netcat_files/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /s/

Disallow: /download/

Disallow: /404/ #379#

Disallow: /paged/

Disallow: /*.swf

Disallow: /eng/

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

Disallow: /*?curPos

node.js · October 14, 2015

Как то давно на phpbb юзал роботс где было все закрыто и открыты топики и темы с мордой, дублей вобще не было, а роботс был на строк 5-7 всего =)

tvskit · October 14, 2015

У меня проблема именно с вот этой частью.. что делать .....

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

Disallow: /*?curPos

Этот кусок можно заменить: Disallow: /*?

Значит в роботсе всё заменить на

Disallow: /?

Disallow: /*?

Disallow: /backup/

Disallow: /install/

Disallow: /search/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /component/

Disallow: /netcat_files/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /s/

Disallow: /download/

Disallow: /404/

Disallow: /paged/

Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

Aledor · October 14, 2015

как запретить подобные ссылки:

power.ru/catalog/Odezhda/?stock=0

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

power.ru/catalog/?price=asc&vendor=Syntrax

power.ru/catalog/Chipsy/?alf=asc

power.ru/catalog/Axessuary/?curPos=24

power.ru/catalog/?vendor=Optimum+Nutrition

вот такие проблемы меня интересуют

Этот кусок можно заменить: Disallow: /*?

Значит в роботсе всё заменить на

Disallow: /?

Disallow: /*?

Disallow: /backup/

Disallow: /install/

Disallow: /search/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /component/

Disallow: /netcat_files/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /s/

Disallow: /download/

Disallow: /404/

Disallow: /paged/

Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

tvskit · October 14, 2015

как запретить подобные ссылки:

power.ru/catalog/Odezhda/?stock=0

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

power.ru/catalog/?price=asc&vendor=Syntrax

power.ru/catalog/Chipsy/?alf=asc

power.ru/catalog/Axessuary/?curPos=24

power.ru/catalog/?vendor=Optimum+Nutrition

вот такие проблемы меня интересуют

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

Добавить строчку

Disallow: /*/chronoforms

я так понимаю эта строчка chronoforms поиска/запроса - т.е. страницы component/chronoforms * полезной нагрузки не несут.

А остальные сработают по правилу Disallow: /*?

direct808 · October 15, 2015

Disallow: *?sid*

Disallow: *?price*

Disallow: *?alf*

Disallow: *?vendor*

Disallow: *?cur_cc*

Disallow: *?stock*

звездочки в конце правила ставить не обязательно. По умолчанию к концу каждого правила приписывается спецсимвол *

Как закрыть ссылки от индексации?

Recommended Posts

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Link to post

Share on other sites

Please sign in to comment

Recently Browsing 0 members