Jump to content

Как закрыть ссылки от индексации?


Recommended Posts

движок Netcat, Как закрыть ссылки от индексации? которые содержатся в url, много дублей выходит

возможно, кто то поделится своим robots  и .htacess

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?cur_cc

 

я закрыл их так, наверное сделал неправильно ибо из поиска страницы эти не вылетели за 2 апа

Link to post
Share on other sites

движок Netcat, Как закрыть ссылки от индексации? которые содержатся в url, много дублей выходит

возможно, кто то поделится своим robots  и .htacess

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

Disallow: /*?cur_cc

 

я закрыл их так, наверное сделал неправильно ибо из поиска страницы эти не вылетели за 2 апа

Вроде правильно. В вебмастере проверяли блокируется эти адреса? 

Link to post
Share on other sites
Сейчас он выглядит вот так:

 

User-Agent: Yandex

Disallow: /?

Disallow: /install/

Disallow: /search/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /s/

Disallow: /download/ 

Disallow: /404/ #379#

Disallow: /paged/ 

Disallow: /*.swf

Disallow: /eng/

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

 

возможно правильней делать так?

 


Disallow: *?sid*

Disallow: *?price*

Disallow: *?alf*

Disallow: *?vendor*

Disallow: *?cur_cc*

Disallow: *?stock*

Link to post
Share on other sites

Попробуй:

 

 

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

 

Потом после редактирования, проверте через вебмастер - Анализ роботс, вставляйте дубли в поле проверки он должен их блокировать, т.е. в результате что типа: запрещен правилом /*?*

 

пс: результаты проверки:

y7rsvnz4k3.jpg

Link to post
Share on other sites

Попробуй:

 

 

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

 

Потом после редактирования, проверте через вебмастер - Анализ роботс, вставляйте дубли в поле проверки он должен их блокировать, т.е. в результате что типа: запрещен правилом /*?*

 

пс: результаты проверки:

y7rsvnz4k3.jpg

всё таки 2 звёздочки? не понял до конца

Link to post
Share on other sites

Скопируйте полностью и замените все в своём роботсе:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

example заменить на своё

 

И главное, после проверяйте основные/нужные страницы, они не должны блокироваться, я так один раз попал. :D

Link to post
Share on other sites

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /img

Host: http://site.ru
Sitemap: http://site.ru/sitemap.xml

 

попробуйте адаптировать этот роботс под свои нужды))

Link to post
Share on other sites

Скопируйте полностью и замените все в своём роботсе:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

example заменить на своё

 

И главное, после проверяйте основные/нужные страницы, они не должны блокироваться, я так один раз попал. :D

 

У меня проблема именно с вот этой частью.. что делать .....

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?curPos

 

а вот сейчас он таков :

 

Disallow: /?
Disallow: /backup/
Disallow: /install/
Disallow: /search/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /component/
Disallow: /netcat_files/
Disallow: /netcat_cache/
Disallow: /netcat_dump/
Disallow: /s/
Disallow: /download/ 
Disallow: /404/ #379#
Disallow: /paged/ 
Disallow: /*.swf
Disallow: /eng/
Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?curPos
Link to post
Share on other sites

 

У меня проблема именно с вот этой частью.. что делать .....

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?curPos

 

Этот кусок можно заменить: Disallow: /*?

Значит в роботсе всё заменить на

 

Disallow: /?
Disallow: /*?
Disallow: /backup/
Disallow: /install/
Disallow: /search/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /component/
Disallow: /netcat_files/
Disallow: /netcat_cache/
Disallow: /netcat_dump/
Disallow: /s/
Disallow: /download/ 
Disallow: /404/
Disallow: /paged/ 
Disallow: /*.swf
Disallow: /eng/

 

Host: example.com

Sitemap: http://example.com/sitemap.xml

Link to post
Share on other sites

как запретить подобные ссылки:

power.ru/catalog/Odezhda/?stock=0

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

power.ru/catalog/?price=asc&vendor=Syntrax

power.ru/catalog/Chipsy/?alf=asc

power.ru/catalog/Axessuary/?curPos=24

power.ru/catalog/?vendor=Optimum+Nutrition

 

вот такие проблемы меня интересуют

 

Этот кусок можно заменить: Disallow: /*?

Значит в роботсе всё заменить на

 

Disallow: /?
Disallow: /*?
Disallow: /backup/
Disallow: /install/
Disallow: /search/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /component/
Disallow: /netcat_files/
Disallow: /netcat_cache/
Disallow: /netcat_dump/
Disallow: /s/
Disallow: /download/ 
Disallow: /404/
Disallow: /paged/ 
Disallow: /*.swf
Disallow: /eng/

 

Host: example.com

Sitemap: http://example.com/sitemap.xml

Link to post
Share on other sites

как запретить подобные ссылки:

power.ru/catalog/Odezhda/?stock=0

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

power.ru/catalog/?price=asc&vendor=Syntrax

power.ru/catalog/Chipsy/?alf=asc

power.ru/catalog/Axessuary/?curPos=24

power.ru/catalog/?vendor=Optimum+Nutrition

 

вот такие проблемы меня интересуют

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

Добавить строчку

Disallow: /*/chronoforms

я так понимаю эта строчка chronoforms поиска/запроса - т.е. страницы component/chronoforms * полезной нагрузки не несут.

А остальные сработают по правилу Disallow: /*?

Link to post
Share on other sites
Disallow: *?sid*
Disallow: *?price*
Disallow: *?alf*
Disallow: *?vendor*
Disallow: *?cur_cc*
Disallow: *?stock*

 

звездочки в конце правила ставить не обязательно. По умолчанию к концу каждого правила приписывается спецсимвол *

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...