Aledor

Как закрыть ссылки от индексации?

17 сообщений в этой теме

движок Netcat, Как закрыть ссылки от индексации? которые содержатся в url, много дублей выходит

возможно, кто то поделится своим robots  и .htacess

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?cur_cc

 

я закрыл их так, наверное сделал неправильно ибо из поиска страницы эти не вылетели за 2 апа

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

движок Netcat, Как закрыть ссылки от индексации? которые содержатся в url, много дублей выходит

возможно, кто то поделится своим robots  и .htacess

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

Disallow: /*?cur_cc

 

я закрыл их так, наверное сделал неправильно ибо из поиска страницы эти не вылетели за 2 апа

Вроде правильно. В вебмастере проверяли блокируется эти адреса? 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Если нужен пример robots думаю неплохо будет подглядеть на их сайте

http://www.netcat.ru/robots.txt

не нашел, ответа на свой вопрос там

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Сейчас он выглядит вот так:

 

User-Agent: Yandex

Disallow: /?

Disallow: /install/

Disallow: /search/

Disallow: /links/

Disallow: /js/

Disallow: /netcat/

Disallow: /netcat_files/

Disallow: /netcat_cache/

Disallow: /netcat_dump/

Disallow: /s/

Disallow: /download/ 

Disallow: /404/ #379#

Disallow: /paged/ 

Disallow: /*.swf

Disallow: /eng/

Disallow: /*?sid

Disallow: /*?price

Disallow: /*?alf

Disallow: /*?vendor

Disallow: /*?cur_cc

Disallow: /*?stock

 

возможно правильней делать так?

 


Disallow: *?sid*

Disallow: *?price*

Disallow: *?alf*

Disallow: *?vendor*

Disallow: *?cur_cc*

Disallow: *?stock*

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Попробуй:

 

 

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

 

Потом после редактирования, проверте через вебмастер - Анализ роботс, вставляйте дубли в поле проверки он должен их блокировать, т.е. в результате что типа: запрещен правилом /*?*

 

пс: результаты проверки:

y7rsvnz4k3.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Попробуй:

 

 

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

 

Потом после редактирования, проверте через вебмастер - Анализ роботс, вставляйте дубли в поле проверки он должен их блокировать, т.е. в результате что типа: запрещен правилом /*?*

 

пс: результаты проверки:

y7rsvnz4k3.jpg

всё таки 2 звёздочки? не понял до конца

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Скопируйте полностью и замените все в своём роботсе:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

example заменить на своё

 

И главное, после проверяйте основные/нужные страницы, они не должны блокироваться, я так один раз попал. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-include
Disallow: /wp-register.php
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /step/.....
Disallow: /search/*
Disallow: /go
Disallow: /goto
Disallow: /wp-login.php
Disallow: /uploads/
Disallow: /*.gif$
Disallow: /*.jpg$
Disallow: /*.png$
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /?attachment_id
Disallow: /img

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-register.php
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Disallow: /page
Disallow: */page/*
Disallow: /plugins
Disallow: /archives
Disallow: /author
Disallow: /go
Disallow: /goto
Disallow: /step/.....
Disallow: /search/*
Disallow: /xmlrpc.php
Disallow: */comment-page-*
Disallow: /comments
Disallow: /sample-page
Disallow: /wp-login.php
Disallow: /uploads
Disallow: /?attachment_id
Disallow: /img

Host: http://site.ru
Sitemap: http://site.ru/sitemap.xml

 

попробуйте адаптировать этот роботс под свои нужды))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Скопируйте полностью и замените все в своём роботсе:

User-Agent: *

Disallow: /?

Disallow: /*?

Disallow: /install/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /netcat_files/
Disallow: /*.swf

Disallow: /eng/

Host: example.com

Sitemap: http://example.com/sitemap.xml

example заменить на своё

 

И главное, после проверяйте основные/нужные страницы, они не должны блокироваться, я так один раз попал. :D

 

У меня проблема именно с вот этой частью.. что делать .....

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?curPos

 

а вот сейчас он таков :

 

Disallow: /?
Disallow: /backup/
Disallow: /install/
Disallow: /search/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /component/
Disallow: /netcat_files/
Disallow: /netcat_cache/
Disallow: /netcat_dump/
Disallow: /s/
Disallow: /download/ 
Disallow: /404/ #379#
Disallow: /paged/ 
Disallow: /*.swf
Disallow: /eng/
Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?curPos

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Как то давно на phpbb юзал роботс где было все закрыто и открыты топики и темы с мордой, дублей вобще не было, а роботс был на строк 5-7 всего =)

Aledor понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

 

У меня проблема именно с вот этой частью.. что делать .....

Disallow: /*?sid
Disallow: /*?price
Disallow: /*?alf
Disallow: /*?vendor
Disallow: /*?cur_cc
Disallow: /*?stock
Disallow: /*?curPos

 

Этот кусок можно заменить: Disallow: /*?

Значит в роботсе всё заменить на

 

Disallow: /?
Disallow: /*?
Disallow: /backup/
Disallow: /install/
Disallow: /search/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /component/
Disallow: /netcat_files/
Disallow: /netcat_cache/
Disallow: /netcat_dump/
Disallow: /s/
Disallow: /download/ 
Disallow: /404/
Disallow: /paged/ 
Disallow: /*.swf
Disallow: /eng/

 

Host: example.com

Sitemap: http://example.com/sitemap.xml

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как запретить подобные ссылки:

power.ru/catalog/Odezhda/?stock=0

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

power.ru/catalog/?price=asc&vendor=Syntrax

power.ru/catalog/Chipsy/?alf=asc

power.ru/catalog/Axessuary/?curPos=24

power.ru/catalog/?vendor=Optimum+Nutrition

 

вот такие проблемы меня интересуют

 

Этот кусок можно заменить: Disallow: /*?

Значит в роботсе всё заменить на

 

Disallow: /?
Disallow: /*?
Disallow: /backup/
Disallow: /install/
Disallow: /search/
Disallow: /links/
Disallow: /js/
Disallow: /netcat/
Disallow: /component/
Disallow: /netcat_files/
Disallow: /netcat_cache/
Disallow: /netcat_dump/
Disallow: /s/
Disallow: /download/ 
Disallow: /404/
Disallow: /paged/ 
Disallow: /*.swf
Disallow: /eng/

 

Host: example.com

Sitemap: http://example.com/sitemap.xml

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

как запретить подобные ссылки:

power.ru/catalog/Odezhda/?stock=0

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

power.ru/catalog/?price=asc&vendor=Syntrax

power.ru/catalog/Chipsy/?alf=asc

power.ru/catalog/Axessuary/?curPos=24

power.ru/catalog/?vendor=Optimum+Nutrition

 

вот такие проблемы меня интересуют

power.ru/component/chronoforms/?chronoform=question&item=Lean Desert Protein (BSN) 630 г&tmpl=component

Добавить строчку

Disallow: /*/chronoforms

я так понимаю эта строчка chronoforms поиска/запроса - т.е. страницы component/chronoforms * полезной нагрузки не несут.

А остальные сработают по правилу Disallow: /*?

Aledor понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
Disallow: *?sid*
Disallow: *?price*
Disallow: *?alf*
Disallow: *?vendor*
Disallow: *?cur_cc*
Disallow: *?stock*

 

звездочки в конце правила ставить не обязательно. По умолчанию к концу каждого правила приписывается спецсимвол *

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу