Jump to content

роботс.тхт


Recommended Posts

Парни верно или что надо еще добавить дабы лучше поисковику было?


 


User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Disallow: /shop/order/

Disallow: /?ssid=

Disallow: /abnl/

 


 

все верно?

Link to post
Share on other sites

Роботс на юкозе прописывается автоматический! и лучше его не трогать!! они и так правильно все прописали=)) 

Link to post
Share on other sites

Роботс на юкозе прописывается автоматический! и лучше его не трогать!! они и так правильно все прописали=)) 

 

не не правильно с ошибками)

 

прописали 

Sitemap: http://******u/sitemap-forum.xml

 http://****/sitemap-shop.xml

 

если этого нету*( а они тупо прописали)

Link to post
Share on other sites

Вот это:

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

 

Проще заменить на:

Disallow: /index/*

 

Ну и надо сам сайт смотреть, чтобы увидеть есть ли дубли и их закрывать в роботс

Link to post
Share on other sites

Парни верно или что надо еще добавить дабы лучше поисковику было?

User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Disallow: /shop/order/

Disallow: /?ssid=

Disallow: /abnl/

Sitemap: http://********/sitemap.xml

все верно?

Конечно же нет.

Прочти и сделай закладку http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Link to post
Share on other sites
  • 6 months later...

Вопрос такой: Если правильно прописан роботс и в метатегах добавлено <meta name="robots" content="all">, будут ли поисковики учитывать запреты в роботс или будут кушать весь контент?

Link to post
Share on other sites

dolfin, в этом случае будет учитываться robots.txt

В яндексе сниппета не будет,- не индексируется.

в гугле сниппет будет с описанием - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", будет находиться в скрытых результатах

Link to post
Share on other sites

dolfin, в этом случае будет учитываться robots.txt

В яндексе сниппета не будет,- не индексируется.

в гугле сниппет будет с описанием - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", будет находиться в скрытых результатах

Спасибо за ответ! Я всё понял.

Link to post
Share on other sites

На некоторых сайтах видел только одну директиву

User-agent: *Disallow:User-agent: YandexDisallow:Host: бла-бла.ru

Это говорит о том, что сайт полностью открыт для роботов ?

Link to post
Share on other sites

На некоторых сайтах видел только одну директиву

User-agent: *Disallow:User-agent: YandexDisallow:Host: бла-бла.ru

Это говорит о том, что сайт полностью открыт для роботов ?

Это, скорее всего, dle. Открыт полностью, но закрывают индексацию через мета-теги. У меня роботс состоит из 5 строк.

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...