Jump to content

роботс.тхт


Recommended Posts

Парни верно или что надо еще добавить дабы лучше поисковику было?


 


User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Disallow: /shop/order/

Disallow: /?ssid=

Disallow: /abnl/

 


 

все верно?

Link to post
Share on other sites

Покупайте криптовалюту безопасно за считанные минуты!

Роботс на юкозе прописывается автоматический! и лучше его не трогать!! они и так правильно все прописали=)) 

 

не не правильно с ошибками)

 

прописали 

Sitemap: http://******u/sitemap-forum.xml

 http://****/sitemap-shop.xml

 

если этого нету*( а они тупо прописали)

Link to post
Share on other sites

Вот это:

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

 

Проще заменить на:

Disallow: /index/*

 

Ну и надо сам сайт смотреть, чтобы увидеть есть ли дубли и их закрывать в роботс

Link to post
Share on other sites

Парни верно или что надо еще добавить дабы лучше поисковику было?

User-agent: *

Disallow: /a/

Disallow: /stat/

Disallow: /index/1

Disallow: /index/2

Disallow: /index/3

Disallow: /index/5

Disallow: /index/7

Disallow: /index/8

Disallow: /index/9

Disallow: /panel/

Disallow: /admin/

Disallow: /secure/

Disallow: /informer/

Disallow: /mchat

Disallow: /search

Disallow: /shop/order/

Disallow: /?ssid=

Disallow: /abnl/

Sitemap: http://********/sitemap.xml

все верно?

Конечно же нет.

Прочти и сделай закладку http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml

Link to post
Share on other sites
  • 6 months later...

Вопрос такой: Если правильно прописан роботс и в метатегах добавлено <meta name="robots" content="all">, будут ли поисковики учитывать запреты в роботс или будут кушать весь контент?

Link to post
Share on other sites

dolfin, в этом случае будет учитываться robots.txt

В яндексе сниппета не будет,- не индексируется.

в гугле сниппет будет с описанием - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", будет находиться в скрытых результатах

Link to post
Share on other sites

dolfin, в этом случае будет учитываться robots.txt

В яндексе сниппета не будет,- не индексируется.

в гугле сниппет будет с описанием - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", будет находиться в скрытых результатах

Спасибо за ответ! Я всё понял.

Link to post
Share on other sites

На некоторых сайтах видел только одну директиву

User-agent: *Disallow:User-agent: YandexDisallow:Host: бла-бла.ru

Это говорит о том, что сайт полностью открыт для роботов ?

Это, скорее всего, dle. Открыт полностью, но закрывают индексацию через мета-теги. У меня роботс состоит из 5 строк.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...