rosliguk 1 Posted June 7, 2014 Report Share Posted June 7, 2014 Парни верно или что надо еще добавить дабы лучше поисковику было? User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid= Disallow: /abnl/ Sitemap: http://********/sitemap.xml все верно? Link to post Share on other sites
Adik 4 Posted June 7, 2014 Report Share Posted June 7, 2014 Роботс на юкозе прописывается автоматический! и лучше его не трогать!! они и так правильно все прописали=)) Link to post Share on other sites
rosliguk 1 Posted June 7, 2014 Author Report Share Posted June 7, 2014 Роботс на юкозе прописывается автоматический! и лучше его не трогать!! они и так правильно все прописали=)) не не правильно с ошибками) прописали Sitemap: http://******u/sitemap-forum.xml http://****/sitemap-shop.xml если этого нету*( а они тупо прописали) Link to post Share on other sites
OhYeah 13 Posted June 7, 2014 Report Share Posted June 7, 2014 Вот это: Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Проще заменить на: Disallow: /index/* Ну и надо сам сайт смотреть, чтобы увидеть есть ли дубли и их закрывать в роботс Link to post Share on other sites
pavel 174 Posted June 7, 2014 Report Share Posted June 7, 2014 Да ucoz автоматически прописывает, советую лучше не трогать. Link to post Share on other sites
Crack_key 48 Posted June 8, 2014 Report Share Posted June 8, 2014 Парни верно или что надо еще добавить дабы лучше поисковику было? User-agent: * Disallow: /a/ Disallow: /stat/ Disallow: /index/1 Disallow: /index/2 Disallow: /index/3 Disallow: /index/5 Disallow: /index/7 Disallow: /index/8 Disallow: /index/9 Disallow: /panel/ Disallow: /admin/ Disallow: /secure/ Disallow: /informer/ Disallow: /mchat Disallow: /search Disallow: /shop/order/ Disallow: /?ssid= Disallow: /abnl/ Sitemap: http://********/sitemap.xml все верно? Конечно же нет.Прочти и сделай закладку http://help.yandex.ru/webmaster/controlling-robot/robots-txt.xml Link to post Share on other sites
dolpfin 0 Posted December 14, 2014 Report Share Posted December 14, 2014 Вопрос такой: Если правильно прописан роботс и в метатегах добавлено <meta name="robots" content="all">, будут ли поисковики учитывать запреты в роботс или будут кушать весь контент? Link to post Share on other sites
Slavik 72 Posted December 14, 2014 Report Share Posted December 14, 2014 dolfin, в этом случае будет учитываться robots.txt В яндексе сниппета не будет,- не индексируется. в гугле сниппет будет с описанием - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", будет находиться в скрытых результатах dolpfin 1 Link to post Share on other sites
dolpfin 0 Posted December 14, 2014 Report Share Posted December 14, 2014 dolfin, в этом случае будет учитываться robots.txt В яндексе сниппета не будет,- не индексируется. в гугле сниппет будет с описанием - "Описание веб-страницы недоступно из-за ограничений в файле robots.txt", будет находиться в скрытых результатах Спасибо за ответ! Я всё понял. Link to post Share on other sites
witosp 636 Posted December 15, 2014 Report Share Posted December 15, 2014 Директиву Host забыли - порой имеет весомое значение. Link to post Share on other sites
shopeq 141 Posted December 15, 2014 Report Share Posted December 15, 2014 На некоторых сайтах видел только одну директиву User-agent: *Disallow:User-agent: YandexDisallow:Host: бла-бла.ru Это говорит о том, что сайт полностью открыт для роботов ? Link to post Share on other sites
xepakc 94 Posted December 15, 2014 Report Share Posted December 15, 2014 На некоторых сайтах видел только одну директиву User-agent: *Disallow:User-agent: YandexDisallow:Host: бла-бла.ru Это говорит о том, что сайт полностью открыт для роботов ? Это, скорее всего, dle. Открыт полностью, но закрывают индексацию через мета-теги. У меня роботс состоит из 5 строк. Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now