VkinoMEGE 0 Posted January 27, 2014 Report Share Posted January 27, 2014 User-agent: * Disallow: /engine/go.php Disallow: /engine/download.php Disallow: /user/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Link to post Share on other sites
Riminy 202 Posted January 27, 2014 Report Share Posted January 27, 2014 Вы привели данные из него запрещающие индексацию определенных URL в домене всеми поисковыми системами. Что вы хотите добиться, чтобы было "так"? А вообще, есть целая энциклопедия по robots.txt почитайте, ознакомьтесь http://robotstxt.org.ru/ Link to post Share on other sites
VkinoMEGE 0 Posted January 27, 2014 Author Report Share Posted January 27, 2014 А если я поставлю норм robots он попадет в яндекс? Link to post Share on other sites
Riminy 202 Posted January 28, 2014 Report Share Posted January 28, 2014 Роботс не индексируется, а диктует правила поисковому роботу, что индексировать, а что нет, с какой частотой это делать. robots.txt не попадет в индекс. Link to post Share on other sites
sava9898 4 Posted January 28, 2014 Report Share Posted January 28, 2014 Документ запрещен в файле robots.txt что делать??????? Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now