ehisod 3 Report post Posted January 4, 2015 Всем доброго времени суток. Помогите с robots.txt мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с ) чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь ТЕМА ЗАКРЫТА!Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю) Quote Share this post Link to post Share on other sites
Sirge 22 Report post Posted January 4, 2015 Disallow: /getfile* Но лучше использовать мета тег <meta name="robots" content="noindex,nofollow" /> тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы. 1 ehisod reacted to this Quote Share this post Link to post Share on other sites
ehisod 3 Report post Posted January 4, 2015 Disallow: /getfile* Но лучше использовать мета тег <meta name="robots" content="noindex,nofollow" /> тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы. Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы? Quote Share this post Link to post Share on other sites
Folder 380 Report post Posted January 4, 2015 Ваш Robots с изменениями User-agent: *Disallow: /engine/Disallow: /go.phpDisallow: /user/Disallow: /page/Disallow: /newposts/Disallow: /statistics.htmlDisallow: /*subaction=userinfoDisallow: /*subaction=newpostsDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerDisallow: /*do=lostpasswordDisallow: /*do=addnewsDisallow: /*do=statsDisallow: /*do=pmDisallow: /*do=searchDisallow: /thumb.phpDisallow: /sf/Disallow: /tags/ Disallow: /getfile*Host: gametor.org Sitemap: http://gametor.org/sitemap.xml 1 ehisod reacted to this Quote Share this post Link to post Share on other sites
ehisod 3 Report post Posted January 4, 2015 Ваш Robots с изменениями User-agent: * Disallow: /engine/ Disallow: /go.php Disallow: /user/ Disallow: /page/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /thumb.php Disallow: /sf/ Disallow: /tags/ Disallow: /getfile* Host: gametor.org Sitemap: http://gametor.org/sitemap.xml большое вам спасибо) 1 Folder reacted to this Quote Share this post Link to post Share on other sites
Sirge 22 Report post Posted January 4, 2015 Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900 1 ehisod reacted to this Quote Share this post Link to post Share on other sites
ehisod 3 Report post Posted January 4, 2015 Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900 Большое вам спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю,еще раз спасибо. Quote Share this post Link to post Share on other sites
