ehisod 3 Posted January 4, 2015 Report Share Posted January 4, 2015 Всем доброго времени суток. Помогите с robots.txt мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с ) чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь ТЕМА ЗАКРЫТА!Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю) Quote Link to post Share on other sites
Sirge 22 Posted January 4, 2015 Report Share Posted January 4, 2015 Disallow: /getfile* Но лучше использовать мета тег <meta name="robots" content="noindex,nofollow" /> тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы. ehisod 1 Quote Link to post Share on other sites
ehisod 3 Posted January 4, 2015 Author Report Share Posted January 4, 2015 Disallow: /getfile* Но лучше использовать мета тег <meta name="robots" content="noindex,nofollow" /> тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы. Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы? Quote Link to post Share on other sites
VIP Folder 380 Posted January 4, 2015 VIP Report Share Posted January 4, 2015 Ваш Robots с изменениями User-agent: *Disallow: /engine/Disallow: /go.phpDisallow: /user/Disallow: /page/Disallow: /newposts/Disallow: /statistics.htmlDisallow: /*subaction=userinfoDisallow: /*subaction=newpostsDisallow: /*do=lastcommentsDisallow: /*do=feedbackDisallow: /*do=registerDisallow: /*do=lostpasswordDisallow: /*do=addnewsDisallow: /*do=statsDisallow: /*do=pmDisallow: /*do=searchDisallow: /thumb.phpDisallow: /sf/Disallow: /tags/ Disallow: /getfile*Host: gametor.org Sitemap: http://gametor.org/sitemap.xml ehisod 1 Quote Link to post Share on other sites
ehisod 3 Posted January 4, 2015 Author Report Share Posted January 4, 2015 Ваш Robots с изменениями User-agent: * Disallow: /engine/ Disallow: /go.php Disallow: /user/ Disallow: /page/ Disallow: /newposts/ Disallow: /statistics.html Disallow: /*subaction=userinfo Disallow: /*subaction=newposts Disallow: /*do=lastcomments Disallow: /*do=feedback Disallow: /*do=register Disallow: /*do=lostpassword Disallow: /*do=addnews Disallow: /*do=stats Disallow: /*do=pm Disallow: /*do=search Disallow: /thumb.php Disallow: /sf/ Disallow: /tags/ Disallow: /getfile* Host: gametor.org Sitemap: http://gametor.org/sitemap.xml большое вам спасибо) Folder 1 Quote Link to post Share on other sites
Sirge 22 Posted January 4, 2015 Report Share Posted January 4, 2015 Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900 ehisod 1 Quote Link to post Share on other sites
ehisod 3 Posted January 4, 2015 Author Report Share Posted January 4, 2015 Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900 Большое вам спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю,еще раз спасибо. Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.