Помогите с robots.txt

[ehisod 3]

Всем доброго времени суток. Помогите с robots.txt  мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с    )  чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь

ТЕМА ЗАКРЫТА!
Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)

[Sirge 22]

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

[ehisod 3]

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

[Folder 380]

Ваш Robots с изменениями

 

 

User-agent: *
Disallow: /engine/
Disallow: /go.php
Disallow: /user/
Disallow: /page/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /thumb.php
Disallow: /sf/
Disallow: /tags/

Disallow: /getfile*
Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

[ehisod 3]

Ваш Robots с изменениями

 

 

User-agent: *

Disallow: /engine/

Disallow: /go.php

Disallow: /user/

Disallow: /page/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /thumb.php

Disallow: /sf/

Disallow: /tags/

Disallow: /getfile*

Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

большое вам спасибо)

[Sirge 22]

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900

[ehisod 3]

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900

Большое вам спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю,еще раз спасибо.