Sign in to follow this  
Followers 0
ehisod

Помогите с robots.txt

7 posts in this topic

Всем доброго времени суток. Помогите с robots.txt  мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с    )  чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь :)



ТЕМА ЗАКРЫТА!
Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)

Share this post


Link to post
Share on other sites

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

ehisod likes this

Share this post


Link to post
Share on other sites

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Share this post


Link to post
Share on other sites

Ваш Robots с изменениями

 

 

User-agent: *
Disallow: /engine/
Disallow: /go.php
Disallow: /user/
Disallow: /page/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /thumb.php
Disallow: /sf/
Disallow: /tags/

Disallow: /getfile*
Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

ehisod likes this

Share this post


Link to post
Share on other sites

Ваш Robots с изменениями

 

 

User-agent: *

Disallow: /engine/

Disallow: /go.php

Disallow: /user/

Disallow: /page/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /thumb.php

Disallow: /sf/

Disallow: /tags/

Disallow: /getfile*

Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

большое вам спасибо)

Folder likes this

Share this post


Link to post
Share on other sites

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900
ehisod likes this

Share this post


Link to post
Share on other sites

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900

Большое вам спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю,еще раз спасибо.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.