Jump to content
Sign in to follow this  
ehisod

Помогите с robots.txt

Recommended Posts

Всем доброго времени суток. Помогите с robots.txt  мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с    )  чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь :)



ТЕМА ЗАКРЫТА!
Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)

Share this post


Link to post
Share on other sites

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

Share this post


Link to post
Share on other sites

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Share this post


Link to post
Share on other sites

Ваш Robots с изменениями

 

 

User-agent: *
Disallow: /engine/
Disallow: /go.php
Disallow: /user/
Disallow: /page/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /thumb.php
Disallow: /sf/
Disallow: /tags/

Disallow: /getfile*
Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

Share this post


Link to post
Share on other sites

Ваш Robots с изменениями

 

 

User-agent: *

Disallow: /engine/

Disallow: /go.php

Disallow: /user/

Disallow: /page/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /thumb.php

Disallow: /sf/

Disallow: /tags/

Disallow: /getfile*

Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

большое вам спасибо)

Share this post


Link to post
Share on other sites

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900

Share this post


Link to post
Share on other sites

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900

Большое вам спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю,еще раз спасибо.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...