Jump to content

Помогите с robots.txt


Recommended Posts

Всем доброго времени суток. Помогите с robots.txt  мне нужно закрыть от индексации эти страницы : (это как пример не именно эти,вообще все с    )  чтобы Яша их вообще не видел.Большое спасибо,надеюсь на вашу добрую помощь :)



ТЕМА ЗАКРЫТА!
Всем Большое спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю)

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

Link to post
Share on other sites

Disallow: /getfile*

Но лучше использовать мета тег

<meta name="robots" content="noindex,nofollow" />

тогда поисковики выбросят из поиска эти страницы, если они уже проиндексированы.

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Link to post
Share on other sites
  • VIP

Ваш Robots с изменениями

 

 

User-agent: *
Disallow: /engine/
Disallow: /go.php
Disallow: /user/
Disallow: /page/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /thumb.php
Disallow: /sf/
Disallow: /tags/

Disallow: /getfile*
Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

Link to post
Share on other sites

Ваш Robots с изменениями

 

 

User-agent: *

Disallow: /engine/

Disallow: /go.php

Disallow: /user/

Disallow: /page/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /thumb.php

Disallow: /sf/

Disallow: /tags/

Disallow: /getfile*

Host: gametor.org

Sitemap: http://gametor.org/sitemap.xml

 

 

большое вам спасибо)

Link to post
Share on other sites

Большое спасибо,а Disallow: /getfile* у меня страницы с цифрами они не будут точно индексироваться? теги noindex,nofollow делать придеться очень много таких страциц более 3000..,большое вам спасибо,это получаеться при следующем заходе робота он уже не увидит эти страницы?

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900
Link to post
Share on other sites

Если страницы уже проиндексированы, то при помощи robots.txt их из индекса не выкинуть, только мета тегом noindex nofollow можно будет. Какая cms у вас, если dle то почитайте здесь http://alaev.info/blog/post/3900

Большое вам спасибо за подсказки,всех с новым годом и всего наилучшего вам желаю,еще раз спасибо.

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...