Sign in to follow this  
Followers 0
WQP

И снова robots.txt

10 posts in this topic

Я знаю, что это изъезженная тема, но всё же мне хочется узнать правильный robots.txt я составил? В google, yandex при выдаче лежат старые темы (2008-2011). А как привило всё меняется. Прокомментируйте пожалуйста.

User-agent: *
Disallow: /2013/
Disallow: /tags/
Disallow: /user/
Disallow: /favorites/
Disallow: /lastnews/
Disallow: /newposts/
Disallow: /catalog/
Disallow: /*page/
Disallow: /*print
Disallow: /addnews.html
Disallow: /statistics.html
Disallow: /rules.html
Disallow: /dle-rules-page.html
Disallow: /engine/ajax/
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /*?*
Disallow: /admin

Host: ****
Sitemap: ****

Share this post


Link to post
Share on other sites

правильный или неправильный роботс зависит от того, что ты хочешь закрыть от индексации )) не бывает идеального

 

вот например, это сомнительно:

 

 


Disallow: /2013/

 

 


Disallow: /catalog/

но если есть необходимость неидексировать эти разделы, то ок

Share this post


Link to post
Share on other sites

@GlazAlmaz, дубли убрать необходимо.

Disallow: /catalog/ - тоже самое, что и главная сайта 

Disallow: /2013/ - тоже самое, что и главная (сайт открыт в 2013)

Share this post


Link to post
Share on other sites

 

 


Disallow: /catalog/ - тоже самое, что и главная сайта

Disallow: /2013/ - тоже самое, что и главная (сайт открыт в 2013)

 

Но вы понимаете, надеюсь, что будут закрыты все вложенные страницы в папке?

например:

/catalog/statistics.html

/2013/news.html

/2013/image.jpg

Share this post


Link to post
Share on other sites

У меня в роботсе так 

 

Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /templates/
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts

 

Host: бла бла сайт
sitemap: бла бла сайт/sitemap.xml

 

остальное правлю все в /engine/engine.php

 

Почитай http://alaev.info/blog/post/3900

 

Сейчас отлично сайт проиндексировало ничего лишнего. Даже гугл, который раньше с роботсом все равно жрал все в подряд, сейчас отлично все без хлама забирает.

vitalich likes this

Share this post


Link to post
Share on other sites

Полностью согласен с предыдущим постом

остальное правлю все в /engine/engine.php

 

 код предложенный Алаичем идеально работает. Можно регулировать свои страницы по своим потребностям.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.