Sign in to follow this  
Followers 0
yanat

Robots.txt

13 posts in this topic

Здравствуйте.

Ув. форумчане прошу помощи кто хорошо понимает в Robots.txt.

Дело в том, что после последнего АП_а, Яндекс закинул более 200 страниц в "Документ запрещен в файле robots.txt". Раньше же было всего около 50_и.

И вот прошу посмотреть на мой список в Robots.txt всё ли там норм.

User-agent: *
Host: drunkcow.net
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /rules.html
Disallow: /*do=rules
Disallow: /lastnews/ 
Disallow: /*do=lastnews
Disallow: /*action=mobile*
Disallow: /page/
Sitemap: http://drunkcow.net/sitemap.xml

Share this post


Link to post
Share on other sites

/page/1 закрой. Тоже самое что / и /page/

Закрыл, всё ?

Спасибо.

Share this post


Link to post
Share on other sites

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /*do=search
Disallow: /rules.html
Disallow: /*do=rules
Disallow: /lastnews/
Disallow: /*do=lastnews
Disallow: /*action=mobile*
Disallow: /page/
Sitemap: http://drunkcow.net/sitemap.xml
Host: drunkcow.net

Share this post


Link to post
Share on other sites

User-agent: *

Disallow: /engine/go.php

Disallow: /engine/download.php

Disallow: /user/

Disallow: /newposts/

Disallow: /statistics.html

Disallow: /*subaction=userinfo

Disallow: /*subaction=newposts

Disallow: /*do=lastcomments

Disallow: /*do=feedback

Disallow: /*do=register

Disallow: /*do=lostpassword

Disallow: /*do=addnews

Disallow: /*do=stats

Disallow: /*do=pm

Disallow: /*do=search

Disallow: /rules.html

Disallow: /*do=rules

Disallow: /lastnews/

Disallow: /*do=lastnews

Disallow: /*action=mobile*

Disallow: /page/

Sitemap: http://drunkcow.net/sitemap.xml

Host: drunkcow.net

Вы поменяли Host: местами, смысл ?

 

Директива Host является межсекционной, поэтому будет использоваться роботом вне зависимости от места в файле robots.txt, где она указана.

Share this post


Link to post
Share on other sites

Хочу вернутся к данной теме.

Что то не то с этим Robots.txt, 

после сегодняшнего АП_а, Яндекс закинул ещё 500 страниц в "Документ запрещен в файле robots.txt". Раньше было 250.

Помогите разобраться...

Share this post


Link to post
Share on other sites

На тему robots в dlе имеется хорошее решение от алаева

Для вас это 

User-agent: *
Disallow: /engine/
Host: drunkcow.net
Sitemap: http://drunkcow.net/sitemap.xml

Далее редактируем файл /engine/engine.php

 

Находишь строку

if ($config['allow_rss']) $metatags .= <<<HTML

Выше добавляешь код:

if (
    //$do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    //$do == 'feedback' OR /* Страница формы обратной связи */
    //$do == 'favorites' OR /* Страницы закладок пользователей */
    //$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    //$do == 'lostpassword' OR /* Страница восстановления пароля */
    //$do == 'pm' OR /* Страницы личных сообщений пользователей */
    //$do == 'register' OR /* Страница регистрации нового пользователя */
    //$do == 'rules' OR /* Страница правил сайта */
    //$do == 'stats' OR /* Страница статистики сайта */
    //$do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    //$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    //$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    //$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    //$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML;

Share this post


Link to post
Share on other sites

 

На тему robots в dlе имеется хорошее решение от алаева

Для вас это 

 

Можно узнать, что это даст, или киньте ссылку на материал...

 

Нашел уже данный материал, спасибо. Буду пробовать.

Share this post


Link to post
Share on other sites

Уберёт всевозможные дубли страниц. будут индексироваться только главная, первая страница категории и страницы статьей.

вместо предложенного кода можно поставить модуль DonBot, что позволит вам сделать всё на уровне шаблона и не ковырять сам движок.

Share this post


Link to post
Share on other sites

@MyLiveIsOver,

 

Если копипастите, то уж все тогда. Если он вставит код в данном виде, то получит лишь закрытие некоторых страниц. Расскоментировать строчки надобно

Share this post


Link to post
Share on other sites

@Воланд, извиняюсь, я не думал, что на форуме вебмастеров есть люди, которые не знают, что такое закомментировать. Теперь буду учитывать. Я вставлял с Evernote. Храню в нем интересные мне заметки. Так что вставил в той форме в которой было.

Share this post


Link to post
Share on other sites

@MyLiveIsOver,

 

Да знают,знают....просто многие имеют особенность вставлять код не смотря, что собственно вставляют. Алаичь об этом кстати в посте предупреждал

Share this post


Link to post
Share on other sites

@MyLiveIsOver,

 

Да знают,знают....просто многие имеют особенность вставлять код не смотря, что собственно вставляют. Алаичь об этом кстати в посте предупреждал

Потому и просил ссылку на материал.

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.