Jump to content

Robots.txt для DLE сайта


Recommended Posts

  • VIP

Привет всем. Сделал в общем robots.txt для своего сайта и закрыл вроде всё, что можно, но я уверен, что не всё))), чуйка такая).

 

CMS DLE 10.3

User-agent: *
Disallow: /engine/go.php
Disallow: /engine/download.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm
Disallow: /print/
Disallow: /tags/
Disallow: /admin.php?mod=main

Host: мой сайт.ru
Sitemap: http://мой сайт/sitemap.xml

Что можно ещё закрыть или и так всё нормально?

 

P.S Не надо мне кидать статьи, где якобы правильный robots.txt я уже их все пересмотрел.

Link to post
Share on other sites

Правильней будет так:

 

User-agent: *
Disallow: /engine/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

Потом открываем файл /engine/engine.php

находим строку:

if ($config['allow_rss']) $metatags .= <<<HTML

ВЫШЕ добавляем код:

if (

    //$do == 'addnews' OR /* Страница добавления новости с сайта */
    //$do == 'alltags' OR /* Страница просмотра списка тегов */
    //$do == 'feedback' OR /* Страница формы обратной связи */
    //$do == 'favorites' OR /* Страницы закладок пользователей */
    //$do == 'lastcomments' OR /* Страница просмотра всех последних комментариев на сайте, в т.ч. комментариев отдельного пользователя */
    //$do == 'lastnews' OR /* Страница просмотра всех последних новостей */
    //$do == 'lostpassword' OR /* Страница восстановления пароля */
    //$do == 'pm' OR /* Страницы личных сообщений пользователей */
    //$do == 'register' OR /* Страница регистрации нового пользователя */
    //$do == 'rules' OR /* Страница правил сайта */
    //$do == 'stats' OR /* Страница статистики сайта */
    //$do == 'search' OR /* Страница поиска и результатов поиска */
    //$do == 'static' OR /* Все статические страницы */
    //$do == 'tags' OR /* Просмотр новостей по тегу */
    //$do == 'xfsearch' OR /* Просмотр новостей новостей по доп. полям */
    //$subaction == 'allnews' OR /* Просмотр всех новостей пользователя */
    //$subaction == 'newposts' OR /* Просмотр непрочитанных новостей для пользователя */
    //$subaction == 'showfull' OR /* Просмотр полной новости */
    //$subaction == 'userinfo' OR /* Просмотр профиля пользователя */
    //$dle_module == 'date' OR /* Просмотр архива новостей за год/месяц/день. Заменяет собой сразу все три следующие строки */
    //($year != '' and $month == '' and $day == '') OR /* Просмотр архива новостей за год */
    //($year != '' and $month != '' and $day == '') OR /* Просмотр архива новостей за месяц */
    //($year != '' and $month != '' and $day != '' and $subaction == '') OR /* Просмотр архива новостей за день */
    //(intval($_GET['cstart']) > 1 ) OR /* Любые страницы пагинации */
    //($dle_module == 'main' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации для главной страницы */
    //($do == 'cat' and $category != '' and $subaction == '' and (intval($_GET['cstart']) > 1)) OR /* Страницы пагинации только для категорий */
    //($do == 'cat' and $category != '' and $subaction == '') OR /* Просмотр любой категории */
    //($do == 'cat' and $category_id == 'X' and $subaction == '') OR /* Просмотр определенной категории. X заменить на id категории */
    $catalog != '' /* Просмотр каталога по буквенному идентификатору */
    ) $metatags .= <<<HTML
\n<meta name="robots" content="noindex,nofollow" />
HTML
;

 

Если вы вставите код в его изначальном виде, то ничего не произойдет кроме закрытия страниц буквенного каталога. Чтобы нужные правила начали работать, необходимо удалить знак комментирования, то есть двойной слеш в начале строки «//».

 

Правильный robots.txt для DLE 10.3 от Алаича

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...