Robots.txt для DLE

[Mr.Gif 10]

Подскажите как правильно сделать robots.txt на dle 10.0. При добавлении в google поиск  написало 

Файл robots.txt Заблокированные URL  http://evindo.ru/robots.txt  Для робота Google установлен запрет на http://evindo.ru/

Ещё пишет Обнаружены серьезные ошибки, связанные с состоянием сайта.

 

Ну и щас не индексируется

[sotik 4]

User-agent: *
Disallow: /engine/
Disallow: /engine/go.php
Disallow: /user/
Disallow: /newposts/
Disallow: /statistics.html
Disallow: /*subaction=userinfo
Disallow: /*subaction=newposts
Disallow: /*do=lastcomments
Disallow: /*do=feedback
Disallow: /*do=register
Disallow: /*do=lostpassword
Disallow: /*do=addnews
Disallow: /*do=stats
Disallow: /*do=pm

стандартно так.

[kanzashi 214]

User-agent: *
Allow: /uploads/posts/
Disallow: /*subaction=userinfo
Disallow: /engine/go.php
Disallow: /favorites/
Disallow: /cache/
Disallow: /cgi-bin/
Disallow: /page/
Disallow: */page/*
Disallow: /engine/
Disallow: /language/
Disallow: /templates/
Disallow: /uploads/
Disallow: /backup/
Disallow: /newposts/
Disallow: /lastnews/
Disallow: /catalog/
Disallow: /autobackup.php
Disallow: /admin.php
Disallow: /statistics.html
Disallow: /banners/
Disallow: /user/
Disallow: /*action=mobile$
Disallow: /do=*
Disallow: /*do=*
Disallow: /?*
Host: сайт.ru
Sitemap: http://сайт.ru/sitemap.xml

[kliopa10 0]

имхо ,если идёт заработок на системе как сапе, то не стоит ставить запрет на:

Disallow: /page/
Disallow: */page/*

[buktor 243]

имхо ,если идёт заработок на системе как сапе, то не стоит ставить запрет на:

Имхо, если не хочешь дублей страниц, то лучше пусть стоит этот запрет!))

[vitalich 75]

Вот мой robots:

User-agent: *
Disallow:/engine/
Disallow:/user/
Disallow:/404.html/
Host: site.ru
Sitemap: http://site.ru/sitemap.xml

 

 

У меня 9.8 но отличия небольшие от 10 и я закрываю от ПС не нужное мета тегами <meta name="robots" content="noindex,nofollow" />

 

В engine/engine.php у меня стоит конструкция в которой я настраиваю что открыть ,а что закрыть от ПС.

 

А вообще рекомендую зайти на блог Алаича там много инфы по оптимизации DLE.

[Mr.Gif 10]

Всё Спасибо. Индексация пошла успешно. Закройте тему