Не понятный яша !

[Apich 14]

Во общем нужен robots.txt для вот этого; пока без толкового сайта http://zx-portal.ru

 

Просто не понятно в goog 31 статья проиндексированна из 64

А в яндексе все.

 

Но гугли видет все запросы нормально, а яндекс кракозябры.

С кодировкой всё ок.

[BuHoBeH 953]

User-agent: Mediapartners-Google
Disallow:
User-agent: *
Disallow: /engine/
Host: sait.ru
Sitemap: http://sait.ru/sitemap.xml

 

 

PS. Первая строчка для рекламы Adsense.

[Apich 14]

Как я понял нуже нвот такой robots ?

Запрещаю только папку /engine/  

Мой на данный момент robots выглядет так:

 

User-agent: *

    Disallow: /*print

    Disallow: /user/

    Disallow: /favorites/

    Disallow: /cache/

    Disallow: /cgi-bin/

    Disallow: /engine/

    Disallow: /language/

    Disallow: /templates/

    Disallow: /uploads/

    Disallow: /backup/

    Disallow: /autobackup.php

    Disallow: /admin.php

    Disallow: /?do=lastcomments

    Disallow: /statistics.html

    Disallow: /index.php?do=pm

    Disallow: /index.php?do=search

    Disallow: /index.php?do=register

    Disallow: /index.php?do=feedback

    Disallow: /index.php?do=lostpassword

    Disallow: /index.php?do=stats

    Disallow: /index.php?do=addnews

    Disallow: /index.php?subaction=newposts

    Sitemap: http://zx-portal.ru/sitemap.xml

 

    User-agent: Yandex

    Disallow: /*print

    Disallow: /user/

    Disallow: /favorites/

    Disallow: /cache/

    Disallow: /cgi-bin/

    Disallow: /engine/

    Disallow: /language/

    Disallow: /templates/

    Disallow: /uploads/

    Disallow: /backup/

    Disallow: /autobackup.php

    Disallow: /admin.php

    Disallow: /?do=lastcomments

    Disallow: /statistics.html

    Disallow: /index.php?do=pm

    Disallow: /index.php?do=search

    Disallow: /index.php?do=register

    Disallow: /index.php?do=feedback

    Disallow: /index.php?do=lostpassword

    Disallow: /index.php?do=stats

    Disallow: /index.php?do=addnews

    Disallow: /index.php?subaction=newposts

    Sitemap: http://zx-portal.ru/sitemap.xml

    Host: http://zx-portal.ru

 

Что можно и нужно изменить.

Заранее спасибо.

[Apich 14]

Никто не знает правильный robots xD ?

[BuHoBeH 953]

Никто не знает правильный robots xD ?

http://alaev.info/blog/post/3900

[webrocks 24]

http://joomlamaster.org.ua/stati/13-chto-takoe-robotstxt-kak-pravilno-nastroit-v-cms-joomla-16kh-i-17kh.html

[aesculapius 59]

Ваще то в роботсе указываются прямые пути (директории или файлы), и такие записи некорректны.
 

   Disallow: /?do=lastcomments

    Disallow: /index.php?do=pm

 

А для запрета только engine, так и оставь Disallow: /engine/

[Apich 14]

 

webrocks тема по dle

 

[aesculapius 59]

Есть более трудоемкий, но эффективный метод: в нужные папки кидаешь 2 файла (.htaccess и  check_bot.php). .htaccess должен перенаправить всех на файл check_bot.php, в котором, если это  заранее указанный бот, произойдет его блокировка, иначе - продолжится выполнение скрипта.

[Apich 14]

Есть более трудоемкий, но эффективный метод: в нужные папки кидаешь 2 файла (.htaccess и  check_bot.php). .htaccess должен перенаправить всех на файл check_bot.php, в котором, если это  заранее указанный бот, произойдет его блокировка, иначе - продолжится выполнение скрипта.

Я немного не понял ( нуб я наверное )

[aesculapius 59]

Я немного не понял ( нуб я наверное )

Та нет, я тут кстати не ту инфу дал. Такой вариант тут не прокатит, и его можно использовать только для защиты директорий от получения файла по прямой ссылке.

Для запрета индексации по конкретным урлам можно использовать код, который подключать в индексный файл (не помню как для дле, но в джумле все запросы вначале перенаправлены на индексный файл). Код может быть примерно следующий:

$addr_forbidden = array('do=search','do=user'); // ну и так далее
$bot = false;
// Определяем строку USER_AGENT
      $useragent = $_SERVER['HTTP_USER_AGENT'];
if(stristr($useragent, "Yandex") !== false || stristr($useragent, "Googlebot") !== false))
$bot=true;
// Определяем строку запроса
$request = $_SERVER['REQUEST_URI'];
// Если бот, тогда далаем обход массива запрещенных адресов
if($bot){
foreach($addr_forbidden as $addr){
if(stristr($request, $addr) !== false){
die('FORBIDDEN');
break;
      }
   }
}