Jump to content

Не понятный яша !


Recommended Posts

Во общем нужен robots.txt для вот этого; пока без толкового сайта http://zx-portal.ru

 

Просто не понятно в goog 31 статья проиндексированна из 64

А в яндексе все.

 

Но гугли видет все запросы нормально, а яндекс кракозябры.

С кодировкой всё ок.

Link to post
Share on other sites

Как я понял нуже нвот такой robots ?

Запрещаю только папку /engine/  

Мой на данный момент robots выглядет так:

 

User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
 
    User-agent: Yandex
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Host: http://zx-portal.ru
 
Что можно и нужно изменить.
Заранее спасибо.
Link to post
Share on other sites

Ваще то в роботсе указываются прямые пути (директории или файлы), и такие записи некорректны.
 

   Disallow: /?do=lastcomments

    Disallow: /index.php?do=pm

 

А для запрета только engine, так и оставь Disallow: /engine/
Link to post
Share on other sites

Есть более трудоемкий, но эффективный метод: в нужные папки кидаешь 2 файла (.htaccess и  check_bot.php). .htaccess должен перенаправить всех на файл check_bot.php, в котором, если это  заранее указанный бот, произойдет его блокировка, иначе - продолжится выполнение скрипта.

Link to post
Share on other sites

Есть более трудоемкий, но эффективный метод: в нужные папки кидаешь 2 файла (.htaccess и  check_bot.php). .htaccess должен перенаправить всех на файл check_bot.php, в котором, если это  заранее указанный бот, произойдет его блокировка, иначе - продолжится выполнение скрипта.

Я немного не понял ( нуб я наверное )

Link to post
Share on other sites

Я немного не понял ( нуб я наверное )

Та нет, я тут кстати не ту инфу дал. Такой вариант тут не прокатит, и его можно использовать только для защиты директорий от получения файла по прямой ссылке.

Для запрета индексации по конкретным урлам можно использовать код, который подключать в индексный файл (не помню как для дле, но в джумле все запросы вначале перенаправлены на индексный файл). Код может быть примерно следующий:

$addr_forbidden = array('do=search','do=user'); // ну и так далее
$bot = false;
// Определяем строку USER_AGENT
      $useragent = $_SERVER['HTTP_USER_AGENT'];
if(stristr($useragent, "Yandex") !== false || stristr($useragent, "Googlebot") !== false))
$bot=true;
// Определяем строку запроса
$request = $_SERVER['REQUEST_URI'];
// Если бот, тогда далаем обход массива запрещенных адресов
if($bot){
foreach($addr_forbidden as $addr){
if(stristr($request, $addr) !== false){
die('FORBIDDEN');
break;
      }
   }
}
Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...