Jump to content

Не понятный яша !


Recommended Posts

Во общем нужен robots.txt для вот этого; пока без толкового сайта http://zx-portal.ru

 

Просто не понятно в goog 31 статья проиндексированна из 64

А в яндексе все.

 

Но гугли видет все запросы нормально, а яндекс кракозябры.

С кодировкой всё ок.

Link to post
Share on other sites

Как я понял нуже нвот такой robots ?

Запрещаю только папку /engine/  

Мой на данный момент robots выглядет так:

 

User-agent: *
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
 
    User-agent: Yandex
    Disallow: /*print
    Disallow: /user/
    Disallow: /favorites/
    Disallow: /cache/
    Disallow: /cgi-bin/
    Disallow: /engine/
    Disallow: /language/
    Disallow: /templates/
    Disallow: /uploads/
    Disallow: /backup/
    Disallow: /autobackup.php
    Disallow: /admin.php
    Disallow: /?do=lastcomments
    Disallow: /statistics.html
    Disallow: /index.php?do=pm
    Disallow: /index.php?do=search
    Disallow: /index.php?do=register
    Disallow: /index.php?do=feedback
    Disallow: /index.php?do=lostpassword
    Disallow: /index.php?do=stats
    Disallow: /index.php?do=addnews
    Disallow: /index.php?subaction=newposts
    Host: http://zx-portal.ru
 
Что можно и нужно изменить.
Заранее спасибо.
Link to post
Share on other sites

Ваще то в роботсе указываются прямые пути (директории или файлы), и такие записи некорректны.
 

   Disallow: /?do=lastcomments

    Disallow: /index.php?do=pm

 

А для запрета только engine, так и оставь Disallow: /engine/
Link to post
Share on other sites

Есть более трудоемкий, но эффективный метод: в нужные папки кидаешь 2 файла (.htaccess и  check_bot.php). .htaccess должен перенаправить всех на файл check_bot.php, в котором, если это  заранее указанный бот, произойдет его блокировка, иначе - продолжится выполнение скрипта.

Link to post
Share on other sites

Есть более трудоемкий, но эффективный метод: в нужные папки кидаешь 2 файла (.htaccess и  check_bot.php). .htaccess должен перенаправить всех на файл check_bot.php, в котором, если это  заранее указанный бот, произойдет его блокировка, иначе - продолжится выполнение скрипта.

Я немного не понял ( нуб я наверное )

Link to post
Share on other sites

Я немного не понял ( нуб я наверное )

Та нет, я тут кстати не ту инфу дал. Такой вариант тут не прокатит, и его можно использовать только для защиты директорий от получения файла по прямой ссылке.

Для запрета индексации по конкретным урлам можно использовать код, который подключать в индексный файл (не помню как для дле, но в джумле все запросы вначале перенаправлены на индексный файл). Код может быть примерно следующий:

$addr_forbidden = array('do=search','do=user'); // ну и так далее
$bot = false;
// Определяем строку USER_AGENT
      $useragent = $_SERVER['HTTP_USER_AGENT'];
if(stristr($useragent, "Yandex") !== false || stristr($useragent, "Googlebot") !== false))
$bot=true;
// Определяем строку запроса
$request = $_SERVER['REQUEST_URI'];
// Если бот, тогда далаем обход массива запрещенных адресов
if($bot){
foreach($addr_forbidden as $addr){
if(stristr($request, $addr) !== false){
die('FORBIDDEN');
break;
      }
   }
}
Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...