Скрипт определения и записи перехода ботов ПС. Нужна помощь.

[Vyacheslav 260]

Всем привет!

 

Помогите пожалуйста дополнить скрипт записи перехода ботов

<?php 
function robot ($bot)
{
 if(strpos($_SERVER['HTTP_USER_AGENT'], $bot)!==false)
 {
 $text = date("Y-m-d H:i") . " $bot посетил страницу: ". $_SERVER['REQUEST_URI']."\r\n";
 // запись в файл
 $file = fopen("bot.txt","a");
 fwrite($file, $text);
 fclose ($file);
 // отправка на почту
 mail('...@mail.ru', "$bot посетил страницу", $text);
 }
}
 
// отслеживаем роботов
robot('Googlebot');
robot('Yandex');

?>

Запись перехода ботов яндекса и гугл работает.

 

Надо реализовать запись всех ботов как с других поисковых систем так и социальных сетей.

[LetSevI 322]

Мои

    public static $robots = array(
        'googlebot',
        'msnbot',
        'slurp',
        'yahoo',
        'askjeeves',
        'fastcrawler',
        'infoseek',
        'lycos',
        'ia_archiver',
        'yandex',
        'mail.ru',
        'ask.com',
        'Copyscape.com',
        'bing.com',
    );

[files 2797]

Googlebot
Slurp 
Yahoo
Slurp
MSNBot
Teoma
Scooter
ia_archiver
Lycos
Yandex
StackRambler
Mail.Ru
Aport
WebAlta

Смущает:

 

mail('...@mail.ru', "$bot посетил страницу", $text);

Если слать е-маил уведомление о каждом боте, можно исчерпать всяческий лимит почты

[Vyacheslav 260]

Googlebot
Slurp 
Yahoo
Slurp
MSNBot
Teoma
Scooter
ia_archiver
Lycos
Yandex
StackRambler
Mail.Ru
Aport
WebAlta

Смущает:

 

mail('...@mail.ru', "$bot посетил страницу", $text);

Если слать е-маил уведомление о каждом боте, можно исчерпать всяческий лимит почты

 

Да я знаю! Спасибо!

 

Только вот ботов с соц сетей которые приходят, нет их списка по логам проскакивает Twitterbot и так далее.

[files 2797]

Из социальных ботов добавьте:

Twitterbot
Crowsnest
facebook
vkShare
MailRuConnect

[e2site 54]

Не проще access.log парсить?

[Vyacheslav 260]

Не проще access.log парсить?

 

 

Либо я вижу всё так

2016-02-28 03:15 Yandex посетил страницу: /
2016-02-28 04:30 Yandex посетил страницу: /
2016-02-28 04:55 Yandex посетил страницу: /
2016-02-28 05:52 Yandex посетил страницу: /
2016-02-28 06:47 Yandex посетил страницу: /
2016-02-28 07:46 Yandex посетил страницу: /
2016-02-28 08:21 Yandex посетил страницу: /
2016-02-28 10:44 Yandex посетил страницу: /
2016-02-28 11:06 Yandex посетил страницу: /
2016-02-28 12:08 Yandex посетил страницу: /
2016-02-28 12:08 Twitterbot посетил страницу: /

либо в логах всё в кучу ещё непонятно с чем.

 

Тестю новый свой сайт, и изучаю какие боты когда приходят после отправления твитов с ссылкой.

 

мне проще когда в файл аккуратно складывается

[e2site 54]

Так в логах все аккуратно сложенно и рпзделено табуляцией, посмотрите в поиске формат, которые пишет вебсервер.

Через скрипт вы не поймаете ошибки.

[Vyacheslav 260]

 

Из социальных ботов добавьте:

Twitterbot
Crowsnest
facebook
vkShare
MailRuConnect

 

 

Единственное отображение в браузере

 

/bot.txt 

2016-02-28 12:19 Yandex посетил страницу: /

как исправить что бы в нормальную кодировку переводил

 

через сервер открываешь, отображается нормально