Sign in to follow this  
Followers 0
webostrov

Яндекс-боты штурмуют сайт. Что это значит?

23 posts in this topic

Добра!
 
Воскресное раннее утро (около 5:00), захожу на один из свои сайтов, Обычно в утро выходного дня минимум посетителей, поэтому особых рекордов не жду.
 
И вот уже с полчаса наблюдаю картину, как несколько ботов Яндекса шустрят сайт с ног до головы, делая по 35-40 заходов в секунду. 
 
Это просто штурм какой-то.
Обычно 8-12 ботов - это нормально, причем со всех ПС. А тут 35 ботов только с Яндекса.  :blink:
 
Я вот знаю, что если птицы летают низко - это к дождю, а кожура банана на асфальте - к бриллиантовой руке,
А взбесившиеся боты Яндекса - это к чему?


563d5da62f33325a2b7e90277ed0ba37.jpg

Всем Добрых выходных!

Share this post


Link to post
Share on other sites

Все началось с данного форума ....

Зашел как-то сюда бот, прочитал подпись Вашу и задумался .....

Сколько милионов страниц уменя в базе, и нигде нет ответа на этот вопрос.

Ушел во свояси посоветовался с колегами, те сказали тоже ничего не знают по вопросу  ну и порешили на этом все ваши сайты прошерстить чтоб найти ответ на этот странный вопрос не поддающийся их логике и алгоритмам.

Вот так эта вся компашка к Вам и привалила ;)

И Вам хороших выходных , не переживайте такое бывает .... ничего страшного если явление разовое, с другой стороны быстробот никто не отменял ,может он решил Вас навестить и пожить немного?

Share this post


Link to post
Share on other sites

Я не знаю с чем это связано у меня на одном сайте за сутки бот яши бывает от 100 до 300 раз

webostrov likes this

Share this post


Link to post
Share on other sites

Все началось с данного форума ....

Зашел как-то сюда бот, прочитал подпись Вашу и задумался .....

Сколько милионов страниц уменя в базе, и нигде нет ответа на этот вопрос.

Ушел во свояси посоветовался с колегами, те сказали тоже ничего не знают по вопросу  ну и порешили на этом все ваши сайты прошерстить чтоб найти ответ на этот странный вопрос не поддающийся их логике и алгоритмам.

Вот так эта вся компашка к Вам и привалила ;)

И Вам хороших выходных , не переживайте такое бывает .... ничего страшного если явление разовое, с другой стороны быстробот никто не отменял ,может он решил Вас навестить и пожить немного?

 

:D дадада!

Быстроробот молодец, он живет на сайте (тьфу-тьфу). 

 

Вообще раньше никогда не замечал нигде такого. А от Яндекса добра ждать - что фиалки пивом поливать. Непредсказуемый, как моя супруга. Вот я и задумался...  :)

 

 

Я не знаю с чем это связано у меня на одном сайте за сутки бот яши бывает от 100 до 300 раз

 

В том то и дело, что Бот Яши живет на сайте и постоянно лазиет по страницам, как у себя дома. То есть сколько минут в сутках, столько он и заходит - это 60х24=1440 в сутки (утрирую, конечно).

 

Но обычная норма - 1-3 заходов в минуту, а тут 42 бота, 4 с других ПС  и примерно 35 - с Яши. То есть больше нормы в 12 раз. Поневоле задумаешься, какого краба запустили Платоны... 

Share this post


Link to post
Share on other sites

Это атака клонов. Искусственный разум наверное объявил войну. Сегодня боты Гугл Яндекс и все остальные пошли войной на мои сайты. Это не равный был бой и я его проиграл.

69e65370fd66.png

Share this post


Link to post
Share on other sites

Добра!

 

Воскресное раннее утро (около 5:00), захожу на один из свои сайтов, Обычно в утро выходного дня минимум посетителей, поэтому особых рекордов не жду.

 

И вот уже с полчаса наблюдаю картину, как несколько ботов Яндекса шустрят сайт с ног до головы, делая по 35-40 заходов в секунду. 

 

Это просто штурм какой-то.

Обычно 8-12 ботов - это нормально, причем со всех ПС. А тут 35 ботов только с Яндекса.  :blink:

 

Я вот знаю, что если птицы летают низко - это к дождю, а кожура банана на асфальте - к бриллиантовой руке,

А взбесившиеся боты Яндекса - это к чему?

 

563d5da62f33325a2b7e90277ed0ba37.jpg

 

Всем Добрых выходных!

Не подскажите что за статистика у вас открыта на скрине? 

Share this post


Link to post
Share on other sites

Переходите на VPS и забудтье про этих ботов ))) ... На прошлом хостинге меня тоже предупреждали мол сервак грузят эти боты ... Я не выдержал и сменил хостинг

Share this post


Link to post
Share on other sites

Переходите на VPS и забудтье про этих ботов ))) ... На прошлом хостинге меня тоже предупреждали мол сервак грузят эти боты ... Я не выдержал и сменил хостинг

 

Не правда что ли ? Сменили хостинг и ботов больше нет ? Скажите это не хостинг ли "LocalHost" ?  Типа 127.0.0.1 - любой каприз бесплатно !

campusboy likes this

Share this post


Link to post
Share on other sites

Переходите на VPS и забудтье про этих ботов ))) ... На прошлом хостинге меня тоже предупреждали мол сервак грузят эти боты ... Я не выдержал и сменил хостинг

Обоснуйте.

Share this post


Link to post
Share on other sites

Обоснуйте.

 

Да будет вам.. От человека , который пишет "забудтье" ждать каких-то обоснований ? Он просто не выдержал и все. Не сдержался..

Share this post


Link to post
Share on other sites

По теме ТС.  Исходя из того , что завтра редко бывает лучше чем вчера , штурм ботов ничего хорошего не предвещает . В глазах мелькают три  большие красные буквы - АГС АГС...

Share this post


Link to post
Share on other sites

По теме ТС.  Исходя из того , что завтра редко бывает лучше чем вчера , штурм ботов ничего хорошего не предвещает . В глазах мелькают три  большие красные буквы - АГС АГС...

У меня когда один сайт находился даже под АГС боты яши всё равно тёрлись на сайте и закидывали страницы в индекс в течении дня. так что тут не факт.

Share this post


Link to post
Share on other sites

Самое простое решение:

 

- закрыть все ненужное в robots.txt

- прописать директиву в robots.txt: Crawl-delay: 10 

- проверить sitemap.xml  (оставить там только ссылки на посты)

 

Также, такая внезапная активность иногда может быть спровоцирована взломом сайта. На сайт заливаются доры, генерируются многие тысяч страниц и на них пингуются поисковые боты.

Share this post


Link to post
Share on other sites

 

прописать директиву в robots.txt: Crawl-delay: 10

 

 

Эта директива google не учитывается , да и по моему, яндексом тоже.

Share this post


Link to post
Share on other sites

Когда сайт плохо индексируется, говорите что плохо. Когда сайт начинают посещать поисковые боты яндекс - тоже плохо. Вы уже определитесь чего хотите :)

raynar and Fokebox like this

Share this post


Link to post
Share on other sites

Эта директива google не учитывается , да и по моему, яндексом тоже.

А почему про байду не написали?

Вопрос был про Яндекс. Пруф здесь

Касательно Google - скорость сканирования вы можете регулировать в вебмастере.

webostrov likes this

Share this post


Link to post
Share on other sites

А почему про байду не написали?

Вопрос был про Яндекс. Пруф здесь

Касательно Google - скорость сканирования вы можете регулировать в вебмастере.

 

Согласен . Невнимательно посмотрел сообщение ТС.

Share this post


Link to post
Share on other sites

Также, такая внезапная активность иногда может быть спровоцирована взломом сайта. На сайт заливаются доры, генерируются многие тысяч страниц и на них пингуются поисковые боты.

Есть подробное описание метода и рекомендаций по безопасности?

Share this post


Link to post
Share on other sites

Есть подробное описание метода и рекомендаций по безопасности?

Лечение от вирусов - стандартно. А вот как обнаружить доры? Обычно в статистике заходов самих ботов: изучить, что именно они сканируют. Подозрительно будет, если они сканируют один урл с разными параметрами, например, news.php?id=11, news.php?id=12... и эти ссылки вообще не свойственны вашему сайту. Таким образом, какой-нибудь news.php может сгенерировать на вашем сайте тысячи левых рекламных страниц. Ну и в поиске их проверить (индексацию своего сайта по дате индексации) - нет ли чего не вашего там. 

 

Хакер закидывает такой news.php на хостинг, прописывает его в сайтмат или оставляет на него невидимые ссылки из футера, пингует в поисковые системы, отчего последние начинают выкачивать эти тысячи страниц, вызывая естественно нагрузку.

Machez likes this

Share this post


Link to post
Share on other sites

Хакер закидывает такой news.php на хостинг, прописывает его в сайтмат или оставляет на него невидимые ссылки из футера, пингует в поисковые системы, отчего последние начинают выкачивать эти тысячи страниц, вызывая естественно нагрузку.

Интересный способ. Вы дали мне пищу к размышлению. Буду гуглить подробнее. Спасибо!

Share this post


Link to post
Share on other sites

Не подскажите что за статистика у вас открыта на скрине? 

 

Это легкий плагинчик для вордпресс, поставил для души, когда наиграюсь - сниму.  ;)

Share this post


Link to post
Share on other sites

Самое простое решение:

 

- закрыть все ненужное в robots.txt

- прописать директиву в robots.txt: Crawl-delay: 10 

- проверить sitemap.xml  (оставить там только ссылки на посты)

 

Также, такая внезапная активность иногда может быть спровоцирована взломом сайта. На сайт заливаются доры, генерируются многие тысяч страниц и на них пингуются поисковые боты.

 

Кстати, да. Я Crawl-delay убрал, потому что пришло вдруг письмо от Гугла, что он видит эту часть кода подозрительной, хотя код прописан без пробелов строчек под строкой User-agent: Yandex.

 

Сейчас проверю остальное, спасибо, вы не первый раз выручаете! По поводу вирусов - в Яше чисто, проверил ДокторВеб - говорит, чисто, по дате индексации левых ссылок нет. 

 

 

Когда сайт плохо индексируется, говорите что плохо. Когда сайт начинают посещать поисковые боты яндекс - тоже плохо. Вы уже определитесь чего хотите :)

 

Это лишь бы было сказано? Сайт НЕ НАЧИНАЮТ посещать боты, они давно и успешно его сканируют, сайтику 4-й годок идет. Так что я определился, чего хочу, в тексте темы.  ;)

Griffin likes this

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.