VIP webostrov 2532 Posted October 4, 2015 VIP Report Share Posted October 4, 2015 Добра! Воскресное раннее утро (около 5:00), захожу на один из свои сайтов, Обычно в утро выходного дня минимум посетителей, поэтому особых рекордов не жду. И вот уже с полчаса наблюдаю картину, как несколько ботов Яндекса шустрят сайт с ног до головы, делая по 35-40 заходов в секунду. Это просто штурм какой-то.Обычно 8-12 ботов - это нормально, причем со всех ПС. А тут 35 ботов только с Яндекса. Я вот знаю, что если птицы летают низко - это к дождю, а кожура банана на асфальте - к бриллиантовой руке,А взбесившиеся боты Яндекса - это к чему?Всем Добрых выходных! Link to post Share on other sites
VIP serjin 1061 Posted October 4, 2015 VIP Report Share Posted October 4, 2015 Все началось с данного форума .... Зашел как-то сюда бот, прочитал подпись Вашу и задумался ..... Сколько милионов страниц уменя в базе, и нигде нет ответа на этот вопрос. Ушел во свояси посоветовался с колегами, те сказали тоже ничего не знают по вопросу ну и порешили на этом все ваши сайты прошерстить чтоб найти ответ на этот странный вопрос не поддающийся их логике и алгоритмам. Вот так эта вся компашка к Вам и привалила И Вам хороших выходных , не переживайте такое бывает .... ничего страшного если явление разовое, с другой стороны быстробот никто не отменял ,может он решил Вас навестить и пожить немного? campusboy, Griffin, webostrov and 1 other 4 Link to post Share on other sites
Vyacheslav 262 Posted October 4, 2015 Report Share Posted October 4, 2015 Я не знаю с чем это связано у меня на одном сайте за сутки бот яши бывает от 100 до 300 раз webostrov 1 Link to post Share on other sites
VIP webostrov 2532 Posted October 4, 2015 Author VIP Report Share Posted October 4, 2015 Все началось с данного форума .... Зашел как-то сюда бот, прочитал подпись Вашу и задумался ..... Сколько милионов страниц уменя в базе, и нигде нет ответа на этот вопрос. Ушел во свояси посоветовался с колегами, те сказали тоже ничего не знают по вопросу ну и порешили на этом все ваши сайты прошерстить чтоб найти ответ на этот странный вопрос не поддающийся их логике и алгоритмам. Вот так эта вся компашка к Вам и привалила И Вам хороших выходных , не переживайте такое бывает .... ничего страшного если явление разовое, с другой стороны быстробот никто не отменял ,может он решил Вас навестить и пожить немного? дадада! Быстроробот молодец, он живет на сайте (тьфу-тьфу). Вообще раньше никогда не замечал нигде такого. А от Яндекса добра ждать - что фиалки пивом поливать. Непредсказуемый, как моя супруга. Вот я и задумался... Я не знаю с чем это связано у меня на одном сайте за сутки бот яши бывает от 100 до 300 раз В том то и дело, что Бот Яши живет на сайте и постоянно лазиет по страницам, как у себя дома. То есть сколько минут в сутках, столько он и заходит - это 60х24=1440 в сутки (утрирую, конечно). Но обычная норма - 1-3 заходов в минуту, а тут 42 бота, 4 с других ПС и примерно 35 - с Яши. То есть больше нормы в 12 раз. Поневоле задумаешься, какого краба запустили Платоны... Link to post Share on other sites
Amorale 28 Posted October 4, 2015 Report Share Posted October 4, 2015 Это атака клонов. Искусственный разум наверное объявил войну. Сегодня боты Гугл Яндекс и все остальные пошли войной на мои сайты. Это не равный был бой и я его проиграл. Link to post Share on other sites
nonexistent777 26 Posted October 4, 2015 Report Share Posted October 4, 2015 Добра! Воскресное раннее утро (около 5:00), захожу на один из свои сайтов, Обычно в утро выходного дня минимум посетителей, поэтому особых рекордов не жду. И вот уже с полчаса наблюдаю картину, как несколько ботов Яндекса шустрят сайт с ног до головы, делая по 35-40 заходов в секунду. Это просто штурм какой-то. Обычно 8-12 ботов - это нормально, причем со всех ПС. А тут 35 ботов только с Яндекса. Я вот знаю, что если птицы летают низко - это к дождю, а кожура банана на асфальте - к бриллиантовой руке, А взбесившиеся боты Яндекса - это к чему? Всем Добрых выходных! Не подскажите что за статистика у вас открыта на скрине? Link to post Share on other sites
Fokebox 463 Posted October 4, 2015 Report Share Posted October 4, 2015 Переходите на VPS и забудтье про этих ботов ))) ... На прошлом хостинге меня тоже предупреждали мол сервак грузят эти боты ... Я не выдержал и сменил хостинг Link to post Share on other sites
kukaner60 94 Posted October 4, 2015 Report Share Posted October 4, 2015 Переходите на VPS и забудтье про этих ботов ))) ... На прошлом хостинге меня тоже предупреждали мол сервак грузят эти боты ... Я не выдержал и сменил хостинг Не правда что ли ? Сменили хостинг и ботов больше нет ? Скажите это не хостинг ли "LocalHost" ? Типа 127.0.0.1 - любой каприз бесплатно ! campusboy 1 Link to post Share on other sites
Machez 42 Posted October 4, 2015 Report Share Posted October 4, 2015 Переходите на VPS и забудтье про этих ботов ))) ... На прошлом хостинге меня тоже предупреждали мол сервак грузят эти боты ... Я не выдержал и сменил хостинг Обоснуйте. Link to post Share on other sites
kukaner60 94 Posted October 4, 2015 Report Share Posted October 4, 2015 Обоснуйте. Да будет вам.. От человека , который пишет "забудтье" ждать каких-то обоснований ? Он просто не выдержал и все. Не сдержался.. Link to post Share on other sites
kukaner60 94 Posted October 4, 2015 Report Share Posted October 4, 2015 По теме ТС. Исходя из того , что завтра редко бывает лучше чем вчера , штурм ботов ничего хорошего не предвещает . В глазах мелькают три большие красные буквы - АГС АГС... Link to post Share on other sites
Vyacheslav 262 Posted October 4, 2015 Report Share Posted October 4, 2015 По теме ТС. Исходя из того , что завтра редко бывает лучше чем вчера , штурм ботов ничего хорошего не предвещает . В глазах мелькают три большие красные буквы - АГС АГС... У меня когда один сайт находился даже под АГС боты яши всё равно тёрлись на сайте и закидывали страницы в индекс в течении дня. так что тут не факт. Link to post Share on other sites
Модератор files 2843 Posted October 4, 2015 Модератор Report Share Posted October 4, 2015 Самое простое решение: - закрыть все ненужное в robots.txt - прописать директиву в robots.txt: Crawl-delay: 10 - проверить sitemap.xml (оставить там только ссылки на посты) Также, такая внезапная активность иногда может быть спровоцирована взломом сайта. На сайт заливаются доры, генерируются многие тысяч страниц и на них пингуются поисковые боты. Link to post Share on other sites
kukaner60 94 Posted October 4, 2015 Report Share Posted October 4, 2015 прописать директиву в robots.txt: Crawl-delay: 10 Эта директива google не учитывается , да и по моему, яндексом тоже. Link to post Share on other sites
seo-loser 228 Posted October 4, 2015 Report Share Posted October 4, 2015 Когда сайт плохо индексируется, говорите что плохо. Когда сайт начинают посещать поисковые боты яндекс - тоже плохо. Вы уже определитесь чего хотите Fokebox and raynar 2 Link to post Share on other sites
Модератор files 2843 Posted October 4, 2015 Модератор Report Share Posted October 4, 2015 Эта директива google не учитывается , да и по моему, яндексом тоже. А почему про байду не написали? Вопрос был про Яндекс. Пруф здесь Касательно Google - скорость сканирования вы можете регулировать в вебмастере. webostrov 1 Link to post Share on other sites
kukaner60 94 Posted October 4, 2015 Report Share Posted October 4, 2015 А почему про байду не написали? Вопрос был про Яндекс. Пруф здесь Касательно Google - скорость сканирования вы можете регулировать в вебмастере. Согласен . Невнимательно посмотрел сообщение ТС. Link to post Share on other sites
Machez 42 Posted October 4, 2015 Report Share Posted October 4, 2015 Также, такая внезапная активность иногда может быть спровоцирована взломом сайта. На сайт заливаются доры, генерируются многие тысяч страниц и на них пингуются поисковые боты. Есть подробное описание метода и рекомендаций по безопасности? Link to post Share on other sites
andrey_sweet 14 Posted October 4, 2015 Report Share Posted October 4, 2015 Не подскажите что за статистика у вас открыта на скрине? +++ Link to post Share on other sites
Модератор files 2843 Posted October 4, 2015 Модератор Report Share Posted October 4, 2015 Есть подробное описание метода и рекомендаций по безопасности? Лечение от вирусов - стандартно. А вот как обнаружить доры? Обычно в статистике заходов самих ботов: изучить, что именно они сканируют. Подозрительно будет, если они сканируют один урл с разными параметрами, например, news.php?id=11, news.php?id=12... и эти ссылки вообще не свойственны вашему сайту. Таким образом, какой-нибудь news.php может сгенерировать на вашем сайте тысячи левых рекламных страниц. Ну и в поиске их проверить (индексацию своего сайта по дате индексации) - нет ли чего не вашего там. Хакер закидывает такой news.php на хостинг, прописывает его в сайтмат или оставляет на него невидимые ссылки из футера, пингует в поисковые системы, отчего последние начинают выкачивать эти тысячи страниц, вызывая естественно нагрузку. Machez 1 Link to post Share on other sites
Machez 42 Posted October 4, 2015 Report Share Posted October 4, 2015 Хакер закидывает такой news.php на хостинг, прописывает его в сайтмат или оставляет на него невидимые ссылки из футера, пингует в поисковые системы, отчего последние начинают выкачивать эти тысячи страниц, вызывая естественно нагрузку. Интересный способ. Вы дали мне пищу к размышлению. Буду гуглить подробнее. Спасибо! Link to post Share on other sites
VIP webostrov 2532 Posted October 5, 2015 Author VIP Report Share Posted October 5, 2015 Не подскажите что за статистика у вас открыта на скрине? Это легкий плагинчик для вордпресс, поставил для души, когда наиграюсь - сниму. Юкка Гриценко 1 Link to post Share on other sites
VIP webostrov 2532 Posted October 5, 2015 Author VIP Report Share Posted October 5, 2015 Самое простое решение: - закрыть все ненужное в robots.txt - прописать директиву в robots.txt: Crawl-delay: 10 - проверить sitemap.xml (оставить там только ссылки на посты) Также, такая внезапная активность иногда может быть спровоцирована взломом сайта. На сайт заливаются доры, генерируются многие тысяч страниц и на них пингуются поисковые боты. Кстати, да. Я Crawl-delay убрал, потому что пришло вдруг письмо от Гугла, что он видит эту часть кода подозрительной, хотя код прописан без пробелов строчек под строкой User-agent: Yandex. Сейчас проверю остальное, спасибо, вы не первый раз выручаете! По поводу вирусов - в Яше чисто, проверил ДокторВеб - говорит, чисто, по дате индексации левых ссылок нет. Когда сайт плохо индексируется, говорите что плохо. Когда сайт начинают посещать поисковые боты яндекс - тоже плохо. Вы уже определитесь чего хотите Это лишь бы было сказано? Сайт НЕ НАЧИНАЮТ посещать боты, они давно и успешно его сканируют, сайтику 4-й годок идет. Так что я определился, чего хочу, в тексте темы. Griffin 1 Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now