Jump to content

Робот Яндекса "душит" сайт, норма или аномалия?


Recommended Posts

В общем вчера от хостера пришло такое сообщение:

Сообщаем, что расход процессорного времени (нагрузка на CPU) по вашему аккаунту превышает допустимый лимит.
Узнать ваше текущее потребление процессорного времени и лимиты вы можете в панели управления, в разделе "Тарифный план".
Просим вас провести аудит и оптимизацию своих сайтов, чтобы снизить нагрузку на CPU.

 

Начал с тех поодержкой разбираться и в панели мне выдало такое картинку по СPU (смотрите ниже) и сказали, что это бот Яндекса так на сайте работает - причём он не по страница ходит, а якобы по всем скриптам - и таких запросов было аж до 16 000 … Платноам пока не писал, глянул в Метрике - не там отмечено присутствие робота, но в пределах нормы и никаких таких загрузок

4376ed2e23e0678863b81f052d8a1002.png

У кого-нить такое было? или есть? Тех поддержка сказала, что это именно робот яндекса

Link to post
Share on other sites

не угадали ) хостер gig.ru … вот думаю переехать в немецкий датацентр ) там вообще нет у них таких понятий как перегрузка CPU )

У нормальных хостеров действительно нет понятий перегрузки, но почему то нормальными мало кто пользуется, хотя цены такие же)))

Link to post
Share on other sites
  • VIP

не угадали ) хостер gig.ru … вот думаю переехать в немецкий датацентр ) там вообще нет у них таких понятий как перегрузка CPU )

Вы ошибаетесь у меня тоже сайты в европе хостятся и такие перегрузки и там бывают особенно на виртуальном хостинге где сидит по 500-1000 сайтов на каждом серваке

Link to post
Share on other sites

Ну всё же к теме ) что это было? ДОС? и хостер мне лапшу на уши вешает, что мол так робот яндекса себя ведёт? что посоветуете делать? лишних денег за CPU платить не хочется )

Link to post
Share on other sites

Всё решается добавлением атрибута Crawl-delay в файле robots.txt. Необходимо ограничить время между заходами бота Яндекса.

мне такое порекомендовали в хостере )) но из графика сами видите жил я не тужил и вот те на )

Link to post
Share on other sites

Ну всё же к теме ) что это было? ДОС? и хостер мне лапшу на уши вешает, что мол так робот яндекса себя ведёт? что посоветуете делать? лишних денег за CPU платить не хочется )

 

Переваренная лапша

Много лет мои сайты у одного провайдера - никогда (были "случайные связи" с другими хосерами, где перегрузки были данностью) НИКОГДА вопроса нагрузки и перегрузки не возникали. ДДОС атаки было две за 10 лет, но они краткосрочные и легко определяются и отрубаются. Но если хостер пишет про то, чего быть не может - значит все сводится к одному - денег дай :).

Link to post
Share on other sites

Так что это лапша мне на уши чтобы денег выжить или реальная нагрузка на сервер со стороны Яши?

Вообще я у них два года ) и такое первый раз )

Link to post
Share on other sites
  • VIP

Встречалось кроме описанного выше,когда дрянь в папки сайта закидывали (хацкеры-ломацкеры). нагрузка цпу сразу шкалила , память тоже грузилась нехило.

График похож как и на вашем скрине было все ок в одну линию и потом непомерный скачек.

 

Если за 2 года это первый такой случай врядли это развод на деньги

Link to post
Share on other sites

а в тоже время на метрике:

ecf6d75d266a584f310fa261846e4e3d.png

т.е. всё в пределах нормы ) … хостер на это говрит мол робот по скриптам ходит на нет хитов от этого )

Аналитику гляну вечером )

Link to post
Share on other sites
  • VIP

Ну всё же к теме ) что это было? ДОС? и хостер мне лапшу на уши вешает, что мол так робот яндекса себя ведёт? что посоветуете делать? лишних денег за CPU платить не хочется )

 

Меня все же ваш хостер смущает. Хотя бы потому что в первые слышу о нем и судя по данным сайта он не очень то и популярен.

Link to post
Share on other sites

Меня все же ваш хостер смущает. Хотя бы потому что в первые слышу о нем и судя по данным сайта он не очень то и популярен.

хорошие знакомые посоветовали переехать на fastvps.ru

Link to post
Share on other sites
  • Administrators

Единственный бот, который у меня создает хоть сколько-нибудь значимую нагрузку - majestic.

 

Вот, например, он сегодня уже часа 4 сидит у меня на одном сайте. Палится в логах, и создает видимую нагрузку (LA: 0.20). Но у меня VPS, и в этом вся прелесть - никаких искусственных лимитов, как сам настроишь, так и будет работать :)

 

Тоже рекомендую взять VPS. Там где мне хостеры предлагали тариф за 1000р (и то без гарантий), справляется vps за 5 баксов.

Link to post
Share on other sites

Единственный бот, который у меня создает хоть сколько-нибудь значимую нагрузку - majestic.

 

Вот, например, он сегодня уже часа 4 сидит у меня на одном сайте. Палится в логах, и создает видимую нагрузку (LA: 0.20). Но у меня VPS, и в этом вся прелесть - никаких искусственных лимитов, как сам настроишь, так и будет работать :)

 

Тоже рекомендую взять VPS. Там где мне хостеры предлагали тариф за 1000р (и то без гарантий), справляется vps за 5 баксов.

Технари помогают переехать? ) быстро ль? )

Link to post
Share on other sites

не угадали ) хостер gig.ru … вот думаю переехать в немецкий датацентр ) там вообще нет у них таких понятий как перегрузка CPU )

 

 

Не советую. Если вы думаете о Hetzner, у них оборудование дряхлое.

Link to post
Share on other sites
  • Administrators

Технари помогают переехать? ) быстро ль? )

Нет, сам освоил. На самом деле ничего сложного. С момента запуска vps до рабочего web сервера укладываюсь в 2 часа с перекурами и просмотром котиков на ютубе. 

 

Если нужна помощь, обращайся :)

Link to post
Share on other sites

Мне было бы приятно сидеть на хостингах в России, но наши хостинги - страшное дело! Ресурсы жмут, работа оставляет желать лучшего, тех-поддержка никакая, цены пугающие.. Приходится брать хостинги и сервера в Европе. 

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...