Нагрузка на процессор - нужна помощь

[Vyacheslav 260]

Всем доброго времени!

Подскажите что можно сделать, когда боты яндекса нагружают процессор хостинга.

Crawl-delay: 50 не помогает, боты чаще иду.

[mojo 79]

 

Яндекс вебмастер- Индексирование-Скорость обхода.

 

[Vyacheslav 260]

3 минуты назад, mojo сказал:

 

Яндекс вебмастер- Индексирование-Скорость обхода.

 

пробовал, не помогает. 

[mojo 79]

Можно попробовать: 

-Временно запретить индексацию для яндекса. Затем включить и посмотреть, что получится.

-Определить, какой именно сервис яндекса хозяйничает. И, исходя из результатов, что-то предпринимать.

-Возможно для конкретного бота у вас выдаётся какой-то особенный контент и как раз в нём ошибка загружающая систему (маловероятно). Можно проверить сайт на загрузку.

[vituson 617]

Директиву Crawl-delay: 50 они уже не учитывают (отменили). Я как-то им писал, что их робот грузит хостинг, просили в случае чего писать им, если нагрузка не упадет.

 

Также могут сильно грузить хостинг роботы мейла (я их всех баню по IP) и другие. Уточните у техподдержки, что сильнее нагружает процессор.

[webostrov 2532]

2 часа назад, Vyacheslav сказал:

Всем доброго времени!

Подскажите что можно сделать, когда боты яндекса нагружают процессор хостинга.

Crawl-delay: 50 не помогает, боты чаще иду.

Это будет постоянно, вы, наверное, первый раз это увидели? Их по 50-100 штук сразу мониторят. Просто вваливаются и шкодят как стая котят. 
Поэтому решайте вопрос комплексно.
Обратитесь к files здесь на сайте (поиск в помощь), он мне помог оптимизировать сайт так, что раньше писало "ваш сайт открывается быстрее чем другие на 37%", а стало - "ваш сайт открывается быстрее чем другие на 94%".
PS - не реклама, реально помог.