Jump to content

MailRuLover

Новичок
  • Content Count

    1
  • Joined

  • Last visited

About MailRuLover

  • Rank
    Новичок

Profile Information

  • Специализация
    SEO
  1. Здравствуйте Новички не могут создавать новые темы, поэтому прошу, пожалуйста, не ругайтесь. К тому же, это единственная тема, которая более-менее подходит под описание проблемы: Бот Mail.RU_Bot/Fast/2.0 начисто игнорирует рекомендации, прописанные для него в robots.txt. А именно, Crawl-delay. Он создает несколько запросов сразу ежесекундно. Тем самым идет приличная нагрузка на хостинг. Банить его по ip или через .htaccess, как советуют многие в поиске, мне кажется некорректным решением. Все-таки трафик худо-бедно идет из mailru. Можно ли что-то придумать и заставить бота вести себя согласно robots.txt? Спасибо за внимание
×
×
  • Create New...