Red071 39 Posted January 4, 2015 Report Share Posted January 4, 2015 Всем доброго времени! Столкнулся с такой проблемой. Поисковые боты как взбесились, яша, гоша и msn уже 3 день гасят мне 1 из сайтов. Идет от каждого бота по 50 запросов в секунду. Оперативка и трафик просто летят. Кто подскажет как немного охладить их пыл, не то что бы совсем отвадить, но немного снизить нагрузку на сервак? Link to post Share on other sites
VIP Danalet 688 Posted January 4, 2015 VIP Report Share Posted January 4, 2015 В robots.txt добавь Crawl-delay: 5 Этот параметр ограничивает число запросов по заданному промежутку времени (в секундах). Должно помочь. Limpopo and Red071 2 Link to post Share on other sites
Limpopo 22 Posted January 4, 2015 Report Share Posted January 4, 2015 Такая же ситуация не бойсь у вас instantcms? Link to post Share on other sites
Red071 39 Posted January 4, 2015 Author Report Share Posted January 4, 2015 В robots.txt добавь Crawl-delay: 5 Этот параметр ограничивает число запросов по заданному промежутку времени (в секундах). Должно помочь. яша утихомирился, а гугл наоборот попер сильнее Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now