Jump to content
Sign in to follow this  
Red071

Поисковые боты кладут сайт

Recommended Posts

Всем доброго времени! Столкнулся с такой проблемой. Поисковые боты как взбесились, яша, гоша и msn уже 3 день гасят мне 1 из сайтов. Идет от каждого бота по 50 запросов в секунду. Оперативка и трафик просто летят. Кто подскажет как немного охладить их пыл, не то что бы совсем отвадить, но немного снизить нагрузку на сервак?

Share this post


Link to post
Share on other sites

В robots.txt добавь Crawl-delay: 5 

 

Этот параметр ограничивает число запросов по заданному промежутку времени (в секундах). Должно помочь.

Share this post


Link to post
Share on other sites

В robots.txt добавь Crawl-delay: 5 

 

Этот параметр ограничивает число запросов по заданному промежутку времени (в секундах). Должно помочь.

яша утихомирился, а гугл наоборот попер сильнее

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...