Jump to content

Боты Яндекса валят сайт. Что делать?


Recommended Posts

Всем привет. Вторую неделю на сайт идет шквал пауков Яндекса. http://clip2net.com/s/3gZGpwzреально уже по 1000-1500 запросов в сутки. Сайт начинает жутко тупить. Сайтик древний, уже год не обновлялся никак, выше топ-50 ни один запрос не поднимался (чужой достался  по наследству), посещаемость - 10-15 уников в сутки и то не всегда. Никакие быстроботы естественно не закупались. Самое обидное, что на нормальные сайты пауки приходят по 10-50 раз в сутки (и то не всегда, а бывают дни что вообще не ходят) а это чудовище задолбали. По несколько раз в день сайт высасывают (на сайте примерно четыреста  страниц). Стоит ли писать Платонам попросить перенаправить пауков на другие нормальные сайты или бесполезно?

 

Link to post
Share on other sites
  • VIP

Всем привет. Вторую неделю на сайт идет шквал пауков Яндекса. http://clip2net.com/s/3gZGpwzреально уже по 1000-1500 запросов в сутки. Сайт начинает жутко тупить. Сайтик древний, уже год не обновлялся никак, выше топ-50 ни один запрос не поднимался (чужой достался  по наследству), посещаемость - 10-15 уников в сутки и то не всегда. Никакие быстроботы естественно не закупались. Самое обидное, что на нормальные сайты пауки приходят по 10-50 раз в сутки (и то не всегда, а бывают дни что вообще не ходят) а это чудовище задолбали. По несколько раз в день сайт высасывают (на сайте примерно четыреста  страниц). Стоит ли писать Платонам попросить перенаправить пауков на другие нормальные сайты или бесполезно?

 

Тайм-аут прописывали?

Link to post
Share on other sites

как вариант используйте момент - повешайте на этом "чудовище" ссылки на нужные вам сайты.. по поводу писать=не писать... лучше написать

Link to post
Share on other sites

Тайм-аут прописывали?

нет. кравл делай не прописывал, боюсь спугнуть=))))) есть сайты на которых написаны уникальные статьи с уникальными картинками, добавленные аддурилкой, в содержимое сайта вебмастера, уже три недели прошло а бот их даже не высосал, не говоря уже про ранжирование...

Link to post
Share on other sites

У них в последнее время все через одно место, то зеркальщик по 2-3 месяца не склеивает, то контент не обновляется месяцами..., такое ощущение, что они там что-то намудрили, а что и сами теперь не знают!

Link to post
Share on other sites

нет. кравл делай не прописывал, боюсь спугнуть=))))) есть сайты на которых написаны уникальные статьи с уникальными картинками, добавленные аддурилкой, в содержимое сайта вебмастера, уже три недели прошло а бот их даже не высосал, не говоря уже про ранжирование...

Чем ты спугнешь? Ты роботу директивой Crawl-delay: 5 даешь понять, что сайт ты мой сайт роняешь, иди перекури страницы пока 5 сек.

 

Справка от яндекса:

 

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

 

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

Link to post
Share on other sites

 

Чем ты спугнешь? Ты роботу директивой Crawl-delay: 5 даешь понять, что сайт ты мой сайт роняешь, иди перекури страницы пока 5 сек.

 

Справка от яндекса:

 

Поисковый робот Яндекса поддерживает дробные значения Crawl-Delay, например, 0.5. Это не гарантирует, что поисковый робот будет заходить на ваш сайт каждые полсекунды, но дает роботу больше свободы и позволяет ускорить обход сайта.

Примеры:

User-agent: Yandex

Crawl-delay: 2 # задает таймаут в 2 секунды

 

User-agent: *

Disallow: /search

Crawl-delay: 4.5 # задает таймаут в 4.5 секунды

 

 

Видимо так и сделаю сегодня. С 14-05 до 14-59 уже 381 обращения (теперь вот этот попер Mozilla/5.0 (compatible; YandexImageResizer/2.0; http://yandex.com/bots) к сайту который скорее ГС, чем нормальный. На нормальных сайтах с нормальным контентом из трех что есть - по разу зашел на два. На одном - лучшем - вообще не был. Бред полнейший.

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...