Jump to content
Sign in to follow this  
saskozp

Поисковые роботы атакуют

Recommended Posts

Приветствую. Сегодня какой то бум, у меня одного так?

Поисковики

Яндекс

Mail

Bing

штурмуют сайт как тараканы, с чем связано интересно?

Share this post


Link to post
Share on other sites

>с чем связано интересно?

 

1) Бывает связано со взломом. Сайт взламывают, заливают доров, генерируют 1 мульйон страниц и пингуют их в поисковые системы.для быстрой индексации. Легко проверить, если изучить логи заходов поисковых роботов, если они заходят на странные, не принадлежащие вашему сайты страницы, есть резон провериться у ЛОРа.

 

2) Бывает связано с неправильно настроенным ситемап, в который попадает всякий мусор (неполезный контент), вот роботы и ковыряются в мусоре.

 

... а вообще, причин может быть много, вам все перечислять?

Share this post


Link to post
Share on other sites

Согласен с ТС. Непроиндексированный Яндексом сайт, которому неделя начал получать посетителей с mail.ru, хотя его и в хороший день для хорошего сайта не нарисуешь.

Share this post


Link to post
Share on other sites

А в количественном выражении, аттакуют - это сколько?

Смотрите программой типа вебалайзера или как-то еще?

 

Вообще никогда не следил за посещалкой ботов, но в вебмастере яндекса наблюдаю иногда пики до 150-200 запросов в день на одном из сайтов (где кол-во страниц около 40 тыс.). Кстати, в молодости, когда фрилансил, делал парсеры на заказ и там UserAgent ставили как у бота яндекса, так там за пару часов выкачивалось где-то по 10 тыс. страниц (в одном потоке).

Share this post


Link to post
Share on other sites

Посмотрел у себя на сайтах статистику посещений Гугла и Яндекса:

 

jqth8zk0zajgvd7p1iydye20i.jpg

 

1yv8w6ogdl7nv6dwejigy9onb.jpg

 

 

Ничего необычного. Даже можно сказать, что Гугл почти не ходил по сайтам.

И такие показатели примерно каждый день.

Вообще это нормально получать по 40-50 тыщ запросов от ПС?

Share this post


Link to post
Share on other sites

Бред. Ни разу за последние 18 лет не следил за ботами.

Выбирайте нормальный хостинг!

здесь по-моему не только от хостинга зависит т.к. нужно еще фильтры ставить (даже на нормальных)

Share this post


Link to post
Share on other sites

Здравствуйте

Новички не могут создавать новые темы, поэтому прошу, пожалуйста, не ругайтесь. К тому же, это единственная тема, которая более-менее подходит под описание проблемы:

Бот Mail.RU_Bot/Fast/2.0 начисто игнорирует рекомендации, прописанные для него в robots.txt. А именно, Crawl-delay. Он создает несколько запросов сразу ежесекундно. Тем самым идет приличная нагрузка на хостинг. Банить его по ip или через .htaccess, как советуют многие в поиске, мне кажется некорректным решением. Все-таки трафик худо-бедно идет из mailru.

Можно ли что-то придумать и заставить бота вести себя согласно robots.txt?

Спасибо за внимание

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...