Jump to content

Поисковые роботы атакуют


Recommended Posts

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

  • Модератор

>с чем связано интересно?

 

1) Бывает связано со взломом. Сайт взламывают, заливают доров, генерируют 1 мульйон страниц и пингуют их в поисковые системы.для быстрой индексации. Легко проверить, если изучить логи заходов поисковых роботов, если они заходят на странные, не принадлежащие вашему сайты страницы, есть резон провериться у ЛОРа.

 

2) Бывает связано с неправильно настроенным ситемап, в который попадает всякий мусор (неполезный контент), вот роботы и ковыряются в мусоре.

 

... а вообще, причин может быть много, вам все перечислять?

Link to post
Share on other sites

Согласен с ТС. Непроиндексированный Яндексом сайт, которому неделя начал получать посетителей с mail.ru, хотя его и в хороший день для хорошего сайта не нарисуешь.

Link to post
Share on other sites

А в количественном выражении, аттакуют - это сколько?

Смотрите программой типа вебалайзера или как-то еще?

 

Вообще никогда не следил за посещалкой ботов, но в вебмастере яндекса наблюдаю иногда пики до 150-200 запросов в день на одном из сайтов (где кол-во страниц около 40 тыс.). Кстати, в молодости, когда фрилансил, делал парсеры на заказ и там UserAgent ставили как у бота яндекса, так там за пару часов выкачивалось где-то по 10 тыс. страниц (в одном потоке).

Link to post
Share on other sites

Посмотрел у себя на сайтах статистику посещений Гугла и Яндекса:

 

jqth8zk0zajgvd7p1iydye20i.jpg

 

1yv8w6ogdl7nv6dwejigy9onb.jpg

 

 

Ничего необычного. Даже можно сказать, что Гугл почти не ходил по сайтам.

И такие показатели примерно каждый день.

Вообще это нормально получать по 40-50 тыщ запросов от ПС?

Link to post
Share on other sites

Бред. Ни разу за последние 18 лет не следил за ботами.

Выбирайте нормальный хостинг!

здесь по-моему не только от хостинга зависит т.к. нужно еще фильтры ставить (даже на нормальных)

Link to post
Share on other sites
  • 4 months later...

Здравствуйте

Новички не могут создавать новые темы, поэтому прошу, пожалуйста, не ругайтесь. К тому же, это единственная тема, которая более-менее подходит под описание проблемы:

Бот Mail.RU_Bot/Fast/2.0 начисто игнорирует рекомендации, прописанные для него в robots.txt. А именно, Crawl-delay. Он создает несколько запросов сразу ежесекундно. Тем самым идет приличная нагрузка на хостинг. Банить его по ip или через .htaccess, как советуют многие в поиске, мне кажется некорректным решением. Все-таки трафик худо-бедно идет из mailru.

Можно ли что-то придумать и заставить бота вести себя согласно robots.txt?

Спасибо за внимание

Link to post
Share on other sites
  • 5 months later...

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...