Jump to content

Поисковики вандалы


Recommended Posts

Че делать, подскажите.

Поисковики навалились на сайт, круглосуточно гуляют по сайту, напрягают почти все выделенные ресурсы, но самое главное что трафик мизер.

Поэтому и назвал вандалы, пришли, шуму наделали и никакой пользы, убытки одни )

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

всю информацию я вижу в хостинг панели, и забанить могу по IP, но это же не выход банить поисковик, он за это по головке не погладит )

 

тусят все

яндекс (этот гад вообще заходит с штук 5 IP, если не больше)

гугл

меилру

яхо

германская херь какаято

даже мета (Украинский, его я забанил, от него точно толку никакого)

 

и вот мне интересно, с чем это связано, такая любовь? есть другие сайты, на них такой активности не наблюдается, а этот уже вторую неделю так, 5 дней вообще перегруз на процессор была, удивляюсь что хостинг не предупреждал.

Link to post
Share on other sites

Здесь вариантов много, во первых дыра в коде, которую не могут проиндексировать, в другом варианте - скрипты ломаные, третий - может и редирект какой затерялся циклический, с большим уровнем вложенности.

Проверяйте код, а то сразу боты виноваты... они думать не умеют бедняжки :D, в чем же их вина? :ph34r:

Link to post
Share on other sites

Здесь вариантов много, во первых дыра в коде, которую не могут проиндексировать, в другом варианте - скрипты ломаные, третий - может и редирект какой затерялся циклический, с большим уровнем вложенности.

 

Проверяйте код, а то сразу боты виноваты... они думать не умеют бедняжки :D, в чем же их вина? :ph34r:

 

 

Ну это внутренний косяк, ищите)

 

да ладна ))

ничего на сайте не менялось, только материал новый добавляется, и подобного до этого не наблюдалось

уже все перерыл, чтобы нагрузку на хостинг уменьшить, сайт можно сказать летает, вот если бы еще поисковики ресурсы не кушали.

Link to post
Share on other sites
  • Модератор

Как один из вариантов, блокировать мусорных ботов в .htaccess

 

 

 

SetEnvIfNoCase User-Agent "^Black Hole" bad_bot
SetEnvIfNoCase User-Agent "^Titan" bad_bot
SetEnvIfNoCase User-Agent "^WebStripper" bad_bot
SetEnvIfNoCase User-Agent "^ExtractorPro" bad_bot
SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot
SetEnvIfNoCase User-Agent "^Crescent" bad_bot
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot
SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot
SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot
SetEnvIfNoCase User-Agent "^Teleport" bad_bot
SetEnvIfNoCase User-Agent "^TeleportPro" bad_bot
SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot
SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot
SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot
SetEnvIfNoCase User-Agent "^WebBandit" bad_bot
SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot
SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot
SetEnvIfNoCase User-Agent "^Telesoft" bad_bot
SetEnvIfNoCase User-Agent "^Website Quester" bad_bot
SetEnvIfNoCase User-Agent "^WebZip" bad_bot
SetEnvIfNoCase User-Agent "^moget/2.1" bad_bot
SetEnvIfNoCase User-Agent "^WebZip/4.0" bad_bot
SetEnvIfNoCase User-Agent "^WebSauger" bad_bot
SetEnvIfNoCase User-Agent "^WebCopier" bad_bot
SetEnvIfNoCase User-Agent "^NetAnts" bad_bot
SetEnvIfNoCase User-Agent "^Mister PiX" bad_bot
SetEnvIfNoCase User-Agent "^WebAuto" bad_bot
SetEnvIfNoCase User-Agent "^TheNomad" bad_bot
SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot
SetEnvIfNoCase User-Agent "^spanner" bad_bot
SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot
SetEnvIfNoCase User-Agent "^Harvest/1.5" bad_bot
SetEnvIfNoCase User-Agent "^Bullseye/1.0" bad_bot
SetEnvIfNoCase User-Agent "^Mozilla/4.0 (compatible; BullsEye; Windows 95)" bad_bot
SetEnvIfNoCase User-Agent "^Crescent Internet ToolPak HTTP OLE Control v.1.0" bad_bot
SetEnvIfNoCase User-Agent "^CherryPickerSE/1.0" bad_bot
SetEnvIfNoCase User-Agent "^RMA" bad_bot
SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot
SetEnvIfNoCase User-Agent "^asterias" bad_bot
SetEnvIfNoCase User-Agent "^httplib" bad_bot
SetEnvIfNoCase User-Agent "^turingos" bad_bot
SetEnvIfNoCase User-Agent "^CherryPicker /1.0" bad_bot
SetEnvIfNoCase User-Agent "^WebBandit/3.50" bad_bot
SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot
SetEnvIfNoCase User-Agent "^Microsoft URL Control - 5.01.4511" bad_bot
SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot
SetEnvIfNoCase User-Agent "^Foobot" bad_bot
SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot
SetEnvIfNoCase User-Agent "^SpankBot" bad_bot
SetEnvIfNoCase User-Agent "^BotALot" bad_bot
SetEnvIfNoCase User-Agent "^lwp-trivial/1.34" bad_bot
SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot
SetEnvIfNoCase User-Agent "^humanlinks" bad_bot
SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot
SetEnvIfNoCase User-Agent "^Offline Explorer" bad_bot
SetEnvIfNoCase User-Agent "^Mata Hari" bad_bot
SetEnvIfNoCase User-Agent "^LexiBot" bad_bot
SetEnvIfNoCase User-Agent "^Web Image Collector" bad_bot
SetEnvIfNoCase User-Agent "^The Intraformant" bad_bot
SetEnvIfNoCase User-Agent "^True_Robot/1.0" bad_bot
SetEnvIfNoCase User-Agent "^True_Robot" bad_bot
SetEnvIfNoCase User-Agent "^Microsoft URL Control - 6.00.8169" bad_bot
SetEnvIfNoCase User-Agent "^URLy Warning" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot
SetEnvIfNoCase User-Agent "^cosmos" bad_bot
SetEnvIfNoCase User-Agent "^moget" bad_bot
SetEnvIfNoCase User-Agent "^hloader" bad_bot
SetEnvIfNoCase User-Agent "^BlowFish/1.0" bad_bot
SetEnvIfNoCase User-Agent "^JennyBot" bad_bot
SetEnvIfNoCase User-Agent "^MIIxpc/4.2" bad_bot
SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot
SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot
SetEnvIfNoCase User-Agent "^BackDoorBot/1.0" bad_bot
SetEnvIfNoCase User-Agent "^toCrawl/UrlDispatcher" bad_bot
SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot
SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot
SetEnvIfNoCase User-Agent "^suzuran" bad_bot
SetEnvIfNoCase User-Agent "^VCI WebViewer VCI WebViewer Win32" bad_bot
SetEnvIfNoCase User-Agent "^VCI" bad_bot
SetEnvIfNoCase User-Agent "^Xenu's Link Sleuth 1.1c" bad_bot
SetEnvIfNoCase User-Agent "^Xenu's" bad_bot
SetEnvIfNoCase User-Agent "^Zeus" bad_bot
SetEnvIfNoCase User-Agent "^RepoMonkey Bait & Tackle/v1.01" bad_bot
SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot
SetEnvIfNoCase User-Agent "^Zeus 32297 Webster Pro V2.9 Win32" bad_bot
SetEnvIfNoCase User-Agent "^Webster Pro" bad_bot
SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot
SetEnvIfNoCase User-Agent "^LinkScan/8.1a Unix" bad_bot
SetEnvIfNoCase User-Agent "^Keyword Density/0.9" bad_bot
SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot
SetEnvIfNoCase User-Agent "^QueryN Metasearch" bad_bot
SetEnvIfNoCase User-Agent "^Openfind data gathere" bad_bot
SetEnvIfNoCase User-Agent "^Openfind" bad_bot
SetEnvIfNoCase User-Agent "^Kenjin Spider" bad_bot
SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot

Order Allow,Deny
Allow from all
Deny from env=bad_bot

 

 

 

А откуда взялась любовь? Как один из вариантов: сайт могли взломать и закачали доров. Теперь пингуют доры для быстрой индексации.

Link to post
Share on other sites

Как один из вариантов, блокировать мусорных ботов в .htaccess

А откуда взялась любовь? Как один из вариантов: сайт могли взломать и закачали доров. Теперь пингуют доры для быстрой индексации.

Мусорных ботов нет, по крайней мере по IP, я смотрю поисковики.

 

А вот взлом... как можно узнать взломан ли, и пингуются ли чужие доры?

Измененного кода вроде нет, стоит специальная утиль, и хостинг не ругается. Проверял скриптом от Яндекса. тот тоже ничего не нашел.

Link to post
Share on other sites
  • Модератор

 

А вот взлом... как можно узнать взломан ли, и пингуются ли чужие доры?

 

Доказательством будет появление левых страниц в поиске! Но это если моя гипотеза верна (часто такое наблюдал).

Link to post
Share on other sites

Теперь пингуют доры для быстрой индексации.

Исходящих соединений с хостинга нет, последнее было 18 числа, и в количестве одна штука. Только что посмотрел в логах.

 

Доказательством будет появление левых страниц в поиске! Но это если моя гипотеза верна (часто такое наблюдал).

как это вообще на деле обстоит? просто генерятся страницы с произвольным адресом и .. что дальше, для чего? Вроде такого нет.

Link to post
Share on other sites
  • Модератор

Генерируется разная, но полезная хакеру чушь: скачать файл, скачать драйвер и т.д. Не встречали никогда, что ли?

Попробуйте погуглить фразу:

"krak, Rush, 100inch, father, Tex, Hacker, John, ruiy, Wholy, mey, krak, Voron, mey, Microsoft, mother, Sasha, Bille"

Я видел доры, которые влетали в топ очень быстро за счет большого количества страниц, потом отбоя не было от "левого" трафика. От поисковых запросов волосы вставали дыбом :)

Link to post
Share on other sites

Генерируется разная, но полезная хакеру чушь: скачать файл, скачать драйвер и т.д. Не встречали никогда, что ли?

Попробуйте погуглить фразу:

"krak, Rush, 100inch, father, Tex, Hacker, John, ruiy, Wholy, mey, krak, Voron, mey, Microsoft, mother, Sasha, Bille"

Я видел доры, которые влетали в топ очень быстро за счет большого количества страниц, потом отбоя не было от "левого" трафика. От поисковых запросов волосы вставали дыбом :)

будем мониторить запросы )

 

вроде нашел причину нагрузки 0-о

Код  | Ответ | Описание | Частота ответа

403  | Forbidden | Запрос отклонен по той причине, что сервер не хочет (или не имеет возможности) ответить клиенту. | 34731

 

Частота ответа 34731 , епта ааааа

и вот в чем прикол

поставил плагин для регистрации 404 страниц, каждую минуту штук по 10, но у меня стоит редирект 301

ругается на такие страницы /?p=8140, хотя когда в браузере перехожу редирект скидывает на /8140. (у меня страницы цифровые)

года полтора назад стояло полный путь и название страницы вот так /mini/menee-1-mb/svchost-process-analyser-chto-pryachetsya-za-svchost.html, и также, когда перехожу срабатывает редирект на нужную страницу, в данном случае на /2917.

Тоисть плагин регистрирует каждую минуту 404 старницы, но когда я перехожу по ссылкам, то редирект срабатывает так как нужно. Че делать не пойму, закипел.

Поисковики обращаются по какойто причине к этим страница, а хостинг и плагин регистрируют их как 404... че за чума

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...