Jump to content

Как узнать какой скрипт нагружает сайт?


Recommended Posts

Как узнать что вызывает ошибку на сайте и трату ресурсов. Я прочитала типа искать в журнале ошибок. А что конкретно искать я не понимаю. Кстати заметила такую вещь, ошибка 508 возникла во время посещения бота http://www.majestic12.co.uk/bot.php?- может совпадение, может нет. Еще один адрес www.baidu.com/search/spider.http Я не сильна в логах, но эти боты у всех? У меня никогда проблем не было, скриптов не добавляла, но сайт резко упал в скорости, после переезда на предыдущей хостинг. По сути я новых плагинов не подключала, шаблон не меняла. Но, тем не менее появился какой-то скрипт, где его искать?

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

Задайте интервал обращений для робота директивой Crawl-delay или вовсе запретите доступ этому роботу.

 

Если не поможет, тогда надо смотреть логи сервера.

Link to post
Share on other sites

Задайте интервал обращений для робота директивой Crawl-delay или вовсе запретите доступ этому роботу.

 

Если не поможет, тогда надо смотреть логи сервера.

Я вот сейчас смотрю и у меня не мало ботов ползало за сегодня по статьям. Это у всех так? Я просто первый раз столкнулась с этим. Плюс еще не особо разбираюсь в том, что придется искать.

Link to post
Share on other sites

Любой робот может посадить сайт, иногда такое случается, особенно если хостинг урезает количество запросов.... Было года 3 назад, когда на SpaceWeb держал сайты, Яндекс робот уж очень любил часто лазить по одному сайту и постоянно вылезали уведомления о высокой нагрузке, пару раз даже сайты не открывались. 

 

Попробуйте для начала интервал обращений роботам выставить, если не поможет, будем дальше "копать".

Link to post
Share on other sites

Задайте интервал обращений для робота директивой Crawl-delay или вовсе запретите доступ этому роботу.

 

Если не поможет, тогда надо смотреть логи сервера.

Я не думаю что мой сайт часто боты посещают. Статистика в кратце за 1,5 часа:

 

yandex.com/bots в 18:58, 19:50 YandexImages/3.0 19:50, 20:02, 20:12

 

www.google.com/bot.htm Googlebot/2.1 был в 18:49, 18:56, 19:00, 19:27, 20:00, 20:03

Googlebot-Image/1.0 - 19:00, 19:05, 19:16, 19:33, 19:34, 19:59, 20:03

 

www.bing.com/bingbot.htm 19:11, 20:10, 20:11, 20:12

 

www.majestic12.co.uk/bot.php?+ был в 18:53

 

ahrefs.com/robot/ был в 18:56,

 

Twitterbot/1.0 был в 18:47

 

Из странных был via ggpht.com GoogleImageProxy в 18:50 я думаю это гугл бот

 

и если по простому, то в логах ищи подозрительные ip и им тоже закрывай доступ

Меня настораживает вот что:

 

1. Неопознанные заходы (не проходит капчу, прямые заходы в несколько статей стабильно) - 108.162.212.126 с Windows NT 6.1; WOW64; rv:44.0) Gecko/20100101 Firefox/44.0 в 18:21, 18:24, 18:38, 19:00, 19:01, 19:09, 19:43, 19:58 короче постоянно пытается.

 

Но, больше всего меня смущают такие заходы, которые появились как только я переехала на хостинг в начале лета. Эти картинки хранятся в б/д, но они не опубликованы. Мог ли хостер установить разрешение на подключение к б/д со стороннего сервера?

 

172.68.11.141 - - [10/Sep/2016:18:24:52 +0200] "GET /wp-content/uploads/2015/04/img.png HTTP/1.1" 404 16155 "http://kanal-tnt.ru/peredaetsya-li-spid-oralnym-seksom.html" "Mozilla/5.0 (Windows NT 6.3; WOW64; rv:48.0) Gecko/20100101 Firefox/48.0" и в 19:16, 19:17, 18:24

 

А вот к одной и той же картинки подключаются 2 адреса как будто бы:

 

141.101.80.110 - - [10/Sep/2016:19:09:42 +0200] "GET /wp-content/uploads/2014/03/img01.jpg HTTP/1.1" 304 168 "http://alexlexa.ru/9276-russkoe-porno-bolshie-titki.html" "Mozilla/5.0 (iPhone; CPU iPhone OS 9_3_4 like Mac OS X) AppleWebKit/601.1.46 (KHTML, like Gecko) Version/9.0 Mobile/13G35 Safari/601.1"

 

141.101.105.143 - - [10/Sep/2016:19:19:25 +0200] "GET /wp-content/uploads/2014/03/img01.jpg HTTP/1.1" 304 168 "http://golubic-rest.ru/736-bolshie-russkie-titki.html" "Opera/9.80 (J2ME/MIDP; Opera Mini/4.4.28684/37.8918; U; ru) Presto/2.12.423 Version/12.16"

Link to post
Share on other sites
  • Модератор

1. Добавьте в .htaccess

# BEGIN Bad Bot Blocker
SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot
Deny from env=bad_bot
# END Bad Bot Blocker

2. В robots.txt пропишите

Crawl-delay: 10

3. Поставьте на сайт плагин кеширования (hyper cache, например)

 

P.S. Но проблема у вас с хостингом (как решение - грамотная оптимизация работы сайта, если есть желание остаться на дешевом хостинге), тем не менее данные меры должны частично помочь исправить ситуацию.

Link to post
Share on other sites

все  ip американские не гугловские, закрывать все подобные ip, если вы не под америкосов настроили сайт.так проще 

 

в htaccesse 

 

# Запрет IP
Order allow,deny
allow from all
Deny from 108.162.212

Deny from 141.101

 

я так делал у себя(список банов правда получился огромным),  зато нагрузка в 2,5 раза упала. 

Link to post
Share on other sites

1. Добавьте в .htaccess

# BEGIN Bad Bot Blocker
SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot
Deny from env=bad_bot
# END Bad Bot Blocker
2. В robots.txt пропишите
Crawl-delay: 10
3. Поставьте на сайт плагин кеширования (hyper cache, например)

 

P.S. Но проблема у вас с хостингом (как решение - грамотная оптимизация работы сайта, если есть желание остаться на дешевом хостинге), тем не менее данные меры должны частично помочь исправить ситуацию.

Сайт реально стал грузным. Я сейчас на среднем хостинге. Что за 100р в месяц, что за 180, никакой разницы. Платить 250 р за хостинг сайта, который у меня был под фильтром и имеет мало посетителей, мне что-то не хочется. Сайт себя никак не окупает, бросить жалко. Плагины кеширования у меня не работают, конфликтуют с шаблоном. За код спасибо, попробую. Но, ошибка была около 40 сек. Она не частая. Но и на этом хостинге я всего лишь неделю. И я сейчас клаудовские сервера подключила.
Link to post
Share on other sites

все ip американские не гугловские, закрывать все подобные ip, если вы не под америкосов настроили сайт.так проще

 

в htaccesse

 

# Запрет IP

Order allow,deny

allow from all

Deny from 108.162.212

Deny from 141.101

 

я так делал у себя(список банов правда получился огромным), зато нагрузка в 2,5 раза упала.

Спасибо за код. Заблокирую надоедливый ip 108.162.212.126
Link to post
Share on other sites
  • VIP

Если ваш сайт на вордпресс, посмотрите эту заметку - vituson.ru/pochemu-vozrosla-nagruzka-na-server

Если в логах не сильно разбираетесь, напишите в техподдержку, чтобы посмотрели, что грузит сайт.

Link to post
Share on other sites

ааа, еще из банального, установите плагин WP-Optimize и/или WP-DBManager и сделайте оптимизацию бд, иногда помогает

Wp-Optimize установлен. Со вторым плагином не знакома.

 

Если ваш сайт на вордпресс, посмотрите эту заметку - vituson.ru/pochemu-vozrosla-nagruzka-na-server

Если в логах не сильно разбираетесь, напишите в техподдержку, чтобы посмотрели, что грузит сайт.

Думаю тех.поддержка скажет это не по их части. Да, у меня ВП. Прочту статью.
Link to post
Share on other sites
  • VIP

Думаю тех.поддержка скажет это не по их части.

Думаю, немного странно так думать. Обычно на небольшую вежливую просьбу помочь многие откликаются, ну а техподдержке сам Бог велел.

Link to post
Share on other sites

Думаю, немного странно так думать. Обычно на небольшую вежливую просьбу помочь многие откликаются, ну а техподдержке сам Бог велел.

В лучшем случае они подскажут один раз. А я хотела бы разобраться. Там в принципе все понятно ip, время, посмотр страницы, девайс.

 

Мне непонятно одно, точнее не сложно предположить, но хочется узнать точно. Вот я первый раз зашла в 'полный лог использования '. Вижу, к примеру, такое:

1. 172.68.11.143 - - [11/Sep/2016:12:23:29 +0200] "GET /адрес статьи/ HTTP/1.1" 200 23878 "http://yandex.ru/clck/jsredir?from=yandex.ru%...........длинный код

(выглядит как ссылка из поисковика, т.е. я правильно ли понимаю, что человек ввел в Яндексе запрос и через поиск нашел мой сайт и перешел на него? Если это не то, то что это? У меня таких до фига и по сути обращения к статье много раз, но окончание ip меняется).

 

2. Потом смотрю и вижу:

172.68.11.146 - - [11/Sep/2016:13:33:24 +0200] "GET /wp-content/uploads/2016/08/nameUnk.jpg HTTP/1.1" 404 16157 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +//yandex.com/bots)"

 

Вообще Яндекс ли это? Я понимаю подпись Яндекса, ведь выше с такого же ip клик был.

 

3. Еще интересует такое, вижу шведский ip 141.101.80.103 из Стокгольма. Девайс как у меня, и сборка, и версия браузера. Я подумала может браузер через прокси работает. Проверила свой ip, он у меня другой (типа за прокси не скрывается). Странно.

 

4. Как выгнать facebookexternalhit/1.1 с сайта достал уже? Кстати, прочитала про вчерашнего majestic12.co.uk/bot.php?+ он еще с 2012 года всех достает, один даже написал, что это не бот, а дятел-террорист, который динамит файл роботс и накручивает до 2000 хитов, потому что заблудился (видимо накипело). И чудо это поисковика baidy вроде как. Даже у них на сайте написано, что в хассес бесполезно блокировать, надо в роботсе прописать запрет, но он динамит запрет. Хоть сейчас и говорят, что он адекватнее стал, но сайты сажает, где долго блуждает. Как его выгнать с сайта?

Link to post
Share on other sites

P.S. Но проблема у вас с хостингом (как решение - грамотная оптимизация работы сайта, если есть желание остаться на дешевом хостинге), тем не менее данные меры должны частично помочь исправить ситуацию.

Сайт через клаудовский сервер работает. Больше похоже на это

Если ваш сайт на вордпресс, посмотрите эту заметку - vituson.ru/pochemu-vozrosla-nagruzka-na-server

 

 

Из статистики клаудского сервера. Большой всплеск был: картинку сжала до допустимого форумом размера. И на клаудсе я неделю примерно, со статистикой стала разбираться сегодня. За неделю 664 атаки типа сервер предотвратил. А я еще месяц назад грешила на старый хостинг. А они правильно сказали, что сайт оперативную память сажает, говорили дело в скриптах.

post-7317-0-84287400-1473597306_thumb.jpg

post-7317-0-54307100-1473599693.jpg

Link to post
Share on other sites

Тему можно закрыть. Проблема разрешилась.

 

Кому интересно, то дело было не в плохом сервере, а в брутфорс-атаках. И они начались, как минимум месяц назад, когда мне предыдущий хостер сказал, что мне не хватает выделенной оперативной памяти на скрипты. Написала вчера хостеру, и говорю я не пойму в логах какой файл атакуют. Хостер сказал что это брутфорс-атака на файл admin-ajax.php и предложили решение проблемы.

 

Хочу еще отметить, что логин у меня был Admin, на старых версиях ВП он предлагался и я его не меняла. Поэтому злоумышленники, как минимум 1-1,5 месяца подбирали пароль. Вчера через б/д сменила логин админа. И установила лимит на неправильный ввод логина/пароля, 2 раза ввели неправильно, блок на 8 часов. Исправила эти ошибки. И еще внесла спамеров в ч/с. В общем атаки снизились. Но еще сутки не пошли, полную аналитику посмотрю завтра.

 

Тему можно закрыть.

Link to post
Share on other sites
Guest
This topic is now closed to further replies.
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...