Volk36 131 Posted March 5, 2017 Report Share Posted March 5, 2017 Суть.Сегодня посмотрел статистку в яндекс метрике, а потом был удивлёнНа мой новенький сайт кто то прислал 1300 роботов, вследствии чего увеличились отказы, почти на 10%А сайт имеет всего 400 уников в суткиВопрос, что делать? в метрике самый жесткий фильтр стоит (по поведению и правилам) Link to post Share on other sites
VIP seo-net 2346 Posted March 5, 2017 VIP Report Share Posted March 5, 2017 Да может кто парсил сайт, я сам так иногда делаю)))) woolfon and k-park 2 Link to post Share on other sites
petroff 648 Posted March 5, 2017 Report Share Posted March 5, 2017 Вы решили, что это боты только по тому, что отказы увеличились? Link to post Share on other sites
Volk36 131 Posted March 5, 2017 Author Report Share Posted March 5, 2017 Вы решили, что это боты только по тому, что отказы увеличились? Потому что метрика так "сказала" Link to post Share on other sites
Volk36 131 Posted March 5, 2017 Author Report Share Posted March 5, 2017 Да может кто парсил сайт, я сам так иногда делаю)))) Это ладно, делать что?) Link to post Share on other sites
nikonn24 3 Posted March 5, 2017 Report Share Posted March 5, 2017 Отказ у яндекса если посетитель провел менее 15 сек на сайте. Роботы на сайте около 0-5 сек проводят. Вывод, это не роботы. А если и роботы, забейте. Link to post Share on other sites
petroff 648 Posted March 5, 2017 Report Share Posted March 5, 2017 Это ладно, делать что?) Для начала посмотреть логи, кто и что делает на сайте: страницы, ip, запросы Link to post Share on other sites
Volk36 131 Posted March 5, 2017 Author Report Share Posted March 5, 2017 Для начала посмотреть логи, кто и что делает на сайте: страницы, ip, запросы Да всё норм, ничего подозрительного Link to post Share on other sites
VIP serjin 1061 Posted March 6, 2017 VIP Report Share Posted March 6, 2017 Если разовое явление тогда не стоит переживать, если систематическое это дело другое... Link to post Share on other sites
k-park 807 Posted March 6, 2017 Report Share Posted March 6, 2017 Такое случается если вы добавляете сразу много страниц. Link to post Share on other sites
Angelina 82 Posted March 6, 2017 Report Share Posted March 6, 2017 Всё равно от посетителей не спрячешься. Link to post Share on other sites
Модератор files 2844 Posted March 6, 2017 Модератор Report Share Posted March 6, 2017 На всех своих сайтах и сайтах клиентов обычно всегда добавляю в .htaccess (списки распространенных танков, парсеров, сканеров, бесполезных пауков и т.д.) # BEGIN Bad Bot Blocker SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot Deny from env=bad_bot # END Bad Bot Blocker GUEVARA, serzh82 and kuzovbmw 3 Link to post Share on other sites
kuzovbmw 587 Posted March 6, 2017 Report Share Posted March 6, 2017 На всех своих сайтах и сайтах клиентов обычно всегда добавляю в .htaccess (списки распространенных танков, парсеров, сканеров, бесполезных пауков и т.д.) # BEGIN Bad Bot Blocker SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot Deny from env=bad_bot # END Bad Bot Blocker Как сделать просто допуск чисто яндексу и гуглу? ну и еще пару, а остальные исключить, а то на форуме у меня тоже в день по 3-40 штук носятся как муравьи Link to post Share on other sites
Гэндальф Серый 25 Posted March 6, 2017 Report Share Posted March 6, 2017 Иногда так поступают для рекламы, ссылаются на рекламируемый сайт, также конкуренты тоже не дремлят))) Link to post Share on other sites
Модератор files 2844 Posted March 6, 2017 Модератор Report Share Posted March 6, 2017 Как сделать просто допуск чисто яндексу и гуглу? ну и еще пару, а остальные исключить, а то на форуме у меня тоже в день по 3-40 штук носятся как муравьи А сами на сайт как планируете заходить? Прикидываясь гуглом или яндексом? kuzovbmw and sergej2638 2 Link to post Share on other sites
Lightover 0 Posted April 29, 2017 Report Share Posted April 29, 2017 Link to post Share on other sites
Sova64 11 Posted April 29, 2017 Report Share Posted April 29, 2017 Они были киборги, они заполонили всю планету serjin 1 Link to post Share on other sites
seoinfodom 101 Posted April 29, 2017 Report Share Posted April 29, 2017 В 06.03.2017 в 0:32 PM, files сказал: На всех своих сайтах и сайтах клиентов обычно всегда добавляю в .htaccess (списки распространенных танков, парсеров, сканеров, бесполезных пауков и т.д.) # BEGIN Bad Bot Blocker SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot Deny from env=bad_bot # END Bad Bot Blocker Привет, а как правильно прописать для DLE? А главное в какой части htaccess это прописать? Link to post Share on other sites
Модератор files 2844 Posted April 29, 2017 Модератор Report Share Posted April 29, 2017 1 минуту назад, seoinfodom сказал: Привет, а как правильно прописать для DLE? Так и прописать в .htaccess DLE тут ни причем. Вы вносите настройки в железо своего хостинга Link to post Share on other sites
seoinfodom 101 Posted April 29, 2017 Report Share Posted April 29, 2017 1 час назад, files сказал: Так и прописать в .htaccess DLE тут ни причем. Вы вносите настройки в железо своего хостинга Большое спасибо! Link to post Share on other sites
digbadsit 1 Posted May 18, 2017 Report Share Posted May 18, 2017 Тоже встречался с таким. Спасибо Link to post Share on other sites
serzh82 78 Posted October 16, 2019 Report Share Posted October 16, 2019 В 06.03.2017 в 3:32 PM, files сказал: На всех своих сайтах и сайтах клиентов обычно всегда добавляю в .htaccess (списки распространенных танков, парсеров, сканеров, бесполезных пауков и т.д.) # BEGIN Bad Bot Blocker SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot Deny from env=bad_bot # END Bad Bot Blocker Здравствуйте! Подскажите пожалуйста как этот код сделать для nginx Link to post Share on other sites
PushSender 0 Posted October 23, 2019 Report Share Posted October 23, 2019 Добрый вечер Link to post Share on other sites
Recommended Posts
Please sign in to comment
You will be able to leave a comment after signing in
Sign In Now