roman48

Members
  • Content count

    302
  • Joined

  • Last visited


Reputation Activity

  1. vitalich liked a post in a topic by roman48 in Help!!!!Нужна помощь   
    вписывать домены суда ['cloudcdnru.com','adclickmedia.ru','.atnant.com','gobongo.info','.retark.com','lastatchka.com']
  2. vitalich liked a post in a topic by roman48 in Help!!!!Нужна помощь   
    реально. если есть реклама на сайте впиши в скрипт домен скрипта через который выводится реклама и увидишь что рекламы нет. год назад скрипт разрабатывался когда на многих сайтах упал траф,выяснилось заражение в баузерах он от этого спасает
  3. vitalich liked a post in a topic by roman48 in Help!!!!Нужна помощь   
    не знаю старайся чтоб стоял после <body>
  4. campusboy liked a post in a topic by roman48 in Защита от плохих роботов через .htaccess   
    этих как закрыть с них нет трафика.
    Nigma, Tut.by,DuckDuckGo,search.softonic.com,search.avg.com,Metabot.ru, QIP.ru,Babylon Search,GoGo, Ukr.net ,Poisk.ru
  5. roman48 liked a post in a topic by campusboy in Защита от плохих роботов через .htaccess   
    Приветствую, ребята. Решил защититься от ненужных (плохих в данном контексте) пауков/роботов, чтобы снизить нагрузку на сайт, всё равно от них толку-то нет. В интернете, конечно, инфа есть, но возникли вопросы, да и мнение Форумчан интересно. Для начала выложу решения, чтобы было с чем работать. Надеюсь, общими силами сможем списки таких ботов расширить.
    Итак, один из подобных списков:
    # Блокируем плохие домены RewriteEngine on RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonym.to/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonym.to.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonyme.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonyme.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?priceg.com.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ilovevitaly.com.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ilovevitaly.com/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?cenoval.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?cenoval.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?darodar.com.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?darodar.com/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?urls.topdownloads.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?urls.topdownloads.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?topdownloads.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?topdownloads.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ftns.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ftns.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?forum.advokateg.ru/topic/888/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?vodkoved.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?site.name.tr/.*$ [NC] Options All -Indexes RewriteEngine on # Блокируем плохие боты SetEnvIfNoCase User-Agent "Aboundex" bad_bot SetEnvIfNoCase User-Agent "80legs" bad_bot SetEnvIfNoCase User-Agent "360Spider" bad_bot SetEnvIfNoCase User-Agent "^Java" bad_bot SetEnvIfNoCase User-Agent "^Cogentbot" bad_bot SetEnvIfNoCase User-Agent "^Alexibot" bad_bot SetEnvIfNoCase User-Agent "^asterias" bad_bot SetEnvIfNoCase User-Agent "^attach" bad_bot SetEnvIfNoCase User-Agent "^BackDoorBot" bad_bot SetEnvIfNoCase User-Agent "^BackWeb" bad_bot SetEnvIfNoCase User-Agent "Bandit" bad_bot SetEnvIfNoCase User-Agent "^BatchFTP" bad_bot SetEnvIfNoCase User-Agent "^Bigfoot" bad_bot SetEnvIfNoCase User-Agent "^Black.Hole" bad_bot SetEnvIfNoCase User-Agent "^BlackWidow" bad_bot SetEnvIfNoCase User-Agent "^BlowFish" bad_bot SetEnvIfNoCase User-Agent "^BotALot" bad_bot SetEnvIfNoCase User-Agent "Buddy" bad_bot SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot SetEnvIfNoCase User-Agent "^Bullseye" bad_bot SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot SetEnvIfNoCase User-Agent "Collector" bad_bot SetEnvIfNoCase User-Agent "Copier" bad_bot SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot SetEnvIfNoCase User-Agent "^cosmos" bad_bot SetEnvIfNoCase User-Agent "^Crescent" bad_bot SetEnvIfNoCase User-Agent "^Custo" bad_bot SetEnvIfNoCase User-Agent "^AIBOT" bad_bot SetEnvIfNoCase User-Agent "^DISCo" bad_bot SetEnvIfNoCase User-Agent "^DIIbot" bad_bot SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot SetEnvIfNoCase User-Agent "^Download\ Demon" bad_bot SetEnvIfNoCase User-Agent "^Download\ Devil" bad_bot SetEnvIfNoCase User-Agent "^Download\ Wonder" bad_bot SetEnvIfNoCase User-Agent "^dragonfly" bad_bot SetEnvIfNoCase User-Agent "^Drip" bad_bot SetEnvIfNoCase User-Agent "^eCatch" bad_bot SetEnvIfNoCase User-Agent "^EasyDL" bad_bot SetEnvIfNoCase User-Agent "^ebingbong" bad_bot SetEnvIfNoCase User-Agent "^EirGrabber" bad_bot SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot SetEnvIfNoCase User-Agent "^Exabot" bad_bot SetEnvIfNoCase User-Agent "^Express\ WebPictures" bad_bot SetEnvIfNoCase User-Agent "Extractor" bad_bot SetEnvIfNoCase User-Agent "^EyeNetIE" bad_bot SetEnvIfNoCase User-Agent "^Foobot" bad_bot SetEnvIfNoCase User-Agent "^flunky" bad_bot SetEnvIfNoCase User-Agent "^FrontPage" bad_bot SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bad_bot SetEnvIfNoCase User-Agent "^gotit" bad_bot SetEnvIfNoCase User-Agent "^GrabNet" bad_bot SetEnvIfNoCase User-Agent "^Grafula" bad_bot SetEnvIfNoCase User-Agent "^Harvest" bad_bot SetEnvIfNoCase User-Agent "^hloader" bad_bot SetEnvIfNoCase User-Agent "^HMView" bad_bot SetEnvIfNoCase User-Agent "^HTTrack" bad_bot SetEnvIfNoCase User-Agent "^humanlinks" bad_bot SetEnvIfNoCase User-Agent "^IlseBot" bad_bot SetEnvIfNoCase User-Agent "^Image\ Stripper" bad_bot SetEnvIfNoCase User-Agent "^Image\ Sucker" bad_bot SetEnvIfNoCase User-Agent "Indy\ Library" bad_bot SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot SetEnvIfNoCase User-Agent "^InfoTekies" bad_bot SetEnvIfNoCase User-Agent "^Intelliseek" bad_bot SetEnvIfNoCase User-Agent "^InterGET" bad_bot SetEnvIfNoCase User-Agent "^Internet\ Ninja" bad_bot SetEnvIfNoCase User-Agent "^Iria" bad_bot SetEnvIfNoCase User-Agent "^Jakarta" bad_bot SetEnvIfNoCase User-Agent "^JennyBot" bad_bot SetEnvIfNoCase User-Agent "^JetCar" bad_bot SetEnvIfNoCase User-Agent "^JOC" bad_bot SetEnvIfNoCase User-Agent "^JustView" bad_bot SetEnvIfNoCase User-Agent "^Jyxobot" bad_bot SetEnvIfNoCase User-Agent "^Kenjin.Spider" bad_bot SetEnvIfNoCase User-Agent "^Keyword.Density" bad_bot SetEnvIfNoCase User-Agent "^larbin" bad_bot SetEnvIfNoCase User-Agent "^LexiBot" bad_bot SetEnvIfNoCase User-Agent "^lftp" bad_bot SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot SetEnvIfNoCase User-Agent "^likse" bad_bot SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bad_bot SetEnvIfNoCase User-Agent "^LNSpiderguy" bad_bot SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot SetEnvIfNoCase User-Agent "^LWP::Simple" bad_bot SetEnvIfNoCase User-Agent "^Magnet" bad_bot SetEnvIfNoCase User-Agent "^Mag-Net" bad_bot SetEnvIfNoCase User-Agent "^MarkWatch" bad_bot SetEnvIfNoCase User-Agent "^Mass\ Downloader" bad_bot SetEnvIfNoCase User-Agent "^Mata.Hari" bad_bot SetEnvIfNoCase User-Agent "^Memo" bad_bot SetEnvIfNoCase User-Agent "^Microsoft.URL" bad_bot SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bad_bot SetEnvIfNoCase User-Agent "^MIDown\ tool" bad_bot SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot SetEnvIfNoCase User-Agent "^Mirror" bad_bot SetEnvIfNoCase User-Agent "^Missigua\ Locator" bad_bot SetEnvIfNoCase User-Agent "^Mister\ PiX" bad_bot SetEnvIfNoCase User-Agent "^moget" bad_bot SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bad_bot SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bad_bot SetEnvIfNoCase User-Agent "^NAMEPROTECT" bad_bot SetEnvIfNoCase User-Agent "^Navroad" bad_bot SetEnvIfNoCase User-Agent "^NearSite" bad_bot SetEnvIfNoCase User-Agent "^NetAnts" bad_bot SetEnvIfNoCase User-Agent "^Netcraft" bad_bot SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot SetEnvIfNoCase User-Agent "^NetSpider" bad_bot SetEnvIfNoCase User-Agent "^Net\ Vampire" bad_bot SetEnvIfNoCase User-Agent "^NetZIP" bad_bot SetEnvIfNoCase User-Agent "^NextGenSearchBot" bad_bot SetEnvIfNoCase User-Agent "^NG" bad_bot SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot SetEnvIfNoCase User-Agent "^niki-bot" bad_bot SetEnvIfNoCase User-Agent "^NimbleCrawler" bad_bot SetEnvIfNoCase User-Agent "^Ninja" bad_bot SetEnvIfNoCase User-Agent "^NPbot" bad_bot SetEnvIfNoCase User-Agent "^Octopus" bad_bot SetEnvIfNoCase User-Agent "^Offline\ Explorer" bad_bot SetEnvIfNoCase User-Agent "^Offline\ Navigator" bad_bot SetEnvIfNoCase User-Agent "^Openfind" bad_bot SetEnvIfNoCase User-Agent "^OutfoxBot" bad_bot SetEnvIfNoCase User-Agent "^PageGrabber" bad_bot SetEnvIfNoCase User-Agent "^Papa\ Foto" bad_bot SetEnvIfNoCase User-Agent "^pavuk" bad_bot SetEnvIfNoCase User-Agent "^pcBrowser" bad_bot SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bad_bot SetEnvIfNoCase User-Agent "^Pockey" bad_bot SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot SetEnvIfNoCase User-Agent "^psbot" bad_bot SetEnvIfNoCase User-Agent "^Pump" bad_bot SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bad_bot SetEnvIfNoCase User-Agent "^RealDownload" bad_bot SetEnvIfNoCase User-Agent "Reaper" bad_bot SetEnvIfNoCase User-Agent "Recorder" bad_bot SetEnvIfNoCase User-Agent "^ReGet" bad_bot SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot SetEnvIfNoCase User-Agent "^RMA" bad_bot SetEnvIfNoCase User-Agent "Siphon" bad_bot SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot SetEnvIfNoCase User-Agent "^SlySearch" bad_bot SetEnvIfNoCase User-Agent "^SmartDownload" bad_bot SetEnvIfNoCase User-Agent "^Snake" bad_bot SetEnvIfNoCase User-Agent "^Snapbot" bad_bot SetEnvIfNoCase User-Agent "^Snoopy" bad_bot SetEnvIfNoCase User-Agent "^sogou" bad_bot SetEnvIfNoCase User-Agent "^SpaceBison" bad_bot SetEnvIfNoCase User-Agent "^SpankBot" bad_bot SetEnvIfNoCase User-Agent "^spanner" bad_bot SetEnvIfNoCase User-Agent "^Sqworm" bad_bot SetEnvIfNoCase User-Agent "Stripper" bad_bot SetEnvIfNoCase User-Agent "Sucker" bad_bot SetEnvIfNoCase User-Agent "^SuperBot" bad_bot SetEnvIfNoCase User-Agent "^SuperHTTP" bad_bot SetEnvIfNoCase User-Agent "^Surfbot" bad_bot SetEnvIfNoCase User-Agent "^suzuran" bad_bot SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot SetEnvIfNoCase User-Agent "^tAkeOut" bad_bot SetEnvIfNoCase User-Agent "^Teleport" bad_bot SetEnvIfNoCase User-Agent "^Telesoft" bad_bot SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bad_bot SetEnvIfNoCase User-Agent "^The.Intraformant" bad_bot SetEnvIfNoCase User-Agent "^TheNomad" bad_bot SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot SetEnvIfNoCase User-Agent "^Titan" bad_bot SetEnvIfNoCase User-Agent "^True_Robot" bad_bot SetEnvIfNoCase User-Agent "^turingos" bad_bot SetEnvIfNoCase User-Agent "^TurnitinBot" bad_bot SetEnvIfNoCase User-Agent "^URLy.Warning" bad_bot SetEnvIfNoCase User-Agent "^Vacuum" bad_bot SetEnvIfNoCase User-Agent "^VCI" bad_bot SetEnvIfNoCase User-Agent "^VoidEYE" bad_bot SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bad_bot SetEnvIfNoCase User-Agent "^Web\ Sucker" bad_bot SetEnvIfNoCase User-Agent "^WebAuto" bad_bot SetEnvIfNoCase User-Agent "^WebBandit" bad_bot SetEnvIfNoCase User-Agent "^Webclipping.com" bad_bot SetEnvIfNoCase User-Agent "^WebCopier" bad_bot SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bad_bot SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot SetEnvIfNoCase User-Agent "^WebFetch" bad_bot SetEnvIfNoCase User-Agent "^WebGo\ IS" bad_bot SetEnvIfNoCase User-Agent "^Web.Image.Collector" bad_bot SetEnvIfNoCase User-Agent "^WebLeacher" bad_bot SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot SetEnvIfNoCase User-Agent "^WebReaper" bad_bot SetEnvIfNoCase User-Agent "^WebSauger" bad_bot SetEnvIfNoCase User-Agent "^Website\ eXtractor" bad_bot SetEnvIfNoCase User-Agent "^Website\ Quester" bad_bot SetEnvIfNoCase User-Agent "^Webster" bad_bot SetEnvIfNoCase User-Agent "^WebStripper" bad_bot SetEnvIfNoCase User-Agent "^WebWhacker" bad_bot SetEnvIfNoCase User-Agent "^WebZIP" bad_bot SetEnvIfNoCase User-Agent "Whacker" bad_bot SetEnvIfNoCase User-Agent "^Widow" bad_bot SetEnvIfNoCase User-Agent "^WISENutbot" bad_bot SetEnvIfNoCase User-Agent "^WWWOFFLE" bad_bot SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot SetEnvIfNoCase User-Agent "^Xaldon" bad_bot SetEnvIfNoCase User-Agent "^Xenu" bad_bot SetEnvIfNoCase User-Agent "^Zeus" bad_bot SetEnvIfNoCase User-Agent "ZmEu" bad_bot SetEnvIfNoCase User-Agent "^Zyborg" bad_bot # Блокируем плохие сканеры SetEnvIfNoCase User-Agent "Acunetix" bad_bot SetEnvIfNoCase User-Agent "FHscan" bad_bot # Блокируем ненужные поисковики SetEnvIfNoCase User-Agent "Baiduspider" bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all # Блокируем плохие IP deny from 38.100.19.8/29 deny from 38.100.21.0/24 deny from 38.100.41.64/26 deny from 38.105.71.0/25 deny from 38.105.83.0/27 deny from 38.112.21.140/30 deny from 38.118.42.32/29 deny from 65.213.208.128/27 deny from 65.222.176.96/27 deny from 65.222.185.72/29 Deny from env=bad_bot </Limit>  Вот ещё видео
     
    https://youtu.be/dvjcrCaIUzg
     
    Также постоянно редактируемый список таких ботов от HackRepair.com http://pastebin.com/5Hw9KZnW
     
    Далее в плагине для Wordpress под названием All in One SEO Pack есть модуль Bad Bot Blocker, который на уровне PHP или htaccess запрещает доступ к сайту по определенным правилам (можно менять), по дефолту выглядит так для htaccess:
    # BEGIN Bad Bot Blocker SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DOC|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|yandex|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot SetEnvIfNoCase Referer "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DOC|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|yandex|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot Deny from env=bad_bot # END Bad Bot Blocker Запись уже другая, какая-то более компактная. Сразу скажу, при активации этих дефолтных параметров через секунд 20 пришло извещение от Метрики, что пауку отдаётся 403 ошибка.
     
    Хочу, в общем, эту тему разобрать, особенно с помощью htaccess, так как кеш работает через него. Особенно это актуально для сайтов с большим количеством страниц, потому что даже если посещалка маленькие, пауки нагружают сайт вхолостую. Также исключив таких пауков можно сделать статистку в Метрики и Аналистике более точной (так ведь?), так как такие роботы дают всегда 100% отказов. Ну и теперь сами вопросы:
     
    1) Защищаетесь ли вы от "плохих" роботов. Если "Да", то какими путями?
    2) При включении этих правил в htaccess, его размер увеличивается до 15кб и выше. Не создаст ли это большую нагрузку, чем было с роботами?
    3) Какой метод более правильный из приведенных в статье, если есть вообще в данном случае понятие правильности.
     
    Рад буду услышать мнения специалистов, дополнения. Если тема интересна, то может будем обновлять список?
  6. silence1988 liked a post in a topic by roman48 in Сервисы с кнопками социальных сетей -ловушка?   
    пользуюсь кнопками строго от Яндекса https://tech.yandex.ru/share/ скрипт скачал к себе на сайт  https://yastatic.net/share/share.js сделал нормальный внешний вид  http://prntscr.com/7yqbh9 у них маленькие. другие кнопки в Яндекс метрике не видно,и лично моё мнение не знаю точно,
    думаю что при построение выдачи другие кнопки не учитываются,так как их не видно в метрике.от Яндекса видно http://prntscr.com/7yqcnm
    и глупо было бы на месте Яндекса их не использовать,  при построение выдачи,ПФ,соц активность и т. д. чтоб соц  активность для ПС была максимальна прозрачна.
  7. eskaaaaaaaaaa liked a post in a topic by roman48 in Отображение подпапки в robots   
    вопрос не очень понятен. но если вы хотите закрыть от индексации то пропишите так
    Disallow: /podpapka/
    если не нужно ее закрывать то ни чего прописывать не надо.
  8. rasull2 liked a post in a topic by roman48 in Несколько вопросов   
    привет. тут сможете сжать http://highloadtools.com/  там покажет что надо сделать.
    стили и картинки сможете скачать тут  (PageSpeed Insights) после проверке в низу есть кнопка скачать оптимизированные стили,скрипты и т.д 
    поменяете их
  9. silence1988 liked a post in a topic by roman48 in PageSpeed Insights обсуждение   
    я приложением пользуюсь 
    http://prntscr.com/7y20xf
    http://prntscr.com/7y216a
  10. Kadavercian liked a post in a topic by roman48 in Инвайт на форум Webmasters.ru   
    я там когда регистрировался написал админу http://webmasters.ru/forum/member.php?u=12056 попросил  инвайт он выслал
  11. Irridian liked a post in a topic by roman48 in Браузеры сегодня: кто лидер?   
    Google Chrome http://prntscr.com/7x89g5
  12. roman48 liked a post in a topic by dontfear in Рекомендации по созданию сайтов 3.06.2015   
     
    Скачать, зеркало.
  13. tambaum liked a post in a topic by roman48 in Сохранять ли расширение .html ?   
    что то типа этого
    RewriteEngine on
    RewriteBase /
    RewriteCond %{THE_REQUEST} ^[A-Z]{3,9}\ /([^.]+)\.html\ HTTP
    RewriteRule ^([^.]+)\.html$ http:/сайт.ру/$1 [R=301,L]
    RewriteCond %{REQUEST_URI} !(\.[^./]+)$
    RewriteCond %{REQUEST_fileNAME} !-d
    RewriteCond %{REQUEST_fileNAME} !-f
    RewriteRule (.*) /$1.html [L]
  14. tambaum liked a post in a topic by roman48 in Сохранять ли расширение .html ?   
    .html это роли в позициях не играет.я сайт переносил на другой домен тоже ни чего не потерял. а вот ссылки на ошибку 404 не хорошо
  15. tambaum liked a post in a topic by roman48 in Сохранять ли расширение .html ?   
    не знаю как вы. я бы сохранил или поставил редикт если нужно без .html
  16. adea74 liked a post in a topic by roman48 in Сео видео уроки   
    привет. скачивайте с диска
    https://cloud.mail.ru/public/3YHtTzREmQxz/SEO-%D0%B1%D0%BE%D0%BC%D0%B1%D0%B0%202.0%20(Silver.%20Gold.%20Platinum)%20(2015)
     
    https://cloud.mail.ru/public/6bGB/wgjMNXF5D
     
    https://cloud.mail.ru/public/AyvW/9SycWmhm7
  17. adea74 liked a post in a topic by roman48 in Сео видео уроки   
    привет. скачивайте с диска
    https://cloud.mail.ru/public/3YHtTzREmQxz/SEO-%D0%B1%D0%BE%D0%BC%D0%B1%D0%B0%202.0%20(Silver.%20Gold.%20Platinum)%20(2015)
     
    https://cloud.mail.ru/public/6bGB/wgjMNXF5D
     
    https://cloud.mail.ru/public/AyvW/9SycWmhm7
  18. alexbad liked a post in a topic by roman48 in Ребят подскажите плз   
    http://teasernet.com/тизеры и слайдер поставьте в правом углу внизу. заработаете на оплату хостинга.у меня когда стояла она тизеры 1300 хостов до 100р в сутки.но я подбирал места на сайте,они вроде ни кому не мешались и тут же все время на виду.пробуйте по неделям,неделю так потом в другом месте и найдете то что вам подойдет
  19. alexbad liked a post in a topic by roman48 in Ребят подскажите плз   
    http://teasernet.com/тизеры и слайдер поставьте в правом углу внизу. заработаете на оплату хостинга.у меня когда стояла она тизеры 1300 хостов до 100р в сутки.но я подбирал места на сайте,они вроде ни кому не мешались и тут же все время на виду.пробуйте по неделям,неделю так потом в другом месте и найдете то что вам подойдет
  20. Griffin liked a post in a topic by roman48 in Кто что знает о proflinks.ru?   
    не пойму зачем это сейчас нужно,при Минусинске?Яндекс и Гугл уникальный контент и так хавает. мое субъективное мнение лучше деньги потратить на текста
  21. roman48 liked a post in a topic by Tru in SEO школа разгильдяев   
    Вы как профессионал должны понимать, что любое движение стоит денег.
    Даже мяч на шару погонять, только по желанию и интересу.
     
    Ничего личного, но например юридическая тематика, или тема магазина ножей, - на ветке не рассматривалась.
    А киносайты уже были.
     
    Конечно, постоянно занят.
    Кроме того, сейчас, вообще то лето, и полагается небольшой отдых.
     
    И тут со всех сторон навалились заказчики.
    Зиму и весну проспали.
     
    Естественно, что работа за деньги, впереди всех кратких,  бесплатных консультаций.
     
     
    Относительно Вашего сайта.
     
    Я вообще то писал, что молодые сайты возрастом до полугода, или около года не рассматриваю, ибо там еще не набежала статистика.
     
     
    Отрицательный пример  sergio1 Сайту всего 3 дня, а он аудит просит! Пусть берет пример с Вашего сайта.
     
     
    Но Ваш сайт исключение. Он очень хорош.
     
    Впервые вижу  настолько оптимизированный киносайт.
    Можно ставить в пример.
     
    Контент уникальный, и перелинкованый.
    Метатеги прописаны.
    Очень мало дубликатов в метатегах, это редчайший случай.
     
    Великолепно заполнены атрибуты alt и title к картинкам.
    Вот пример по фильму Курортный роман.
     
    <img src="/image.php?src=kinoveb.tv/uploads/posts/2015-06/1435384364_roman.jpg&zc=1&h=290&w=19"height="290" width="198" style="float:left;" alt="Сериал Курортный роман смотреть онлайн бесплатно" title="Курортный роман" itemprop="image">
     
    Из оптимизации могу посоветовать, на примере той же страницы  по фильму Курортный роман.
     
    Там и на других страницах есть уникальные тексты описаний, по 1500 и более знаков.
    В середине текста вставьте подзаголовок Н2 с ключевой фразой.
     
    Под ним можно еще одну картинку, лучше уникальную, сграбить со стоп кадра на видео.
    Естественно с прописанными атибутами.
     
    И  в первом предложении после подзаголовка Н2 сделайте ссылку с ключем на похожий материал
     
    Ссылку обязательно выделите полужирным и подсветите синими тонами.
     
    Например 
     
    =====================================================
     
    Прибыв на место, парни заселяются в тот же отель, где недавно обосновались прекрасные девушки.
     
    Н2 Эффект Дежавю́ в фильме Курортный роман
     

     
    Дальнейший сюжет фильма напоминает сериал Доярка с Хацапетовки, но в урезанном варианте №-й серии.
      Алик принялся развлекаться на полную катушку, Глеб еще переживал разлуку с девушкой и решил не предаваться праздному веселью
    ======================================================
     
    Картинка и тема сериала взяты просто для примера.
    Как раз, картинка эта, абсолютно не уникальна, и ключи в атрибутах не прописаны.
     
    Ключи в атрибутах желательно писать немного разные, для каждой картинки.
    Допускается, даже целое предложение, с 1 или 2-мя  связанными по смыслу  ревальвантными ключами.
     
    И так по остальным описательным текстам.
    В принципе, этого можно и не делать, у Вас и так все нормально.
     
    Но если хотите, можете усилить, ревальвантно, внутреннюю перелинковку и поиск картинками.
     
    Тем более размер текста позволяет.
    Ориентир на каждые 700=750 знаков 1 подзаголовок с ключами, + 1 картинка с ключами + 1 ссылка с ключами.
     
    С уважением
  22. simpa liked a post in a topic by roman48 in Чем оптимизировать картинки?   
    там В конфиге скрипта лежат несколько доменов которые разрешают загрузку картинок с других сайтов с этими картинками подгружают шел php он кэшируется  и этот шел оказывается на сайте.http://prntscr.com/7iwzrxэто все из конфига надо удалить
  23. simpa liked a post in a topic by roman48 in Чем оптимизировать картинки?   
    там В конфиге скрипта лежат несколько доменов которые разрешают загрузку картинок с других сайтов с этими картинками подгружают шел php он кэшируется  и этот шел оказывается на сайте.http://prntscr.com/7iwzrxэто все из конфига надо удалить
  24. campusboy liked a post in a topic by roman48 in защита сайта   
    archive.org я эту кантору блокирую в .htaccess
  25. campusboy liked a post in a topic by roman48 in защита сайта   
    archive.org я эту кантору блокирую в .htaccess