Search the Community

Хочу поделиться с вами статьей со своего блога. Мини гайд. Не думаю, что я буду оригинален в своих решениях, однако этот способ работает и мне этого достаточно. Материал короткий, будет в двух частях – предыстория и практическая часть о том, как блокировать паразитный трафик с систем автоматической раскрутки типа redsurf и прочих. Предыстория. Вообще, генерирование паразитного трафика на сайты, который якобы может убить конкурента, обычно, удел недалёких школьников, недавно пришедших в мир веба и требующих справедливости. Взрослые и серьезные люди используют совершенно другие методы борьбы. Но статья не об этом. Статья как раз об одном недалёком школьнике, который за справедливую критику решил залить дряной трафик на мой блог. Блог у меня не раскручивается, посещаемость 0-20 в день. Держу для души. Вот собственно виновник торжества (спасибо ему за идею для написания статьи, кстати): Это он пишет на форуме в своей теме: А это чуть позже в личку: Мило. захожу в Метрику, смотрю графики. И правда, идёт трафик: Смотрю что за трафик, а там… Ну, в общем, умом не блещет, не стоило ожидать чего-то иного: Техническая часть В принципе, такой трафик можно просто отфутболить через htaccess, главное рефереров отлавливать и вовремя добавлять. Можно даже на питоне скрипт написать, что бы это делалось более-менее автоматически. Однако я весьма ленивый в этом плане человек, хочется один раз сделать и больше не париться. В голове было несколько идей: забить (отметаем, слишком скучно) сделать прелоадер, который бы рушил работу САР (об этом я напишу пару слов в конце) воспользоваться каким-нибудь сервисом Оптимальной для меня оказалась идея номер три – я подключил сайт к cloudflare. В принципе, ничего сложного в этом процессе нет. Регистрируемся в системе, добавляем свой сайт. Далее cloudflare предлагает пустить трафик через их сервера, прописав соответствующие NS-ки. Сказано-сделано. Прописываю NS-ки, жду, когда произойдет смена. Спустя примерно 4 часа мне приходит письмо, мол всё готово – трафик идёт через cloudflare. Замечательно. Вообще, cloudflare имеет множество приятных функций даже на бесплатном тарифе. Это и фаервол, и средства аналитики, и удобный DNS менеджер, и кеширование, и CDN, и многое другое. Но меня в первую очередь интересовал фаервол. По умолчанию сайт в системе не так жестко фильтруется, как мне этого хотелось бы. Дело в том, что система имеет несколько режимов работы, от «выключена» до «меня атакуют». Меня интересовал именно последний вариант, который КАЖДОМУ уникальному посетителю выводит вначале прелоадер, и только спустя какое-то время (5 секунд) открывает сам сайт. В дальнейшем 15 минут сессия пользователя сохраняется, и он может свободно ходить по сайту. Вот так выглядит этот прелоадер (если вдруг кто не видел): Сайты, работающие в таком режиме через Cloudflare встречаются повсеместно, так что не стоит ожидать что посетитель вдруг закроет страничку и не дождется редиректа через 5 секунд. А как же индексация в поисковиках, спросите вы? С ней всё нормально, вот логи вебсервера: 151.80.31.143 - - [03/Aug/2015:07:59:32 +0300] "GET /component/content/article?id=66:microsoft-edge-pochemu-ya-ne-budu-ego-ispolzovat HTTP/1.0" 200 8294 "-" "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://ahrefs.com/robot/)" 141.8.142.1 - - [03/Aug/2015:08:05:17 +0300] "GET /images/news/2015-06-02/wtfpl.svg HTTP/1.1" 200 3386 "-" "Mozilla/5.0 (compatible; YandexImages/3.0; +http://yandex.com/bots)" 213.180.206.205 - - [03/Aug/2015:09:00:22 +0300] "GET / HTTP/1.0" 200 13560 "-" "Mozilla/5.0 (compatible; YandexMetrika/2.0; +http://yandex.com/bots DEV)" 66.249.64.155 - - [03/Aug/2015:10:03:49 +0300] "GET /media/plg_jchoptimize/assets/gz/30/0/8007a0387328b29adcf70b4c9929a9c1.css HTTP/1.0" 200 72638 "https://www.dev3l.ru/74-10-sekretov-dlya-sozdaniya-uspeshnogo-bloga" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)" и т.д. Все боты популярных ПС успешно проходят мимо защиты cloudflare и индексирую сайт. Теперь перейдем к результату, чего удалось достигнуть. Метрика: График активности в cloudflare: Чувствуете разницу? Cloudlflare успешно схавал почти 9.5к левых запросов за сутки, оставив только естественный поисковой трафик. Теперь про идею номер два – прелоадер, нарушающий работу многих САР. Есть в интернете такое понятие как Clickjacking — относительно новый и не очень широко известный тип атак на веб-сайты. Его суть в том, что пользователь, совершая клик на специально сформированной странице злоумышленника, на самом деле кликает по ссылке на совершенно другом сайте. По такому принципу чаще всего работают клиенты САРов. Вот такой простой код не даст произвести «левый» клик на странице, и вместо этого будет отдавать код HTTP/1.1 204 No Content (не даст уйти со страницы): <script type="text/javascript">if (top.location != self.location)top.location = self.location</script> Понятное дело, никакому САРу не нужен такой сайт, который будет останаливать процесс и мешать работе. Пользователям, кстати, данный код никак не вредит и даже не заметен. Чисто защита от Clickjacking. Вот такая вот история, про одного глупого школьника и мой ответ ему. Всем спасибо кто прочитал, может быть кому-то будет полезно.