Sign in to follow this  
Followers 0
Amorale

Как защититься от граббера

12 posts in this topic

Привет всем !

Появилась такая проблема - есть пара сайтов, с забугорными регистраторами, которые воруют контент грабберами. Кто подскажет, как защититься от них? Вроде бы можно что-то в htacess прописывать, запрещая доступ. Подскажите возможные варианты.

Каждому из вас заранее  благодарен за ответ !

Share this post


Link to post
Share on other sites

Если IP всегда один, то

Order allow,deny
Allow from all
Deny from 212.135.132.21, 278.169.131.29

Если разный, то можно попробовать отследить User-Agent и

SetEnvIfNoCase User-Agent "^badbot3" bad_user
Deny from env=bad_user
Amorale likes this

Share this post


Link to post
Share on other sites

Можно подключить cloudflare, он блокирует большинство грабберов.

Спасибо, подумаю на счет cloudflare, но он иногда живых посетителей к себе на сайт отправляет, редиректом. Если я не ошибаюсь, конечно.

Share this post


Link to post
Share on other sites

Если не выставлять режим "Меня атакуют", то ничего страшного не случится, все пользователи увидят сайт.

Amorale likes this

Share this post


Link to post
Share on other sites

Если не выставлять режим "Меня атакуют", то ничего страшного не случится, все пользователи увидят сайт.

Ты знаешь, не знаю защищусь ли я от граббера, но сайт с cloudflare стал работать быстрее. Так что спасибо за совет.

Share this post


Link to post
Share on other sites

Ты знаешь, не знаю защищусь ли я от граббера, но сайт с cloudflare стал работать быстрее. Так что спасибо за совет.

Нет, не помогло..грабят, гады...эх..

Share this post


Link to post
Share on other sites

А с какой стати cloudflare должен помочь в борьбе с грабберами, cloudflare - это же всего лишь продвинутый прокси и он пропускает подобных ботов.

 

У вас вообще какого рода контент? Статьи? Объявления?

 

Я бы начал защиту с анализа: простейшим скриптиком фиксировал в базе всякую активность на сайте (timestamp, user_id, если гостей, то ip, user_agent, http_referer, можно еще фиксировать полностью ли была загружена страница (например, через ajax запрос) ), далее нужно будет найти ботов и будет сразу видно, по каким критериям можно их отсеивать. Зная эти критерии вам и на фрилансе, и тут за 5 баксов напишут скрипт, который будет выдавать грабберам испорченный текст, либо фигу. Если сайт коммерческий, то я бы сделал еще автоматический анализ активности, чтобы админ сразу видел, с каких ip/какие пользователи похоже на ботов и мог бы сразу занести их в черный список.

Amorale likes this

Share this post


Link to post
Share on other sites

Блокировка по User-Agent не поможет, т.к. бот может представляться и как обычный пользователь. Нужно блокировать IP.

Вот здесь https://talk.pr-cy.ru/topic/18604-blokirovka-perehodov-na-sajt-po-ip-referer-i-user-agent/ ранее создавал тему по блокировке.

Можете установить данный скрипт к себе на сайт (только внимательно прочитайте инструкцию при добавлении кода и создайте копию файла index.php из корня на всякий случай, вдруг вы его замените другим файлом) и вычислить все IP, которые к вам зайдут и там же их заблокировать.

witosp and Amorale like this

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now
Sign in to follow this  
Followers 0

  • Recently Browsing   0 members

    No registered users viewing this page.