Beauty

Как блокировать ботов serpstat, ahrefs

15 сообщений в этой теме

собственно сабж

конкуренты в открытую собирают ключи, запросы, ссылки и тд. У них все данные как на ладони! 

Как блокировать всех этих ботов serpstat, ahrefs, majestic, megaindex, и всех остальных? какие еще знаете?

Недавно мне просто в открытую прислали всю семантику по моему сайту + популярные страницы + запросы + ссылки и тд я на шоке. Как с этим бороться?

 

есть какой-то скрипт блокирующий всех кроме официальных поисковиков типа Яндекс и Гугле ну еще можно Маил ру и Бинг?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я х.з как они работают. Если выдачу парсят то никак. Если по апи других ботов работают, то их блочить надо. У маджестика вроде точно есть свой бот, по остальным не знаю и не видел их в логах

Ну а так че, в файле доступа блокировать надо

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
17 минут назад, Beauty сказал:

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Кнопка цитиования вообще не работает? Я думаю в сети полно инфы, как сетки сайтов прятать и от каких ботов. Ну или если продаете фены, то сделайте сайт про рыбалку и переленкуйте, анализируйте статистику и логи + эти серпстаты смотрите когда там че появляется

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну у этих собственная база из выдачи, а как блокировать ботов?

да вроде просто, если не загружает css или js скорее бот )))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В файле Htaccess прописываете этот код. При желании добавляете других ботов по аналогии с имеющимися правилами.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} onlineporno\.site [NC,OR]
RewriteCond %{HTTP_REFERER} success-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} commoncrawl\.org [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} scrapinghub\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semrush\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spaziodati\.eu [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} rankings-analytics\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Scrapy [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} SeznamBot [OR]
RewriteCond %{HTTP_USER_AGENT} crawler [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} HybridBot [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} DomainCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ltx71 [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} GetIntent\ Crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} DnyzBot [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} DeuSu [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} BUbiNG [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-media [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

 

Beauty и Yurok86 понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вашему вниманию, мой универсальный блокиратор спам-ботов (периодически дополняется)

StayinLight, A1exandr и kuzovbmw понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата из robots.txt сайта холодильник:

  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 минуту назад, pawok сказал:

Цитата из robots.txt сайта холодильник:


  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Запрет на уровне robots.txt - не совсем рациональное решение. Многие боты индексируют несмотря на запрет. В том числе и Google и Яндекс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

вот такое решение еще нашел, но там очень большой список ботов, боюсь что будет блокировать что-то важное

https://pastebin.com/BPRv4TDd

files понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тоже поставил от files, тк сегодня прилетело +1000 "прямых заходов" думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
6 часов назад, Beauty сказал:

думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Зачем гадать на кофейной гуще? Включайте ведение логов и смотрите, что "грузит" хостинг.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тоже поставил код от files. Какие-то странные прямые заходы к сайт прошёл, около 900+ штук. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу