Beauty

Как блокировать ботов serpstat, ahrefs

15 сообщений в этой теме

собственно сабж

конкуренты в открытую собирают ключи, запросы, ссылки и тд. У них все данные как на ладони! 

Как блокировать всех этих ботов serpstat, ahrefs, majestic, megaindex, и всех остальных? какие еще знаете?

Недавно мне просто в открытую прислали всю семантику по моему сайту + популярные страницы + запросы + ссылки и тд я на шоке. Как с этим бороться?

 

есть какой-то скрипт блокирующий всех кроме официальных поисковиков типа Яндекс и Гугле ну еще можно Маил ру и Бинг?

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Я х.з как они работают. Если выдачу парсят то никак. Если по апи других ботов работают, то их блочить надо. У маджестика вроде точно есть свой бот, по остальным не знаю и не видел их в логах

Ну а так че, в файле доступа блокировать надо

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
17 минут назад, Beauty сказал:

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Кнопка цитиования вообще не работает? Я думаю в сети полно инфы, как сетки сайтов прятать и от каких ботов. Ну или если продаете фены, то сделайте сайт про рыбалку и переленкуйте, анализируйте статистику и логи + эти серпстаты смотрите когда там че появляется

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Ну у этих собственная база из выдачи, а как блокировать ботов?

да вроде просто, если не загружает css или js скорее бот )))

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

В файле Htaccess прописываете этот код. При желании добавляете других ботов по аналогии с имеющимися правилами.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} onlineporno\.site [NC,OR]
RewriteCond %{HTTP_REFERER} success-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} commoncrawl\.org [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} scrapinghub\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semrush\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spaziodati\.eu [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} rankings-analytics\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Scrapy [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} SeznamBot [OR]
RewriteCond %{HTTP_USER_AGENT} crawler [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} HybridBot [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} DomainCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ltx71 [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} GetIntent\ Crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} DnyzBot [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} DeuSu [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} BUbiNG [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-media [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

 

Yurok86 и Beauty понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Вашему вниманию, мой универсальный блокиратор спам-ботов (периодически дополняется)

A1exandr, StayinLight и kuzovbmw понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Цитата из robots.txt сайта холодильник:

  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
1 минуту назад, pawok сказал:

Цитата из robots.txt сайта холодильник:


  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Запрет на уровне robots.txt - не совсем рациональное решение. Многие боты индексируют несмотря на запрет. В том числе и Google и Яндекс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

вот такое решение еще нашел, но там очень большой список ботов, боюсь что будет блокировать что-то важное

https://pastebin.com/BPRv4TDd

files понравилось это

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Поставил решение от files, посмотрю чуть позже результат. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

тоже поставил от files, тк сегодня прилетело +1000 "прямых заходов" думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах
6 часов назад, Beauty сказал:

думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Зачем гадать на кофейной гуще? Включайте ведение логов и смотрите, что "грузит" хостинг.

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Тоже поставил код от files. Какие-то странные прямые заходы к сайт прошёл, около 900+ штук. 

Поделиться сообщением


Ссылка на сообщение
Поделиться на других сайтах

Создайте аккаунт или войдите в него для комментирования

Вы должны быть пользователем, чтобы оставить комментарий

Создать аккаунт

Зарегистрируйтесь для получения аккаунта. Это просто!


Зарегистрировать аккаунт

Войти

Уже зарегистрированы? Войдите здесь.


Войти сейчас

  • Сейчас на странице   0 пользователей

    Нет пользователей, просматривающих эту страницу