Beauty

Как блокировать ботов serpstat, ahrefs

19 posts in this topic

собственно сабж

конкуренты в открытую собирают ключи, запросы, ссылки и тд. У них все данные как на ладони! 

Как блокировать всех этих ботов serpstat, ahrefs, majestic, megaindex, и всех остальных? какие еще знаете?

Недавно мне просто в открытую прислали всю семантику по моему сайту + популярные страницы + запросы + ссылки и тд я на шоке. Как с этим бороться?

 

есть какой-то скрипт блокирующий всех кроме официальных поисковиков типа Яндекс и Гугле ну еще можно Маил ру и Бинг?

Share this post


Link to post
Share on other sites

Я х.з как они работают. Если выдачу парсят то никак. Если по апи других ботов работают, то их блочить надо. У маджестика вроде точно есть свой бот, по остальным не знаю и не видел их в логах

Ну а так че, в файле доступа блокировать надо

Share this post


Link to post
Share on other sites

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Share this post


Link to post
Share on other sites
17 минут назад, Beauty сказал:

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Кнопка цитиования вообще не работает? Я думаю в сети полно инфы, как сетки сайтов прятать и от каких ботов. Ну или если продаете фены, то сделайте сайт про рыбалку и переленкуйте, анализируйте статистику и логи + эти серпстаты смотрите когда там че появляется

Share this post


Link to post
Share on other sites

Ну у этих собственная база из выдачи, а как блокировать ботов?

да вроде просто, если не загружает css или js скорее бот )))

Share this post


Link to post
Share on other sites

В файле Htaccess прописываете этот код. При желании добавляете других ботов по аналогии с имеющимися правилами.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} onlineporno\.site [NC,OR]
RewriteCond %{HTTP_REFERER} success-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} commoncrawl\.org [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} scrapinghub\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semrush\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spaziodati\.eu [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} rankings-analytics\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Scrapy [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} SeznamBot [OR]
RewriteCond %{HTTP_USER_AGENT} crawler [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} HybridBot [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} DomainCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ltx71 [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} GetIntent\ Crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} DnyzBot [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} DeuSu [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} BUbiNG [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-media [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

 

Yurok86 and Beauty like this

Share this post


Link to post
Share on other sites

Цитата из robots.txt сайта холодильник:

  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Share this post


Link to post
Share on other sites
1 минуту назад, pawok сказал:

Цитата из robots.txt сайта холодильник:


  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Запрет на уровне robots.txt - не совсем рациональное решение. Многие боты индексируют несмотря на запрет. В том числе и Google и Яндекс.

Share this post


Link to post
Share on other sites

Поставил решение от files, посмотрю чуть позже результат. 

Share this post


Link to post
Share on other sites

тоже поставил от files, тк сегодня прилетело +1000 "прямых заходов" думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Share this post


Link to post
Share on other sites
6 часов назад, Beauty сказал:

думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Зачем гадать на кофейной гуще? Включайте ведение логов и смотрите, что "грузит" хостинг.

Share this post


Link to post
Share on other sites

Тоже поставил код от files. Какие-то странные прямые заходы к сайт прошёл, около 900+ штук. 

Share this post


Link to post
Share on other sites

будьте внимательны у files блокируется переход из Инстаграм на iPhone в Safari ошибка 403

Share this post


Link to post
Share on other sites
9 часов назад, Beauty сказал:

будьте внимательны у files блокируется переход из Инстаграм на iPhone в Safari ошибка 403

Пришлите по возможности полный урл перехода. Некоторые соцсети для отслеживания переходов добавляют кучу UTM-меток, причем периодически выглядят по разному.

Длинный урл в котором куча параметров выглядит как поиск уязвимости на сайте.

StayinLight likes this

Share this post


Link to post
Share on other sites

Обычный урл, просто попробуйте перейти из Инстаграм на сайта именно на Айфоне. Будет 403 ошибка

Share this post


Link to post
Share on other sites
1 час назад, Beauty сказал:

Обычный урл, просто попробуйте перейти из Инстаграм на сайта именно на Айфоне. Будет 403 ошибка

Спасибо, осталось зарегистрироваться в Инстаграмме, накидать там ссылок и купить Айфон :)

hip12 likes this

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.