Jump to content
Beauty

Как блокировать ботов serpstat, ahrefs

Recommended Posts

собственно сабж

конкуренты в открытую собирают ключи, запросы, ссылки и тд. У них все данные как на ладони! 

Как блокировать всех этих ботов serpstat, ahrefs, majestic, megaindex, и всех остальных? какие еще знаете?

Недавно мне просто в открытую прислали всю семантику по моему сайту + популярные страницы + запросы + ссылки и тд я на шоке. Как с этим бороться?

 

есть какой-то скрипт блокирующий всех кроме официальных поисковиков типа Яндекс и Гугле ну еще можно Маил ру и Бинг?

Share this post


Link to post
Share on other sites

Я х.з как они работают. Если выдачу парсят то никак. Если по апи других ботов работают, то их блочить надо. У маджестика вроде точно есть свой бот, по остальным не знаю и не видел их в логах

Ну а так че, в файле доступа блокировать надо

Share this post


Link to post
Share on other sites

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Share this post


Link to post
Share on other sites
17 минут назад, Beauty сказал:

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Кнопка цитиования вообще не работает? Я думаю в сети полно инфы, как сетки сайтов прятать и от каких ботов. Ну или если продаете фены, то сделайте сайт про рыбалку и переленкуйте, анализируйте статистику и логи + эти серпстаты смотрите когда там че появляется

Share this post


Link to post
Share on other sites

Ну у этих собственная база из выдачи, а как блокировать ботов?

да вроде просто, если не загружает css или js скорее бот )))

Share this post


Link to post
Share on other sites

В файле Htaccess прописываете этот код. При желании добавляете других ботов по аналогии с имеющимися правилами.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} onlineporno\.site [NC,OR]
RewriteCond %{HTTP_REFERER} success-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} commoncrawl\.org [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} scrapinghub\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semrush\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spaziodati\.eu [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} rankings-analytics\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Scrapy [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} SeznamBot [OR]
RewriteCond %{HTTP_USER_AGENT} crawler [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} HybridBot [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} DomainCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ltx71 [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} GetIntent\ Crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} DnyzBot [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} DeuSu [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} BUbiNG [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-media [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

 

Share this post


Link to post
Share on other sites

Цитата из robots.txt сайта холодильник:

  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Share this post


Link to post
Share on other sites
1 минуту назад, pawok сказал:

Цитата из robots.txt сайта холодильник:


  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /
    

 

Запрет на уровне robots.txt - не совсем рациональное решение. Многие боты индексируют несмотря на запрет. В том числе и Google и Яндекс.

Share this post


Link to post
Share on other sites

тоже поставил от files, тк сегодня прилетело +1000 "прямых заходов" думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Share this post


Link to post
Share on other sites
6 часов назад, Beauty сказал:

думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Зачем гадать на кофейной гуще? Включайте ведение логов и смотрите, что "грузит" хостинг.

Share this post


Link to post
Share on other sites

Тоже поставил код от files. Какие-то странные прямые заходы к сайт прошёл, около 900+ штук. 

Share this post


Link to post
Share on other sites
9 часов назад, Beauty сказал:

будьте внимательны у files блокируется переход из Инстаграм на iPhone в Safari ошибка 403

Пришлите по возможности полный урл перехода. Некоторые соцсети для отслеживания переходов добавляют кучу UTM-меток, причем периодически выглядят по разному.

Длинный урл в котором куча параметров выглядит как поиск уязвимости на сайте.

Share this post


Link to post
Share on other sites

Обычный урл, просто попробуйте перейти из Инстаграм на сайта именно на Айфоне. Будет 403 ошибка

Share this post


Link to post
Share on other sites
1 час назад, Beauty сказал:

Обычный урл, просто попробуйте перейти из Инстаграм на сайта именно на Айфоне. Будет 403 ошибка

Спасибо, осталось зарегистрироваться в Инстаграмме, накидать там ссылок и купить Айфон :)

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...