Jump to content

Как блокировать ботов serpstat, ahrefs

Beauty
 Share Followers 0

Recommended Posts

Beauty

Beauty 172

Posted
Posted

собственно сабж

конкуренты в открытую собирают ключи, запросы, ссылки и тд. У них все данные как на ладони! 

Как блокировать всех этих ботов serpstat, ahrefs, majestic, megaindex, и всех остальных? какие еще знаете?

Недавно мне просто в открытую прислали всю семантику по моему сайту + популярные страницы + запросы + ссылки и тд я на шоке. Как с этим бороться?

 

есть какой-то скрипт блокирующий всех кроме официальных поисковиков типа Яндекс и Гугле ну еще можно Маил ру и Бинг?

Link to post
Share on other sites
petroff

petroff 648

Posted
Posted

Я х.з как они работают. Если выдачу парсят то никак. Если по апи других ботов работают, то их блочить надо. У маджестика вроде точно есть свой бот, по остальным не знаю и не видел их в логах

Ну а так че, в файле доступа блокировать надо

Link to post
Share on other sites
Beauty

Beauty 172

Posted
  • Author
Posted

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Link to post
Share on other sites
petroff

petroff 648

Posted
Posted
17 минут назад, Beauty сказал:

да какую выдачу, они прям все данные показывают сколько когда ссылок купил и каких какие анкоры, какие не анкоры, причем этих данных нет даже у Яндекс и Гугла еще, а на сервисах уже светится +10 ссылок например, +10 страниц + 50 ключевиков. То есть даже еще яндекс и гугл не обошли сайт, не было апдейта выдачи, а серпстат уже в курсе что к чему и светит эти данные всем подряд.

Кнопка цитиования вообще не работает? Я думаю в сети полно инфы, как сетки сайтов прятать и от каких ботов. Ну или если продаете фены, то сделайте сайт про рыбалку и переленкуйте, анализируйте статистику и логи + эти серпстаты смотрите когда там че появляется

Link to post
Share on other sites
gefard

gefard 89

Posted
Posted

Ну у этих собственная база из выдачи, а как блокировать ботов?

да вроде просто, если не загружает css или js скорее бот )))

Link to post
Share on other sites
  • VIP
vituson

vituson 675

Posted
  • VIP
Posted

В файле Htaccess прописываете этот код. При желании добавляете других ботов по аналогии с имеющимися правилами.

RewriteEngine on
RewriteCond %{HTTP_REFERER} semalt\.com [NC,OR]
RewriteCond %{HTTP_REFERER} onlineporno\.site [NC,OR]
RewriteCond %{HTTP_REFERER} success-seo\.com [NC,OR]
RewriteCond %{HTTP_REFERER} commoncrawl\.org [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-solution\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} buttons-for-your-website\.com [NC,OR]
RewriteCond %{HTTP_REFERER} scrapinghub\.com [NC,OR]
RewriteCond %{HTTP_REFERER} semrush\.com [NC,OR]
RewriteCond %{HTTP_REFERER} spaziodati\.eu [NC,OR]
RewriteCond %{HTTP_REFERER} best-seo-offer\.com [NC,OR]
RewriteCond %{HTTP_REFERER} rankings-analytics\.com [NC,OR]
RewriteCond %{HTTP_USER_AGENT} .*MJ12bot.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} Java [OR]
RewriteCond %{HTTP_USER_AGENT} NjuiceBot [OR]
RewriteCond %{HTTP_USER_AGENT} Gigabot [OR]
RewriteCond %{HTTP_USER_AGENT} Scrapy [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} Baiduspider [OR]
RewriteCond %{HTTP_USER_AGENT} SeznamBot [OR]
RewriteCond %{HTTP_USER_AGENT} crawler [OR]
RewriteCond %{HTTP_USER_AGENT} JS-Kit [OR]
RewriteCond %{HTTP_USER_AGENT} HybridBot [OR]
RewriteCond %{HTTP_USER_AGENT} Voyager [OR]
RewriteCond %{HTTP_USER_AGENT} PostRank [OR]
RewriteCond %{HTTP_USER_AGENT} PycURL [OR]
RewriteCond %{HTTP_USER_AGENT} DomainCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} SemrushBot [OR]
RewriteCond %{HTTP_USER_AGENT} MegaIndex.ru [OR]
RewriteCond %{HTTP_USER_AGENT} ltx71 [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} AhrefsBot [OR]
RewriteCond %{HTTP_USER_AGENT} Exabot [OR]
RewriteCond %{HTTP_USER_AGENT} Aport [OR]
RewriteCond %{HTTP_USER_AGENT} CCBot [OR]
RewriteCond %{HTTP_USER_AGENT} DotBot [OR]
RewriteCond %{HTTP_USER_AGENT} GetIntent\ Crawler [OR]
RewriteCond %{HTTP_USER_AGENT} ia_archiver [OR]
RewriteCond %{HTTP_USER_AGENT} SurveyBot [OR]
RewriteCond %{HTTP_USER_AGENT} larbin [OR]
RewriteCond %{HTTP_USER_AGENT} Butterfly [OR]
RewriteCond %{HTTP_USER_AGENT} libwww [OR]
RewriteCond %{HTTP_USER_AGENT} bingbot [OR]
RewriteCond %{HTTP_USER_AGENT} Wget [OR]
RewriteCond %{HTTP_USER_AGENT} SWeb [OR]
RewriteCond %{HTTP_USER_AGENT} LinkExchanger [OR]
RewriteCond %{HTTP_USER_AGENT} Soup [OR]
RewriteCond %{HTTP_USER_AGENT} GrapeshotCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} WordPress [OR]
RewriteCond %{HTTP_USER_AGENT} DnyzBot [OR]
RewriteCond %{HTTP_USER_AGENT} spbot [OR]
RewriteCond %{HTTP_USER_AGENT} DeuSu [OR]
RewriteCond %{HTTP_USER_AGENT} MLBot [OR]
RewriteCond %{HTTP_USER_AGENT} InternetSeer [OR]
RewriteCond %{HTTP_USER_AGENT} BUbiNG [OR]
RewriteCond %{HTTP_USER_AGENT} FairShare [OR]
RewriteCond %{HTTP_USER_AGENT} Yeti [OR]
RewriteCond %{HTTP_USER_AGENT} Birubot [OR]
RewriteCond %{HTTP_USER_AGENT} YottosBot [OR]
RewriteCond %{HTTP_USER_AGENT} gold\ crawler [OR]
RewriteCond %{HTTP_USER_AGENT} Linguee [OR]
RewriteCond %{HTTP_USER_AGENT} Ezooms [OR]
RewriteCond %{HTTP_USER_AGENT} lwp-trivial [OR]
RewriteCond %{HTTP_USER_AGENT} Purebot [OR]
RewriteCond %{HTTP_USER_AGENT} User-Agent [OR]
RewriteCond %{HTTP_USER_AGENT} kmSearchBot [OR]
RewriteCond %{HTTP_USER_AGENT} SiteBot [OR]
RewriteCond %{HTTP_USER_AGENT} CamontSpider [OR]
RewriteCond %{HTTP_USER_AGENT} ptd-crawler [OR]
RewriteCond %{HTTP_USER_AGENT} HTTrack [OR]
RewriteCond %{HTTP_USER_AGENT} suggybot [OR]
RewriteCond %{HTTP_USER_AGENT} ttCrawler [OR]
RewriteCond %{HTTP_USER_AGENT} Nutch [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot [OR]
RewriteCond %{HTTP_USER_AGENT} msnbot-media [OR]
RewriteCond %{HTTP_USER_AGENT} Slurp [OR]
RewriteCond %{HTTP_USER_AGENT} Zeus
RewriteRule ^(.*)$ – [F,L]

 

Link to post
Share on other sites
pawok

pawok 669

Posted
Posted

Цитата из robots.txt сайта холодильник: 

  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /

 

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted
1 минуту назад, pawok сказал:

Цитата из robots.txt сайта холодильник: 


  User-agent: OLEcrawler
  Disallow: /

  User-agent: MJ12bot
  Disallow: /

  User-agent: wotbox
  Disallow: /

  User-agent: AhrefsBot
  Disallow: /

  User-agent: BLEXBot
  Disallow: /

  User-agent: BUbiNG
  Disallow: /

  User-agent: Vedma
  Disallow: /

  User-agent: SemrushBot
  Disallow: /

  User-agent: SemrushBot-SA
  Disallow: /

  User-agent: Riddler
  Disallow: /

 

Запрет на уровне robots.txt - не совсем рациональное решение. Многие боты индексируют несмотря на запрет. В том числе и Google и Яндекс.

Link to post
Share on other sites
Beauty

Beauty 172

Posted
  • Author
Posted

тоже поставил от files, тк сегодня прилетело +1000 "прямых заходов" думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Link to post
Share on other sites
  • VIP
vituson

vituson 675

Posted
  • VIP
Posted
6 часов назад, Beauty сказал:

думаю или аналитика какая-то прошлась по страницам или парсят wget или downloaderom каким-то + серпстаты и прочее таки надо блочить.

Зачем гадать на кофейной гуще? Включайте ведение логов и смотрите, что "грузит" хостинг.

Link to post
Share on other sites
  • 4 months later...
  • Модератор
files

files 2844

Posted
  • Модератор
Posted
9 часов назад, Beauty сказал:

будьте внимательны у files блокируется переход из Инстаграм на iPhone в Safari ошибка 403

Пришлите по возможности полный урл перехода. Некоторые соцсети для отслеживания переходов добавляют кучу UTM-меток, причем периодически выглядят по разному.

Длинный урл в котором куча параметров выглядит как поиск уязвимости на сайте.

Link to post
Share on other sites
  • Модератор
files

files 2844

Posted
  • Модератор
Posted
1 час назад, Beauty сказал:

Обычный урл, просто попробуйте перейти из Инстаграм на сайта именно на Айфоне. Будет 403 ошибка

Спасибо, осталось зарегистрироваться в Инстаграмме, накидать там ссылок и купить Айфон :)

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
 Share
Followers 0
Go to topic listing

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...