Rymljanyn

Где в роботе закрыто указанное

13 posts in this topic

Сервис проверки на мобильность сайта указывает что много заблокировано в роботе оn Гугл бота. 

Какие именно строки в роботе закрывают нужное от робота?
 
Интересует этот сайт toursector.org.ua/

Share this post


Link to post
Share on other sites

Да вот робот 

User-agent: *
Crawl-delay: 10
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Sitemap: https://toursector.org.ua/sitemap.xml.gz
Sitemap: https://toursector.org.ua/sitemap.xml

User-agent: Yandex
Crawl-delay: 10
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Host: https://toursector.org.ua

Share this post


Link to post
Share on other sites
8 минут назад, Rymljanyn сказал:

Ошибок нет а есть 2 предупреждения напротив этих строк 


Crawl-delay: 10

Удалите эти строки. Эта директива указывает роботам с каким промежутком загружать страницы сайта, но сейчас она вроде уже не учитывается. Не смотрите на левые сервисы проверки мобильности. У вас куча закрытых внутренних ресурсов по google mobile friendly, откройте их с помощью директивы Allow и сосредоточьтесь на улучшении скорости загрузки сайта по google page speed

Share this post


Link to post
Share on other sites

Ок

1.строки уберу, правда есть опасение что боты сдуреют

2. Мобильность проверял сервисом Гугла https://search.google.com/test/mobile-friendly?hl=ru&id=n3lB3xRa8Fz1bEDa-ZyzNw

3. "откройте их с помощью директивы Allow" а вот здесь застрял. Может в самом роботе что то убрать что бы он не закрывал нужное. Какие в нем строки закрываются от ботов?

Share this post


Link to post
Share on other sites
28 минут назад, Rymljanyn сказал:

Disallow: /*?*

Исключить эту директиву

Share this post


Link to post
Share on other sites
Так будет правильно?

User-agent: *

Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed

Disallow: /?feed=
Disallow: /?s=
Sitemap: https://toursector.org.ua/sitemap.xml.gz
Sitemap: https://toursector.org.ua/sitemap.xml

User-agent: Yandex

Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=

Disallow: /?s=
Host: https://toursector.org.ua

Share this post


Link to post
Share on other sites

Правильно будет так:

User-agent: *
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /?s=
Sitemap: https://toursector.org.ua/sitemap.xml

P.S. Директивы для Яндекса не отличаются, поэтому блок User-agent: Yandex - лишний.

Директивы Host давно уже нет.

Share this post


Link to post
Share on other sites

А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется?

Share this post


Link to post
Share on other sites
22 минуты назад, vklimin сказал:

А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется?

По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс.

Share this post


Link to post
Share on other sites
1 час назад, files сказал:

По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс.

Гугл всегда говорил, что может индексировать заблокированные в роботсе страницы. Не помню точно, но вроде с конца прошлого года гугл стал выкидывать в поиск такие страницы. В суппорте гугла читал, что это связано прежде всего с количеством ссылок (внутренних и внешних) на эту страницу. Конкретно на вп видел проиндексированную страницу автора /author/. При этом в вм прилетает предупреждение, что страница проиндексирована несмотря на запрет в robots.txt. По идее фиды должен проиндексировать, но не встречал

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.