Jump to content

Где в роботе закрыто указанное


Recommended Posts

Сервис проверки на мобильность сайта указывает что много заблокировано в роботе оn Гугл бота. 

Какие именно строки в роботе закрывают нужное от робота?
 
Интересует этот сайт toursector.org.ua/
Link to post
Share on other sites

Да вот робот 

User-agent: *
Crawl-delay: 10
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /*?*
Disallow: /?feed=
Disallow: /?s=
Sitemap: https://toursector.org.ua/sitemap.xml.gz
Sitemap: https://toursector.org.ua/sitemap.xml

User-agent: Yandex
Crawl-delay: 10
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /*?*
Disallow: /?s=
Host: https://toursector.org.ua
Link to post
Share on other sites
8 минут назад, Rymljanyn сказал:

Ошибок нет а есть 2 предупреждения напротив этих строк 


Crawl-delay: 10

Удалите эти строки. Эта директива указывает роботам с каким промежутком загружать страницы сайта, но сейчас она вроде уже не учитывается. Не смотрите на левые сервисы проверки мобильности. У вас куча закрытых внутренних ресурсов по google mobile friendly, откройте их с помощью директивы Allow и сосредоточьтесь на улучшении скорости загрузки сайта по google page speed

Link to post
Share on other sites

Ок

1.строки уберу, правда есть опасение что боты сдуреют

2. Мобильность проверял сервисом Гугла https://search.google.com/test/mobile-friendly?hl=ru&id=n3lB3xRa8Fz1bEDa-ZyzNw

3. "откройте их с помощью директивы Allow" а вот здесь застрял. Может в самом роботе что то убрать что бы он не закрывал нужное. Какие в нем строки закрываются от ботов?

Link to post
Share on other sites
Так будет правильно?

User-agent: *

Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed

Disallow: /?feed=
Disallow: /?s=
Sitemap: https://toursector.org.ua/sitemap.xml.gz
Sitemap: https://toursector.org.ua/sitemap.xml

User-agent: Yandex

Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=

Disallow: /?s=
Host: https://toursector.org.ua
Link to post
Share on other sites
  • Модератор

Правильно будет так:

User-agent: *
Disallow: /wp-admin
Disallow: /navigator
Disallow: /navigator/
Disallow: /wp-includes
Disallow: /xmlrpc.php
Disallow: /trackback/
Disallow: /tag/
Disallow: /feed/
Disallow: */*/feed/*/
Disallow: */feed
Disallow: */*/feed
Disallow: /?feed=
Disallow: /?s=
Sitemap: https://toursector.org.ua/sitemap.xml

P.S. Директивы для Яндекса не отличаются, поэтому блок User-agent: Yandex - лишний.

Директивы Host давно уже нет.

Link to post
Share on other sites
  • Модератор
22 минуты назад, vklimin сказал:

А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется?

По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс.

Link to post
Share on other sites
1 час назад, files сказал:

По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс.

Гугл всегда говорил, что может индексировать заблокированные в роботсе страницы. Не помню точно, но вроде с конца прошлого года гугл стал выкидывать в поиск такие страницы. В суппорте гугла читал, что это связано прежде всего с количеством ссылок (внутренних и внешних) на эту страницу. Конкретно на вп видел проиндексированную страницу автора /author/. При этом в вм прилетает предупреждение, что страница проиндексирована несмотря на запрет в robots.txt. По идее фиды должен проиндексировать, но не встречал

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...