Rymljanyn 0 Posted December 22, 2019 Report Share Posted December 22, 2019 Сервис проверки на мобильность сайта указывает что много заблокировано в роботе оn Гугл бота. Какие именно строки в роботе закрывают нужное от робота? Интересует этот сайт toursector.org.ua/ Quote Link to post Share on other sites
Rymljanyn 0 Posted December 22, 2019 Author Report Share Posted December 22, 2019 Да вот робот User-agent: * Crawl-delay: 10 Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /*?* Disallow: /?feed= Disallow: /?s= Sitemap: https://toursector.org.ua/sitemap.xml.gz Sitemap: https://toursector.org.ua/sitemap.xml User-agent: Yandex Crawl-delay: 10 Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /*?* Disallow: /?s= Host: https://toursector.org.ua Quote Link to post Share on other sites
Rymljanyn 0 Posted December 22, 2019 Author Report Share Posted December 22, 2019 Ошибок нет а есть 2 предупреждения напротив этих строк Crawl-delay: 10 Quote Link to post Share on other sites
petroff 648 Posted December 22, 2019 Report Share Posted December 22, 2019 8 минут назад, Rymljanyn сказал: Ошибок нет а есть 2 предупреждения напротив этих строк Crawl-delay: 10 Удалите эти строки. Эта директива указывает роботам с каким промежутком загружать страницы сайта, но сейчас она вроде уже не учитывается. Не смотрите на левые сервисы проверки мобильности. У вас куча закрытых внутренних ресурсов по google mobile friendly, откройте их с помощью директивы Allow и сосредоточьтесь на улучшении скорости загрузки сайта по google page speed Quote Link to post Share on other sites
Rymljanyn 0 Posted December 22, 2019 Author Report Share Posted December 22, 2019 Ок 1.строки уберу, правда есть опасение что боты сдуреют 2. Мобильность проверял сервисом Гугла https://search.google.com/test/mobile-friendly?hl=ru&id=n3lB3xRa8Fz1bEDa-ZyzNw 3. "откройте их с помощью директивы Allow" а вот здесь застрял. Может в самом роботе что то убрать что бы он не закрывал нужное. Какие в нем строки закрываются от ботов? Quote Link to post Share on other sites
Rymljanyn 0 Posted December 22, 2019 Author Report Share Posted December 22, 2019 Или что именно Allow открыть? Quote Link to post Share on other sites
Модератор files 2815 Posted December 22, 2019 Модератор Report Share Posted December 22, 2019 28 минут назад, Rymljanyn сказал: Disallow: /*?* Исключить эту директиву Quote Link to post Share on other sites
Rymljanyn 0 Posted December 22, 2019 Author Report Share Posted December 22, 2019 Так будет правильно? User-agent: * Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /?s= Sitemap: https://toursector.org.ua/sitemap.xml.gz Sitemap: https://toursector.org.ua/sitemap.xml User-agent: Yandex Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /?s= Host: https://toursector.org.ua Quote Link to post Share on other sites
Модератор files 2815 Posted December 22, 2019 Модератор Report Share Posted December 22, 2019 Правильно будет так: User-agent: * Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /?s= Sitemap: https://toursector.org.ua/sitemap.xml P.S. Директивы для Яндекса не отличаются, поэтому блок User-agent: Yandex - лишний. Директивы Host давно уже нет. Quote Link to post Share on other sites
Rymljanyn 0 Posted December 22, 2019 Author Report Share Posted December 22, 2019 Спасибо! Пробую! Quote Link to post Share on other sites
vklimin 28 Posted December 22, 2019 Report Share Posted December 22, 2019 А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется? Quote Link to post Share on other sites
Модератор files 2815 Posted December 22, 2019 Модератор Report Share Posted December 22, 2019 22 минуты назад, vklimin сказал: А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется? По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс. Quote Link to post Share on other sites
petroff 648 Posted December 22, 2019 Report Share Posted December 22, 2019 1 час назад, files сказал: По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс. Гугл всегда говорил, что может индексировать заблокированные в роботсе страницы. Не помню точно, но вроде с конца прошлого года гугл стал выкидывать в поиск такие страницы. В суппорте гугла читал, что это связано прежде всего с количеством ссылок (внутренних и внешних) на эту страницу. Конкретно на вп видел проиндексированную страницу автора /author/. При этом в вм прилетает предупреждение, что страница проиндексирована несмотря на запрет в robots.txt. По идее фиды должен проиндексировать, но не встречал Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.