Posted December 22, 2019 · Report post Сервис проверки на мобильность сайта указывает что много заблокировано в роботе оn Гугл бота. Какие именно строки в роботе закрывают нужное от робота? Интересует этот сайт toursector.org.ua/ Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Да вот робот User-agent: * Crawl-delay: 10 Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /*?* Disallow: /?feed= Disallow: /?s= Sitemap: https://toursector.org.ua/sitemap.xml.gz Sitemap: https://toursector.org.ua/sitemap.xml User-agent: Yandex Crawl-delay: 10 Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /*?* Disallow: /?s= Host: https://toursector.org.ua Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Ошибок нет а есть 2 предупреждения напротив этих строк Crawl-delay: 10 Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post 8 минут назад, Rymljanyn сказал: Ошибок нет а есть 2 предупреждения напротив этих строк Crawl-delay: 10 Удалите эти строки. Эта директива указывает роботам с каким промежутком загружать страницы сайта, но сейчас она вроде уже не учитывается. Не смотрите на левые сервисы проверки мобильности. У вас куча закрытых внутренних ресурсов по google mobile friendly, откройте их с помощью директивы Allow и сосредоточьтесь на улучшении скорости загрузки сайта по google page speed Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Ок 1.строки уберу, правда есть опасение что боты сдуреют 2. Мобильность проверял сервисом Гугла https://search.google.com/test/mobile-friendly?hl=ru&id=n3lB3xRa8Fz1bEDa-ZyzNw 3. "откройте их с помощью директивы Allow" а вот здесь застрял. Может в самом роботе что то убрать что бы он не закрывал нужное. Какие в нем строки закрываются от ботов? Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Или что именно Allow открыть? Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post 28 минут назад, Rymljanyn сказал: Disallow: /*?* Исключить эту директиву Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Так будет правильно? User-agent: * Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /?s= Sitemap: https://toursector.org.ua/sitemap.xml.gz Sitemap: https://toursector.org.ua/sitemap.xml User-agent: Yandex Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /?s= Host: https://toursector.org.ua Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Правильно будет так: User-agent: * Disallow: /wp-admin Disallow: /navigator Disallow: /navigator/ Disallow: /wp-includes Disallow: /xmlrpc.php Disallow: /trackback/ Disallow: /tag/ Disallow: /feed/ Disallow: */*/feed/*/ Disallow: */feed Disallow: */*/feed Disallow: /?feed= Disallow: /?s= Sitemap: https://toursector.org.ua/sitemap.xml P.S. Директивы для Яндекса не отличаются, поэтому блок User-agent: Yandex - лишний. Директивы Host давно уже нет. Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post Спасибо! Пробую! Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется? Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post 22 минуты назад, vklimin сказал: А ничего, что Гугл игнорирует Disallow-директивы robots.txt, когда ему сильно хочется? По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс. Share this post Link to post Share on other sites
Posted December 22, 2019 · Report post 1 час назад, files сказал: По идее он может и должен (для лучшего понимания) игнорировать директивы, но не выкладывать в индекс. Гугл всегда говорил, что может индексировать заблокированные в роботсе страницы. Не помню точно, но вроде с конца прошлого года гугл стал выкидывать в поиск такие страницы. В суппорте гугла читал, что это связано прежде всего с количеством ссылок (внутренних и внешних) на эту страницу. Конкретно на вп видел проиндексированную страницу автора /author/. При этом в вм прилетает предупреждение, что страница проиндексирована несмотря на запрет в robots.txt. По идее фиды должен проиндексировать, но не встречал Share this post Link to post Share on other sites
