Юра 68 Posted July 28, 2015 Report Share Posted July 28, 2015 Всем привет! Дорогие друзья буду короток. Мне с вебмастера Google пришло такое письмо: Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске. Собственно мой Robots.txt на сайте для Googlebot: User-agent: Googlebot Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: */trackback Disallow: */*/trackback Disallow: */*/feed/*/ Disallow: */feed Disallow: /page/ Disallow: /tag/ Подскажите какую директиву надо открыть ? Огромное спасибо! Quote Link to post Share on other sites
VIP BuHoBeH 953 Posted July 28, 2015 VIP Report Share Posted July 28, 2015 Оно походу всем пришло и на мои сайты на DLe. Мне лично кажется то что у них случился баг. Krustuna and Юра 2 Quote Link to post Share on other sites
Guest Funya277 Posted July 28, 2015 Report Share Posted July 28, 2015 User-agent: Yandex Allow: /wp-content/uploads/ Disallow: /wp-content/plugins Disallow: /wp-content/themes Host: ваш сайт.ru User-agent: * Disallow: /wp-includes Disallow: /wp-feed Host: ваш сайт.ru Sitemap: http://ваш сайт.ru /sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ таким роботсом пользуюсь давно и на всех сайтах. Советую сделать так. Просто если фидами не пользуетесь то закройте их от индекса Quote Link to post Share on other sites
Guest Funya277 Posted July 28, 2015 Report Share Posted July 28, 2015 Оно походу всем пришло и на мои сайты на DLe. Мне лично кажется то что у них случился баг. мне не на один сайт ничего не приходило Quote Link to post Share on other sites
Юра 68 Posted July 28, 2015 Author Report Share Posted July 28, 2015 Оно походу всем пришло и на мои сайты на DLe. Мне лично кажется то что у них случился баг. Хочется надеется на баг. У меня 3 сайта на WordPress и у всех одинаковые Robots.txt, на два пришли письма счастья с интервалом в 5 минут, на третий жду, прошло 3 часа пока нет. Quote Link to post Share on other sites
dontfear 762 Posted July 28, 2015 Report Share Posted July 28, 2015 Пришло на все сайте на вп, забил. Quote Link to post Share on other sites
VIP BuHoBeH 953 Posted July 28, 2015 VIP Report Share Posted July 28, 2015 Хочется надеется на баг. У меня 3 сайта на WordPress и у всех одинаковые Robots.txt, на два пришли письма счастья с интервалом в 5 минут, на третий жду, прошло 3 часа пока нет. Как видите многим пришли, так что не стоит волноваться, забейте и всё. Krustuna 1 Quote Link to post Share on other sites
wero1 13 Posted July 28, 2015 Report Share Posted July 28, 2015 И мне пришло , сайт на ДЛЕ Quote Link to post Share on other sites
Ametvile 2 Posted July 28, 2015 Report Share Posted July 28, 2015 На форуме гугла "спецы" несут полную чушь про то что нужно роботу все разрешить, но письма получают очень многие и на разных ЦМС. Так что тоже надеюсь что это очередной баг у гугли. Quote Link to post Share on other sites
Guest Funya277 Posted July 28, 2015 Report Share Posted July 28, 2015 Нужно роботс открывать. У меня было такое письмо, тогда гугл не мог получить доступ ко всем файлам сайта, после чего я открыл его, и у меня мобильный трафик стал расти. Гугл просто так письма не шлёт. Krustuna 1 Quote Link to post Share on other sites
Guest Funya277 Posted July 28, 2015 Report Share Posted July 28, 2015 На форуме гугла "спецы" несут полную чушь про то что нужно роботу все разрешить, но письма получают очень многие и на разных ЦМС. Так что тоже надеюсь что это очередной баг у гугли. у меня полностью открыт роботс, и почему не на один из 5 сайтов не пришло такое письмо ?или я рыжий ?))) Quote Link to post Share on other sites
Ametvile 2 Posted July 28, 2015 Report Share Posted July 28, 2015 Нужно роботс открывать. У меня было такое письмо, тогда гугл не мог получить доступ ко всем файлам сайта, после чего я открыл его, и у меня мобильный трафик стал расти. Гугл просто так письма не шлёт. может сразу ключи отдать от квартиры, де деньги лежат? Quote Link to post Share on other sites
Guest Funya277 Posted July 28, 2015 Report Share Posted July 28, 2015 может сразу ключи отдать от квартиры, де деньги лежат? гугл у вас ваш бизнес просит или пароли от сайта ?Когда папка /wp-includes бывает закрыта от индекса, гугл не может определить мобильную версию сайта и его удобства. Я дал полный доступ гуглу и ничего страшного не случилось, даже на оборот позиции сайта и посещаемость с мобильных устройств выросла. Eserador and Krustuna 2 Quote Link to post Share on other sites
Юра 68 Posted July 28, 2015 Author Report Share Posted July 28, 2015 Попробую wp-includes открыть, посмотрим что получится. Но а Disallow: /page/ Disallow: /tag/ оставлю, а то много дублей получается и не найденных страниц когда число статей на главной меняешь, испытано. Quote Link to post Share on other sites
dontfear 762 Posted July 28, 2015 Report Share Posted July 28, 2015 гугл у вас ваш бизнес просит или пароли от сайта ?Когда папка /wp-includes бывает закрыта от индекса, гугл не может определить мобильную версию сайта и его удобства. Я дал полный доступ гуглу и ничего страшного не случилось, даже на оборот позиции сайта и посещаемость с мобильных устройств выросла. И что-же, по вашему, отвечает за мобильную или адаптивную версию из /wp-includes ? Quote Link to post Share on other sites
Zaga 28 Posted July 28, 2015 Report Share Posted July 28, 2015 Disallow: /wp-content/plugins Disallow: /wp-content/themes ------- эти папки нужно открыть для индексации, ничего страшного в этом нету, если гугл просит css и js от вас, чтобы понимать правильно страницу, тем более в гугл-вебмастере есть такой пункт как "заблокированные ресурсы" и там подробно указано к какому файлу гугл не может достучаться Юра 1 Quote Link to post Share on other sites
Юра 68 Posted July 28, 2015 Author Report Share Posted July 28, 2015 Disallow: /wp-content/plugins Disallow: /wp-content/themes ------- эти папки нужно открыть для индексации, ничего страшного в этом нету, если гугл просит css и js от вас, чтобы понимать правильно страницу, тем более в гугл-вебмастере есть такой пункт как "заблокированные ресурсы" и там подробно указано к какому файлу гугл не может достучаться В заблокированных ресурсах есть директивы wp-content/plugins и wp-content/themes с моей темой. Их я тоже открою. Quote Link to post Share on other sites
Guest Funya277 Posted July 28, 2015 Report Share Posted July 28, 2015 В заблокированных ресурсах есть директивы wp-content/plugins и wp-content/themes с моей темой. Их я тоже открою. их не надо, это уже лишние Quote Link to post Share on other sites
LoveMusic 14 Posted July 28, 2015 Report Share Posted July 28, 2015 Привет всем. По поводу DLE - реагировать или нет? (Тоже пришло на один сайт). Что примечательно - Гуглобот жалуется, что не может получить доступ к JS и CSS, находящимся в папке /engine/classes/js Надо ли его вообще в /engine/ пускать? А то мыслишки были открыть-таки ребенку комнату с игрушками с помощью Allow: /engine/classes/js/*.js Quote Link to post Share on other sites
shaman22 9 Posted July 29, 2015 Report Share Posted July 29, 2015 Оно походу всем пришло и на мои сайты на DLe. Мне лично кажется то что у них случился баг. https://support.google.com/webmasters/answer/35769?hl=ru#technical_guidelines Quote Link to post Share on other sites
shaman22 9 Posted July 29, 2015 Report Share Posted July 29, 2015 их не надо, это уже лишние Согласен, но только так и можно решить проблему. Quote Link to post Share on other sites
Mitriy-Bug 24 Posted July 29, 2015 Report Share Posted July 29, 2015 Мне пришли тоже письма. Сайты на Joomla. Открою только для робота гугла Quote Link to post Share on other sites
silence1988 340 Posted July 29, 2015 Report Share Posted July 29, 2015 Ничего не пришло. Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /wp-trackback Disallow: /wp-feed Disallow: /wp-comments Disallow: /tag/ Disallow: */trackback Disallow: */feed Disallow: */comments Quote Link to post Share on other sites
aoleg2010 0 Posted July 29, 2015 Report Share Posted July 29, 2015 User-agent: Yandex Allow: /wp-content/uploads/ Disallow: /wp-content/plugins Disallow: /wp-content/themes Host: ваш сайт.ru User-agent: * Disallow: /wp-includes Disallow: /wp-feed Host: ваш сайт.ru Sitemap: http://ваш сайт.ru /sitemap.xml User-agent: Googlebot-Image Allow: /wp-content/uploads/ таким роботсом пользуюсь давно и на всех сайтах. Советую сделать так. Просто если фидами не пользуетесь то закройте их от индекса У меня, то же такое было,только на Joomla. Убрал в robots.txt запись: /templates/Disallow и все нормализовалось. Значит и в WP надо открывать папку с шаблоном. А вообще, в инструментах вебмастеров Google надо смотреть описание проблемы. Quote Link to post Share on other sites
GameOver 103 Posted July 29, 2015 Report Share Posted July 29, 2015 Google скоро запустит новую фишку. По аналогии с "мобайлгеддон" ее можно будет смело назвать "скриптгеддон". Открывайте поисковикам доступ ко всем скриптам сайта. Откуда у меня эта информация лучше даже и не спрашивайте. Quote Link to post Share on other sites
Recommended Posts
Join the conversation
You can post now and register later. If you have an account, sign in now to post with your account.