Стоит ли открывать гуглботу служебные файлы в шаблоне вордпресс

[viktorvoevodin 124]

Адаптировал тему для мобильных под гугл. Все ок, но при проверке в сервисе mobilefriendly хоть и пишет все ok но есть сообщение что гугл бот не видит некоторые служебные файлы (см картинку). Стоит ли открывать парки themes и plugins ему для индексации и плодить мусор или и так перебьется. Как это на выдачу может повлиять.Что скажут сеошники?

[rohanaro 58]

А зачем ему индексировать служебные файлы Вашего сайта, когда все остальные сайты обычно закрывают?

Посмотрите, что пишется в стандартном robots на wordpress.org
- закройте лишнее, и знак вопроса:
Disallow: *?*

 

Обычно служебные файлы или компоненты плодят дубли (на вроде "feed"), а это уже может помешать правильной индексации.

[Riminy 202]

Не стоит, зачем оно боту?

[GladWeb 1433]

Смотря какие. Такие служебные файлы как стили, скрипты - нужно отдавать боту. Об этом уже была новость, что поисковики научились определять, "красивый" ли сайт, либо нет. Если запретить индексировать эти файлы, то выходит что ваш сайт будет выглядеть "уродливо" в глазах бота, а это не хорошо скажется на выдаче.

[viktorvoevodin 124]

Смотря какие. Такие служебные файлы как стили, скрипты - нужно отдавать боту. Об этом уже была новость, что поисковики научились определять, "красивый" ли сайт, либо нет. Если запретить индексировать эти файлы, то выходит что ваш сайт будет выглядеть "уродливо" в глазах бота, а это не хорошо скажется на выдаче.

А ссылочку на новость не кинете?

[files 2843]

Начнем с того, что Гугль настоятельно требует открыть служебные файлы:

 

 

Чтобы обеспечить правильное индексирование и отображение страниц, нужно предоставить роботу Googlebot доступ к JavaScript, CSS и графическим файлам на сайте. Робот Googlebot должен видеть ваш сайт как обычный пользователь. Если в файле robots.txt закрыт доступ к этим ресурсам, то Google не удастся правильно проанализировать и проиндексировать содержание.

 

Применительно к Вордпрессу, следует убрать строчки:

Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /wp-content/wp-includes

из файла robots.txt 

 

 

Естественно, вы будете возмущены, поскольку опасаетесь попадания мусора в индекс. И здесь начинается самое интересное:

 

 

1) Гугль знает что это служебные файлы и рекомендует не переживать по этому поводу.

2) Гугль все равно индексирует то, что запрещено в robots.txt (дискуссии ведутся уже не один год, например, xakep.ru/2012/12/12/59801/ )

 

P.S. А все потому, что Гугль хочет знать ВСЕ!