Jump to content
Юра

Помогите с Robots.txt на WordPress

Recommended Posts

Всем привет!

 

Дорогие друзья буду короток. Мне с вебмастера Google пришло такое письмо:

 

Мы обнаружили на Вашем сайте проблему, которая может помешать его сканированию. Робот Googlebot не может обработать код JavaScript и/или файлы CSS из-за ограничений в файле robots.txt. Эти данные нужны, чтобы оценить работу сайта. Поэтому если доступ к ресурсам будет заблокирован, то это может ухудшить позиции Вашего сайта в Поиске.
 
Собственно мой Robots.txt на сайте для Googlebot:
 
User-agent: Googlebot
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /page/
Disallow: /tag/
 
Подскажите какую директиву надо открыть ? Огромное спасибо!

 

Share this post


Link to post
Share on other sites
Guest Funya277
User-agent: Yandex

Allow: /wp-content/uploads/

Disallow: /wp-content/plugins

Disallow: /wp-content/themes

Host: ваш сайт.ru 

 

User-agent: *

Disallow: /wp-includes

Disallow: /wp-feed

Host: ваш сайт.ru 

Sitemap: http://ваш сайт.ru /sitemap.xml

 

User-agent: Googlebot-Image

Allow: /wp-content/uploads/

 

таким роботсом пользуюсь давно и на всех сайтах. Советую сделать так. Просто если фидами не пользуетесь то закройте их от индекса

Share this post


Link to post
Share on other sites
Guest Funya277

Оно походу всем пришло и на мои сайты на DLe.

Мне лично кажется то что у них случился баг.

мне не на один сайт ничего не приходило 

Share this post


Link to post
Share on other sites

Оно походу всем пришло и на мои сайты на DLe.

Мне лично кажется то что у них случился баг.

 

Хочется надеется на баг. У меня 3 сайта на WordPress и у всех одинаковые Robots.txt, на два пришли письма счастья с интервалом в 5 минут, на третий жду, прошло 3 часа пока нет.

Share this post


Link to post
Share on other sites

Хочется надеется на баг. У меня 3 сайта на WordPress и у всех одинаковые Robots.txt, на два пришли письма счастья с интервалом в 5 минут, на третий жду, прошло 3 часа пока нет.

Как видите многим пришли, так что не стоит волноваться, забейте и всё.

Share this post


Link to post
Share on other sites

На форуме гугла "спецы" несут полную чушь про то что нужно роботу все разрешить, но письма получают очень многие и на разных ЦМС. Так что тоже надеюсь что это очередной баг у гугли.

Share this post


Link to post
Share on other sites
Guest Funya277

Нужно роботс открывать. У меня было такое письмо, тогда гугл не мог получить доступ ко всем файлам сайта, после чего я открыл его, и у меня мобильный трафик стал расти. Гугл просто так письма не шлёт.

Share this post


Link to post
Share on other sites
Guest Funya277

На форуме гугла "спецы" несут полную чушь про то что нужно роботу все разрешить, но письма получают очень многие и на разных ЦМС. Так что тоже надеюсь что это очередной баг у гугли.

у меня полностью открыт роботс, и почему не на один из 5 сайтов не пришло такое письмо ?или я рыжий ?)))

Share this post


Link to post
Share on other sites

Нужно роботс открывать. У меня было такое письмо, тогда гугл не мог получить доступ ко всем файлам сайта, после чего я открыл его, и у меня мобильный трафик стал расти. Гугл просто так письма не шлёт.

может сразу ключи отдать от квартиры, де деньги лежат?

Share this post


Link to post
Share on other sites
Guest Funya277

может сразу ключи отдать от квартиры, де деньги лежат?

гугл у вас ваш бизнес просит или пароли от сайта ?Когда папка /wp-includes бывает закрыта от индекса, гугл не может определить мобильную версию сайта и его удобства.

9413627.jpg

Я дал полный доступ гуглу и ничего страшного не случилось, даже на оборот позиции сайта и посещаемость с мобильных устройств выросла.

Share this post


Link to post
Share on other sites

Попробую wp-includes открыть, посмотрим что получится. Но а Disallow: /page/ Disallow: /tag/ оставлю, а то много дублей получается и не найденных страниц когда число статей на главной меняешь, испытано.

Share this post


Link to post
Share on other sites

гугл у вас ваш бизнес просит или пароли от сайта ?Когда папка /wp-includes бывает закрыта от индекса, гугл не может определить мобильную версию сайта и его удобства.

9413627.jpg

Я дал полный доступ гуглу и ничего страшного не случилось, даже на оборот позиции сайта и посещаемость с мобильных устройств выросла.

И что-же, по вашему, отвечает за мобильную или адаптивную версию из /wp-includes ?

Share this post


Link to post
Share on other sites
Disallow: /wp-content/plugins

Disallow: /wp-content/themes

-------

эти папки нужно открыть для индексации, ничего страшного в этом нету, если гугл просит css и js от вас, чтобы понимать правильно страницу, тем более в гугл-вебмастере есть такой пункт как "заблокированные ресурсы" и там подробно указано к какому файлу гугл не может достучаться

Share this post


Link to post
Share on other sites

 

Disallow: /wp-content/plugins
Disallow: /wp-content/themes
-------
эти папки нужно открыть для индексации, ничего страшного в этом нету, если гугл просит css и js от вас, чтобы понимать правильно страницу, тем более в гугл-вебмастере есть такой пункт как "заблокированные ресурсы" и там подробно указано к какому файлу гугл не может достучаться

 

 

В заблокированных ресурсах есть директивы wp-content/plugins и wp-content/themes с моей темой. Их я тоже открою.

Share this post


Link to post
Share on other sites
Guest Funya277

В заблокированных ресурсах есть директивы wp-content/plugins и wp-content/themes с моей темой. Их я тоже открою.

их не надо, это уже лишние 

Share this post


Link to post
Share on other sites

Привет всем.

По поводу DLE - реагировать или нет? (Тоже пришло на один сайт).

Что примечательно - Гуглобот жалуется, что не может получить доступ к JS и CSS, находящимся в папке /engine/classes/js

 

Надо ли его вообще в /engine/ пускать?

 

А то мыслишки были открыть-таки ребенку комнату с игрушками с помощью Allow: /engine/classes/js/*.js

Share this post


Link to post
Share on other sites

Ничего не пришло.

Disallow: /cgi-bin 
Disallow: /wp-admin 
Disallow: /wp-includes 
Disallow: /wp-content/plugins 
Disallow: /wp-content/cache 
Disallow: /wp-content/themes 
Disallow: /wp-trackback 
Disallow: /wp-feed 
Disallow: /wp-comments 
Disallow: /tag/
Disallow: */trackback 
Disallow: */feed 
Disallow: */comments 

Share this post


Link to post
Share on other sites

 

User-agent: Yandex
Allow: /wp-content/uploads/
Disallow: /wp-content/plugins
Disallow: /wp-content/themes
Host: ваш сайт.ru 
 
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Host: ваш сайт.ru 
Sitemap: http://ваш сайт.ru /sitemap.xml
 
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
 
таким роботсом пользуюсь давно и на всех сайтах. Советую сделать так. Просто если фидами не пользуетесь то закройте их от индекса

 

У меня, то же такое было,только на Joomla. Убрал в robots.txt запись: /templates/Disallow и все нормализовалось. Значит и в WP надо открывать папку с шаблоном. А вообще, в инструментах вебмастеров Google надо смотреть описание проблемы.

Share this post


Link to post
Share on other sites

Google скоро запустит новую фишку.

 

По аналогии с "мобайлгеддон" ее можно будет смело назвать "скриптгеддон".

 

Открывайте поисковикам доступ ко всем скриптам сайта.

 

Откуда у меня эта информация лучше даже и не спрашивайте.   ;)

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.


  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...