Ximer1

Ошибка директив в файле robots.txt

3 posts in this topic

Доброго времени суток, коллеги! Проверял файл робота в Яндексе и Гугле.  Яндекс  пишет, что все  хорошо, а Гугл написал, что есть 1 ошибка и 2 предупреждения и подсветил 3 строки:    Clean-Param: utm_source&utm_medium&utm_campaign, Crawl-Delay: 0.5,  Crawl-Delay: 5.
Как можно решить эту ситуацию? Если Яндекс поддерживает их, а Гугл нет, то стоит ли их убрать?

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-json/
Disallow: /wp-includes/
Disallow: /wp-content/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: /my-account/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Disallow: /?s*
Disallow: */page/
Crawl-Delay: 5
 
User-agent: GoogleBot
Disallow: /wp-admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Disallow: *utm=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
 
User-agent: Yandex
Disallow: /wp-admin/
Disallow: /plugins/
Disallow: /search/
Disallow: /cart/
Disallow: */?s=
Disallow: *sort=
Disallow: *view=
Allow: /plugins/*.css
Allow: /plugins/*.js
Allow: /plugins/*.png
Allow: /plugins/*.jpg
Allow: /plugins/*.gif
Clean-Param: utm_source&utm_medium&utm_campaign
Crawl-Delay: 0.5
 

Share this post


Link to post
Share on other sites

Crawl-Delay: 0.5,  
Crawl-Delay: 5
эти две директивы противоречат друг другу - робот не понимает какой делать тайм-аут при обходе - 5 секунд или полсекунды. Оставьте одну директиву.
Clean-Param можете просто не использовать, а закрыть данные параметры через disallow - ничего страшного

Share this post


Link to post
Share on other sites

Яндекс отказался от директивы Crawl-Delay (частота сканирования теперь настраивается через кабинет вебмастера), а Гугл и раньше ее не понимал. Она везде у вас в правилах лишняя.

Про Clean-Param подробно тут:

https://yandex.ru/support/webmaster/robot-workings/clean-param.html

Share this post


Link to post
Share on other sites

Create an account or sign in to comment

You need to be a member in order to leave a comment

Create an account

Sign up for a new account in our community. It's easy!


Register a new account

Sign in

Already have an account? Sign in here.


Sign In Now

  • Recently Browsing   0 members

    No registered users viewing this page.