правильный ли у меня robots.txt?

[terentev429 56]

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /forum/profile/
Disallow: /forum/members/
Disallow: /forum/subscriptions/
Disallow: /forum/activity/
Disallow: /cgi-bin/
Disallow: /*/embed/
Disallow: /*/page/
Disallow: /*?s=/

User-agent: Yandex
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /forum/profile/
Disallow: /forum/members/
Disallow: /forum/subscriptions/
Disallow: /forum/activity/
Disallow: /cgi-bin/
Disallow: /*/embed/
Disallow: /*/page/
Disallow: /*?s=/

Sitemap: https://сайт/sitemap.xml

 

ребят привет, посмотрите все ли правильно сделал?

[alecscaps 7]

у блогера борисова

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: домен.ru
Sitemap: https://домен.ru/sitemap.xml

*я не спец но Host: домен.ru - указываю всегда

[Eserador 406]

4 часа назад, terentev429 сказал:

ребят привет, посмотрите все ли правильно сделал?

Может быть. А может и нет.

Как правило, о правильности составления файла robots.txt можно судить лишь после анализа страниц (УРЛов) сайта.
Относительно директивы Disallow для каждого сайта он может быть свой, нет конкретного шаблона для всех. Исключение - базовые/стандартные элементы отдельных движков.

[terentev429 56]

7 hours ago, Eserador said:

Может быть. А может и нет.

Как правило, о правильности составления файла robots.txt можно судить лишь после анализа страниц (УРЛов) сайта.
Относительно директивы Disallow для каждого сайта он может быть свой, нет конкретного шаблона для всех. Исключение - базовые/стандартные элементы отдельных движков.

хорошо, понял, буду анализировать и по факту скрывать не нужные урл. спасибо.

[alecscaps 7]

4 часа назад, semenpodoprigora сказал:

Облазил у себя все директории. Не нашел файл. В шоке!

в корне он должен быть и потом не все его ставят, тем более на всякие бонусники итд