Jump to content

правильный ли у меня robots.txt?


Recommended Posts

User-agent: *
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /forum/profile/
Disallow: /forum/members/
Disallow: /forum/subscriptions/
Disallow: /forum/activity/
Disallow: /cgi-bin/
Disallow: /*/embed/
Disallow: /*/page/
Disallow: /*?s=/

User-agent: Yandex
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-admin/
Disallow: /wp-includes/
Disallow: /wp-content/plugins/
Disallow: /wp-json/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /feed/
Disallow: /forum/profile/
Disallow: /forum/members/
Disallow: /forum/subscriptions/
Disallow: /forum/activity/
Disallow: /cgi-bin/
Disallow: /*/embed/
Disallow: /*/page/
Disallow: /*?s=/

Sitemap: https://сайт/sitemap.xml

 

ребят привет, посмотрите все ли правильно сделал?

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

у блогера борисова

User-agent: Yandex
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /feed/
Disallow: */feed
Disallow: */trackback
Disallow: */comments
Disallow: /*?
Disallow: /*?*
Disallow: /tag
Host: домен.ru
Sitemap: https://домен.ru/sitemap.xml

*я не спец но Host: домен.ru - указываю всегда

Link to post
Share on other sites
4 часа назад, terentev429 сказал:

ребят привет, посмотрите все ли правильно сделал?

Может быть. А может и нет.

Как правило, о правильности составления файла robots.txt можно судить лишь после анализа страниц (УРЛов) сайта.
Относительно директивы Disallow для каждого сайта он может быть свой, нет конкретного шаблона для всех. Исключение - базовые/стандартные элементы отдельных движков.

Link to post
Share on other sites
7 hours ago, Eserador said:

Может быть. А может и нет.

Как правило, о правильности составления файла robots.txt можно судить лишь после анализа страниц (УРЛов) сайта.
Относительно директивы Disallow для каждого сайта он может быть свой, нет конкретного шаблона для всех. Исключение - базовые/стандартные элементы отдельных движков.

хорошо, понял, буду анализировать и по факту скрывать не нужные урл. спасибо.

Link to post
Share on other sites
4 часа назад, semenpodoprigora сказал:

Облазил у себя все директории. Не нашел файл. В шоке!

в корне он должен быть и потом не все его ставят, тем более на всякие бонусники итд

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...