Jump to content

Преимущества robots.txt перед тегом robots


Recommended Posts

Всем привет, задаюсь вопросом, есть ли какие-то преимущества файла robots.txt перед тегом роботс ? Обычно для того что бы скрыть страницы от индексации использую тег роботс так как он надежнее,  а файл robots.txt  у меня примерно такой.

User-agent: *
Disallow:
Sitemap: https://domain.com/sitemap.xml

Когда открываю файл роботс у конкурентов - вижу что почти все его используют, отсюда возникает вопрос, есть ли какие-то преимущества robots.txt перед мета роботс и в каких случаях его лучше использовать ? 

 

 

 

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

Там с гугл есть нюансы. Например, вам нужно исключить страницу из поиска, вы её закрываете в robotx.txt, яндекс её выкидывает а гугл нет.

Чтобы выкинул гугл, нужно прописать мета тег robots.

Link to post
Share on other sites
3 минуты назад, TemKa_SD сказал:

Там с гугл есть нюансы. Например, вам нужно исключить страницу из поиска, вы её закрываете в robotx.txt, яндекс её выкидывает а гугл нет.

Чтобы выкинул гугл, нужно прописать мета тег robots.

А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?

Link to post
Share on other sites
4 часа назад, grabovski_96 сказал:

А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?

Да, некоторые движки вообще отказываются от файла. Я обычно там прописываю только Host и карту сайта.

Link to post
Share on other sites

Из собственного опыта могу сказать, что для яндекса файл robots.txt - инструкция, а гугл уже пару лет назад положил на все его директивы большой болт . Если в html есть ссылки на страницы, которые закрыты в роботсе, то гугл все равно по ним гуляет. Это даже по логам видно. А в вм часто прилетает сообщение типа "проиндексировано не смотря на запрет в роботсе ". Для полного запрета индекации используйте тег <meta name="robots" content="noindex".... Этот тег и для гугл и для яндекса работает одинаково - не запрещает посещать страницу, на запрещает переходить по ссылкам на странице, но запрещает индексировать

 

Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...