Jump to content

Преимущества robots.txt перед тегом robots


Recommended Posts

Всем привет, задаюсь вопросом, есть ли какие-то преимущества файла robots.txt перед тегом роботс ? Обычно для того что бы скрыть страницы от индексации использую тег роботс так как он надежнее,  а файл robots.txt  у меня примерно такой.

User-agent: *
Disallow:
Sitemap: https://domain.com/sitemap.xml

Когда открываю файл роботс у конкурентов - вижу что почти все его используют, отсюда возникает вопрос, есть ли какие-то преимущества robots.txt перед мета роботс и в каких случаях его лучше использовать ? 

 

 

 

Link to post
Share on other sites

Там с гугл есть нюансы. Например, вам нужно исключить страницу из поиска, вы её закрываете в robotx.txt, яндекс её выкидывает а гугл нет.

Чтобы выкинул гугл, нужно прописать мета тег robots.

Link to post
Share on other sites
3 минуты назад, TemKa_SD сказал:

Там с гугл есть нюансы. Например, вам нужно исключить страницу из поиска, вы её закрываете в robotx.txt, яндекс её выкидывает а гугл нет.

Чтобы выкинул гугл, нужно прописать мета тег robots.

А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?

Link to post
Share on other sites
4 часа назад, grabovski_96 сказал:

А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?

Да, некоторые движки вообще отказываются от файла. Я обычно там прописываю только Host и карту сайта.

Link to post
Share on other sites

Из собственного опыта могу сказать, что для яндекса файл robots.txt - инструкция, а гугл уже пару лет назад положил на все его директивы большой болт . Если в html есть ссылки на страницы, которые закрыты в роботсе, то гугл все равно по ним гуляет. Это даже по логам видно. А в вм часто прилетает сообщение типа "проиндексировано не смотря на запрет в роботсе ". Для полного запрета индекации используйте тег <meta name="robots" content="noindex".... Этот тег и для гугл и для яндекса работает одинаково - не запрещает посещать страницу, на запрещает переходить по ссылкам на странице, но запрещает индексировать

 

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...