Jump to content
Sign in to follow this  
grabovski_96

Преимущества robots.txt перед тегом robots

Recommended Posts

Всем привет, задаюсь вопросом, есть ли какие-то преимущества файла robots.txt перед тегом роботс ? Обычно для того что бы скрыть страницы от индексации использую тег роботс так как он надежнее,  а файл robots.txt  у меня примерно такой.

User-agent: *
Disallow:
Sitemap: https://domain.com/sitemap.xml

Когда открываю файл роботс у конкурентов - вижу что почти все его используют, отсюда возникает вопрос, есть ли какие-то преимущества robots.txt перед мета роботс и в каких случаях его лучше использовать ? 

 

 

 

Share this post


Link to post
Share on other sites

Там с гугл есть нюансы. Например, вам нужно исключить страницу из поиска, вы её закрываете в robotx.txt, яндекс её выкидывает а гугл нет.

Чтобы выкинул гугл, нужно прописать мета тег robots.

Share this post


Link to post
Share on other sites
3 минуты назад, TemKa_SD сказал:

Там с гугл есть нюансы. Например, вам нужно исключить страницу из поиска, вы её закрываете в robotx.txt, яндекс её выкидывает а гугл нет.

Чтобы выкинул гугл, нужно прописать мета тег robots.

А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?

Share this post


Link to post
Share on other sites
4 часа назад, grabovski_96 сказал:

А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?

Да, некоторые движки вообще отказываются от файла. Я обычно там прописываю только Host и карту сайта.

Share this post


Link to post
Share on other sites

Использую только тег роботс, без тхт, пока разницы не заметил, ни в негативную, ни в позитивную сторону

Share this post


Link to post
Share on other sites

Без разницы, но поисковики при первом сканировании обращаются к файлу robots.txt

Выводы делать вам...

Share this post


Link to post
Share on other sites

Из собственного опыта могу сказать, что для яндекса файл robots.txt - инструкция, а гугл уже пару лет назад положил на все его директивы большой болт . Если в html есть ссылки на страницы, которые закрыты в роботсе, то гугл все равно по ним гуляет. Это даже по логам видно. А в вм часто прилетает сообщение типа "проиндексировано не смотря на запрет в роботсе ". Для полного запрета индекации используйте тег <meta name="robots" content="noindex".... Этот тег и для гугл и для яндекса работает одинаково - не запрещает посещать страницу, на запрещает переходить по ссылкам на странице, но запрещает индексировать

 

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...