Jump to content

grabovski_96

Новичок
  • Content Count

    3
  • Joined

  • Last visited

  1. Привет народ) Интересуют такие вопросы по сайтем для крупного сайта (например для сайта epicentrk.ua): 1. Как убедится в том что в sitemap добавлены все страницы сайта если они разбросаны по многим файлам ? 2. Как убедится в том что одна и та же страница не повторяется в разных файлах sitemap ?
  2. А если говорить только о гугле, в robots.txt нет никаких преимуществ перед тегом роботс ? Можно смело закрывать страницы тегом роботс не используя robots.txt ?
  3. Всем привет, задаюсь вопросом, есть ли какие-то преимущества файла robots.txt перед тегом роботс ? Обычно для того что бы скрыть страницы от индексации использую тег роботс так как он надежнее, а файл robots.txt у меня примерно такой. User-agent: * Disallow: Sitemap: https://domain.com/sitemap.xml Когда открываю файл роботс у конкурентов - вижу что почти все его используют, отсюда возникает вопрос, есть ли какие-то преимущества robots.txt перед мета роботс и в каких случаях его лучше использовать ?
×
×
  • Create New...