Jump to content

Hita4

Новичок
  • Content Count

    1
  • Joined

  • Last visited

About Hita4

  • Rank
    Новичок

Profile Information

  • Специализация
    SEO
  1. Добрый день, господа! Хотел бы спросить у вас - как можно дособрать отдельные данные? Как все было: сканировал УРЛы из карты сайта в режиме List - собрал все необходимые данные. Через некоторый промежуток времени, потребовалось узнать блокируются ли выбранные УРЛы в файле robots.txt. Когда собирались основные данные в настройках был выбран пункт "Ignore robots.txt", соответственно фильтр "Blocked by Robots.txt" пустой. Теперь мне нужно дособрать его. Если в настройках выбрать пункт "Ignore robots.txt but report status", сканирование начинается с самого начала, т.е. заново начинают со
×
×
  • Create New...