Jump to content

Screaming Frog SEO Spider - Как дособирать данные?


Recommended Posts

Добрый день, господа!

Хотел бы спросить у вас - как можно дособрать отдельные данные?

Как все было: сканировал УРЛы из карты сайта в режиме List - собрал все необходимые данные. Через некоторый промежуток времени, потребовалось узнать блокируются ли выбранные УРЛы в файле robots.txt. Когда собирались основные данные в настройках был выбран пункт "Ignore robots.txt", соответственно фильтр "Blocked by Robots.txt" пустой. Теперь мне нужно дособрать его. Если в настройках выбрать пункт "Ignore robots.txt but report status", сканирование начинается с самого начала, т.е. заново начинают собирается title, desc и т. д. Мне же нужно чтобы эти поля остались (как и все остальные), так как я с ними работаю, но чтобы в фоне началось сканирование проверки статуса с учетом robots.txt. 

Можно ли так сделать?

Собрать все заново не вариант, поскольку интернет-магазин на 400к страниц, а сканировать можно только со скоростью 1 урл/с в один поток. 

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...