Jump to content

Screaming Frog SEO Spider - Как дособирать данные?


Recommended Posts

Добрый день, господа!

Хотел бы спросить у вас - как можно дособрать отдельные данные?

Как все было: сканировал УРЛы из карты сайта в режиме List - собрал все необходимые данные. Через некоторый промежуток времени, потребовалось узнать блокируются ли выбранные УРЛы в файле robots.txt. Когда собирались основные данные в настройках был выбран пункт "Ignore robots.txt", соответственно фильтр "Blocked by Robots.txt" пустой. Теперь мне нужно дособрать его. Если в настройках выбрать пункт "Ignore robots.txt but report status", сканирование начинается с самого начала, т.е. заново начинают собирается title, desc и т. д. Мне же нужно чтобы эти поля остались (как и все остальные), так как я с ними работаю, но чтобы в фоне началось сканирование проверки статуса с учетом robots.txt. 

Можно ли так сделать?

Собрать все заново не вариант, поскольку интернет-магазин на 400к страниц, а сканировать можно только со скоростью 1 урл/с в один поток. 

Link to post
Share on other sites

Есть вопрос? Задай его профессиональным веб-мастерам, SEO и другим специалистам!

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...