Hita4

Дело в том, что я не знаю что входит в 6-ой уровень и поэтому поиск по маске не отрабатывает корректно

Приветствую, коллеги! Есть задача: нужно вытащить из выдачи Яндекса УРЛы одного сайта определенного УРОВНЯ вложенности. Например для интернет-магазина example.com, требуется найти все "мусорные" страницы 6 уровня, которые генерируются CMS внутри категорий. Пример такого УРЛ: example.com/shop/elektronika/category/televizory/televizory-price-2000-to-10000/ Заранее скажу, что страницы закрыты от индексации метатегом robots, но робот не торопится их посещать. Поэтому хотелось бы составить список страниц, которые остались в индексе и их принудительно переобойти. Составил начало

Есть задача, нужно вытянуть УРЛы собственного сайта (интернет-магазин) из выдачи Яндекса по определенному запросу. Хотя бы до 50 страниц, лучше вообще все.Для Гугла есть множество парсеров, для Яндекса ничего рабочего не нашел, кроме A-Parser. Задача на пару раз, поэтому не хотелось бы покупать софт за $200.Попробовал делать эту вручную с помощью расширения (граббер ссылок), но это крайне неудобный вариант.Может кто подскажет, каким инструментом это можно сделать?Заранее спасибо!

Есть проект интернет-магазин, один из крупнейших в своей нише, стабильно находился в ТОП-10 по многим запросам. Обратили внимание, что с начала года нам начали активно крутить ПФ в плюс (как прямые заходы, так и из поиска), но эффекта это никакого не имело до последнего времени. После апдейта позиции упали на 20-30, как по коммерческим запросам (товарка и категории), так и по информационным. После этого стали крутить еще сильнее (уже больше 50% трафика накрутка), сайт стабильно на дне, обратно не поднимается. Своевременно обращались в ТП Яндекса, они говорили, что все под контролем. Сейча

Добрый день, господа! Хотел бы спросить у вас - как можно дособрать отдельные данные? Как все было: сканировал УРЛы из карты сайта в режиме List - собрал все необходимые данные. Через некоторый промежуток времени, потребовалось узнать блокируются ли выбранные УРЛы в файле robots.txt. Когда собирались основные данные в настройках был выбран пункт "Ignore robots.txt", соответственно фильтр "Blocked by Robots.txt" пустой. Теперь мне нужно дособрать его. Если в настройках выбрать пункт "Ignore robots.txt but report status", сканирование начинается с самого начала, т.е. заново начинают со