Поиск по сайту

Есть куча html файлов (200) на локалке. Подскажите, есть ли какой-нибудь парсер, который сможет вытащить title, description, фото и контент из каждой страницы и автоматом залить на вордпресс в виде отдельных страниц?

Имеем: var json = '{"status":"OK","status_code":100,"sms":{"1111111111111111":{"status":"ERROR","status_code":203,"status_text":"Нет текста сообщения"}},"balance":1485.17}'; j = JSON.parse(json); alert( j.status ); // прочитаем status = OK alert( j.status_code ); // прочитаем status_code = 100 alert( j.balance); // прочитаем balance = 1485.17 Как прочитать выделенное синим? Структурно json выглядит так: { "status":"OK", "status_code":100, "sms":{ "1111111111111111":{ "status":"ERROR", "status_code":203, "status_text":"Нет текста сообщения" } }, "balance":1485.17 }

Сайт плагина wplugins.ru Плагин YouTube video parser был разработан благодаря советам и поддержке форумчан talk.pr-cy.ru (сео форум). Изначально это был кусок кода который парсил последние видео из выбранного канала на сайт, без админки, настроек и пользовательского интерфейса. Спустя месяцы упорной работы YouTube video parser стал чем то большем чем просто плагин, это результат продолжительной работы и воплощение лучших идей десятка вебмастеров и сеоспециалистов. При написании плагина YouTube video parser были учтены пожелания владельцев сайтов различных тематик, от владельцев игровых сайтов до крупных новостных порталов. Всех объединила одна единая цель быстро и качественно наполнить свой сайт медиа контентом YouTube, а это как и сами видео, так и комментарии, описания и заголовки. Каждый из нас хотя бы раз добавлял на свой сайт YouTube видео, так почему же не систематизировать этот процесс, не сделать его проще и удобней, именно эти цели стояли перед разработчиками данного плагина. Плагин для WordPress YouTube video parser уже умеет: Парсить новые видео из заданного канала Парсить новые видео по ключевой фразе Парсить описание и видео удаляя все внешний ссылки Парсить комментарии Заменять нежелательные слова в комментариях Подставлять и управлять именами комментаторов Создавать миниатюры записей из видео Уникализировать заголовок Заменять нежелательные фразы в заголовке Управлять и настраивать ЧПУ (url записей) Задавать категории куда парсить Задавать автора записи Изменять количество видео и комментариев Включить или выключить описание Включить или выключить миниатюры Включить или выключить комментарии Парсить по расписанию Парсить по массиву из поисковых фраз Плагин для WordPress YouTube video parser скоро научится: Парсить самые популярные видео Парсить самые комментируемые видео Добавлять к видео 2 — 3 скриншота Уникализировать описание Работать не только на WordPress а и на других CMS Проще говоря, начинает получается что то похожее на толковый продукт, в третий раз обновляю тему, удалил то что было, та как стыдно оглядываться назад. Отдельное спасибо пользователю Alex Bang который запулил море идей, всем желающим получить плагин - поддержите на сумму 250 рублей и получите в благодарность плагин и ключ к плагину на 1 домен - домен указывайте в комментарий к поддержке, имя и почту туда же. Важные обновления В YouTube video parser 2.7.4 появилась возможность парсить по расписанию, подробнее о новой возможности вы сможете узнать в следующем видео. Альтернативный способ как выполнять задание по расписанию Всем спасибо за внимание и поддержку

Ребята есть ли парсер для форумного движка Xenforo, который будет брать статью с картинками и постить на форуме. Если нету сколько в деньгах это мне обойдется?

Сборщик мобильников (номеров) с Авито. Парсит хорошо. Данные собирает в файл txt https://cloud.mail.ru/public/Dzps/Y2qB7vCty

Нужно собрать выдачу поисковиков по определенным запросам за последние 24 часа, может есть софт как это сделать или у кого нибудь есть рабочий способ?

Всем доброго времени суток! Интересует мнение людей, которые парсят новости для своего сайта (без фанатизма). Меня не интересует 100% парсинг всех новостей, только одна специально отведенная категория "новости партнёров" для сбора трафа с пс и эксперимента. Сам веду сайт с рукописным контентом (присланный, свой) + рерайт, но возникла идея создать категорию с новостями похожей тематики и парсить туда новости с ссылкой на источник для сбора дополнительных посетителей с поисковых систем. Подскажите пожалуйста, стоит ли начинать (рисковать) или лучше своими силами пробиваться? Прошу строго не судить, впервые сталкиваюсь с этой темой

Я начинающий кодер, люблю писать программы по сбору и обработке данных, пока все что нужно было для себя написал. Ради практики готов написать для вас 1-2 может и 3 парсера бесплатно, только с вас максимально простое и понятное ТЗ. Чем понятнее ТЗ тем больше шансов на успех, пишу на питоне, есть опыт SEO, ТЗшки збрасывайте в личку. Тоесть - суммирую пока мое предложение касается настольного парсера это будет питоновский или exe(по желанию) скрипт который будет парсить данные в csv файл. А дальше вы делаете сами все что хотите с этими данными. Касательно предложений прикрутить парсер к какому то движку, то это пока вопрос не к этой теме. За исключением если движек будет Django или Flask UPD По WordPress тоже могу рассмотреть задачку 1 скрипт написал и взял еще решить одну задачку, поэтому пока приостанавливаю принимать "заявки"

Господа, кто-нибудь может бесплатно поделиться парсером? Самым простеньким. Необходимо выгрузить сам контент, дескрипшн, кейвордс и тайтл в csv. (Чисто программа, не плагин на CMS)

Здравствуйте уважаемые форумчане. Вот опять мне понадобилась небольшая помощь (информация). Обращаюсь ко всем владельцам киносайтов. Непосредственно сама просьба: будьте так любезны, подскажите пожалуйста какими парсерами вы пользуетесь, с каких сайтов берете коды на фильмы (если таковые есть), есть ли сайты с прямыми ссылками на фильмы? (надеюсь не секретную информацию спросил). Заранее всем благодарен и большая просьба не флудите в теме. Не нужно ответов типа гугл тебе в помощь, спроси у яндекса и т.д. Если не знаете что написать по теме, лучше промолчите. Сразу оговорюсь, что владельцам киносайтов конкуренцию создавать не собираюсь, сайт будет очень узкой тематики, но на который нужно будет всё же добавлять немножко фильмов. Всем добра и успехов.

Доброй ночи. Нуждаюсь в клоне одного ресурса, судя по анализу порядка 11 000 страниц, может быть, на самом деле их намного меньше. Есть ли какой-то софт или ресурс, позволяющий сделать клон сайта/спарсить аналогичные страницы? Спасибо

Доброго времени суток всем, уважаемые! Кто может напарсить комментов адалт тематики? Бесплатно или платно(о цене договоримся) Жду предложений в ЛС!

Задачи: Работа с cms Amiro написание парсера настройка API Маркета и Директа, Гугл адвордс Мерчант Требования: хорошие знания HTML, CSS, основы JavaScript, jQuery, опыт работы от 1 года. Для разработки расширений (собственного функционала) дополнительно нужны знания PHP, MySQL, jQuery с опытом работы от 3-х лет. знание .net программирования приветствуется знание Фреймворка Условия: удаленная работа Ждем вашего звонка в рабочее время по н. 89859201550 (Максим) Резюме и проекты присылайте на эл. почту: semechkin.m@gmail.com

Ищу бесплатный парсер вк, необходимо спарсить все записи со стены сообщества и сохранить в текстовых документах.

Всем доброго времени суток! Вопрос к спецам по JavaScript. Нужно решить следующую задачку: Есть страница с текстом, в котором встречается такой фрагмент: ... <a href="index.php?action=logout"> [login] <i class="logout"></i> </a> ... ниже идет текстовое поле, в которое нужно вставить значение login (слово что в скобках). Само значение не постоянное (т.е. разные логины). То есть (регулярным выражением, насколько я понял) найти то, что в скобках [ ] и поместить в value текстового поля <input type="text" name="edit" value="cюда надо вставить login"> У кого какие мысли? Заранее спасибо!

Всем добрый день. Помогите на настроить парсер kinopoisk.ru на DLE. Работу оплачу. skype: vit_ps6

И опять, привет всем! Задача: найти самый простой парсер новостей с сайтов для DLE. Хочу чтобы сайт тематики СМИ брал новости с разных источников (каналов) и публиковал у себя. Есть какой-нибудь реально рабочий, простой в работе и настройке граббер? Посоветуйте, пожалуйста. Если будет что-то реально офигенное и мне подходящее - отблагодарю рублем - обещаю!

Приветствую. Рассуждаю сейчас теоретически, интересны ваши размышления. Хочу создать сайт из 10 страниц минимум по одной игре. Допустим, я рассчитываю, что посещалка будет около 3 тысяч. Привык сайты делать на WP, в нем быстро разбираюсь, что да как. Но на простом хостинге на этом движке с такой посещалкой будет туго. У меня такой есть и даже с кешированием процессор загружен на 50% часто очень. Вот думаю, делать всё на локальном сервере, потом парсером создавать html страницы и заливать такое "зеркало" на основной домен. Как считаете, это хорошая идея?

Вобщем тема такая- у меня есть прога XParser-Pro , которую для работы нужно установить на выделенный сервер, который тоже есть. Поскольку я не спец. то требуется помощь. Либо могу оплатить установку(предложения в личку), либо пользуемся вместе.

Требуется установить и настроить парсер новостей на двиг DLE. Пишите в скайп lastwarc или личным сообщением

Ребята! Кто-нибудь пользуется плагином tubeace for wordpress 1.0 или скриптом версии 1.6.3 ? Есть вопросы.

Вопрос к знатокам парсеров: у кого есть рабочий парсер выдачи Google или кто сможет дополнить существующий? Парсер на PHP должен выдернуть из выдачи: Название (Титле), Урл и снипет (описание). Рабочий пример, выдергивающий лишь урлы (регулярки к Титле и снипету не получается подобрать). В примере - выдергиваются 10 проиндексированных урлов страниц сайта yandex.ru <? $url = "https://www.google.ru/search?num=10&q=site:yandex.ru"; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL,$url); curl_setopt($ch, CURLOPT_USERAGENT, ""); curl_setopt($ch, CURLOPT_FAILONERROR, 1); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_REFERER, "http://www.google.ru/"); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER,1); curl_setopt($ch, CURLOPT_TIMEOUT, 30); curl_setopt($ch, CURLOPT_POST, 0); $data = curl_exec($ch); preg_match_all("/<cite>(.+?)<\/cite>/is",$data,$matches); //получаем 10 ссылок в массиве, а нужно получить и Заголовок и Сниппет $result = $matches[1]; print_r($result); //выводим результат ?>

Предлагается комплекс софта и методика для постоянного сбора уникального контента. Парсим документы в промышленных объемах. Не стоит бояться, что контент закончится - его так много, что хватит на всех. Плюс непрерывно появляются тонны нового. Если вы думаете что там нечего ловить, то это не так. 0.5-1% уника там есть, но это как с золотой рудой - мало кто способен его добыть. Ну а если парсим, к примеру, 10Gb - то можете сами представить. Предлагаемая методика позволяет свести ручную работу к минимуму и получить на выходе файлы с уником. Объемы такой работы смотрите ниже - все проверил и расписал максимально подробно. Цена более чем символическая, не отбить её просто невозможно Состав сборки: - шаблон под ZennoPoster, если у вас нет постера то можно использовать ZennoBox - очень удобная программа для удаления дублей (free) - очень удобная программа-конвертер всех форматов документов (free) - методика-мануал по поиску файлов с уникальным текстом (все подробно со скринами). Как это работает: - на входе файл с ключами, по которым будем парсить, на выходе папки по имени ключа, внутри все файлы разложены по папкам форматов файла. - в данный момент грабит doc, docx, rtf, txt + могу добавить форматы по вашему желанию. - ключи по мере парсинга из базы удаляются, так что если вдруг шаб вылетит по какой то причине - его можно снова запускать и он будет парсить с того же места. - далее работаем по методике и получаем чистый уник. Потребуется 2-3 бакса на антикапчу. Результаты эксперимента: Была взята небольшая база ключей (ок.100шт), по которой за 10 часов на 10Mbit'ном канале в 1 поток было скачано ок. 5 Gb документов, все файлы скомпонованы по типам, после чего за день все было переконвертировано в txt. Скриншоты: Получилось ок 8 000 файлов, которые были прогнаны экспресс-проверкой, на что ушел второй день. Затем все получившиеся файлы были прогнаны второй раз с уже более строгими настройками. В результате получилось почти 100 Мб (1500 файлов) уникального (от 70%) текста в txt формате и стоило это ок $2,5 (за разгадывание капчи на antigate.com). Далее весь этот массив подлежал ручной проверке. В основном это оказались уникальные дипломы, лекции, конспекты, курсовые, книги и просто статьи. Иногда попадались большие файлы с творчеством пользователей - понятное дело, что они были уже 100% уникальны. Буквально за 30 минут я насобирал тематичных статей из чистого уникального текста без цифр и прочего мусора на 500 тыс знаков (на 1500р при средней цене за скан в 3р/1k). Причем это зависит от ключей, которые вы используете. Я предполагаю что можно найти такие ключи, по которым процент уника будет больше. Всем желающим могу выслать пак на 350 тыс. знаков уникального теста. Более подробно у меня на сайте. Скриншоты: Стоимость шаблона - $10 Другие мои шаблоны: Отправка заявок и сбор заданий для Блогуна (рост дохода и экстремальная экономия времени!) Поиск и вступление в закрытые группы ВК и ОД - можно собирать уникальный контент или использовать их в других парсерах Комплекс шаблонов для блогов LiveJournal.com (ЖЖ) - реггер, постер, френдер, филлер и чекер френдов. любые другие шаблоны на заказ Все это вы можете найти на сайте Bazzinga.ru - Шаблоны для ZennoPoster Контакты: 3409-3409 bazzinga.ru bazzinga.lab(гав!)gmail.com