Jump to content

Парсеры. Как ими пользоваться?


Recommended Posts

Кто может помочь разобраться с этим чюдом - парсеры? Есть-ли какие факю, мануалы... побродил по инету и толком ничего не понял(хотя и сам программист  :blink: )

Даже где-то скачал (079_Content-Downloader-11.39), но как с его поможью сделать что-то самонаполняемое? Что-то у меня "лыжи не едут"  :)

Link to post
Share on other sites

Кто может помочь разобраться с этим чюдом - парсеры? Есть-ли какие факю, мануалы... побродил по инету и толком ничего не понял(хотя и сам программист  :blink: )

Даже где-то скачал (079_Content-Downloader-11.39), но как с его поможью сделать что-то самонаполняемое? Что-то у меня "лыжи не едут"  :)

Да и мне интересна эта тема, хочу сделать на вордпрес автонаполняемый сайт!!!

Link to post
Share on other sites
  • Модератор

Данный форум ограничен мануалами, а в двух словах не рассказать.

Content-Downloader - хорошая штука, но нужно им научиться пользоваться. Много справочной информации и видео на сайте разработчика.

Если в двух словах, то он поддерживает экспорт в вордпресовский xml - выгружаете напарсенное в специальный файл и подцепляете его в админке вордпресса.

 

На форуме получить ответы на такие вопросы сложно. Вопросы нужно конкретизировать, так как тема очень просторная. А сами парсеры бывают разными и работать по разному.

Link to post
Share on other sites

Хочу вам сказать программист вы так себе. Как сделать автонаполняемый сайт: найти сайты с которых будете тащить контент, написать скрипт который парсит нужный контент и добавляет его прямо в БД вашего сайт, настроит крон на запуск этого скрипта.

Link to post
Share on other sites

Да и мне интересна эта тема, хочу сделать на вордпрес автонаполняемый сайт!!!

на вордпрес есть хороший граббер Цена его вроде 300р

Link to post
Share on other sites
  • Модератор

 

 


на вордпрес есть хороший граббер Цена его вроде 300р

Зачем платить за то, что раздают бесплатно - плагин feedwordpress

Link to post
Share on other sites

Хочу вам сказать программист вы так себе. Как сделать автонаполняемый сайт: найти сайты с которых будете тащить контент, написать скрипт который парсит нужный контент и добавляет его прямо в БД вашего сайт, настроит крон на запуск этого скрипта.

,А я думаю, что ТС хороший прогер, только раньше ему не доводилось решать подобные задачи. Все свободные парсеры - сборщики мусора, так как грабберы нужно делать под конкретные задачи. Например, поиск контента, содержащего фразу "парсер контента". Как то так. Нуна будет помощь - обращайтесь. Важно - четко представлять цель. В принципе, можно общими усилиями делать мультифункционал, в упрек имеющимя "мусоросборникам".

 

Насчет "самозаполняемости". Это - крах всех прекрасных начинаний! Плагиат Плагиатус Плагиатович. Фак ю вери мач и в яндекс ниже плинтуса.

Link to post
Share on other sites

Зачем платить за то, что раздают бесплатно - плагин feedwordpress

а если фид не все показывает? я например настроил фид так, чтобы только часть статьи транслировалась.

 

А по теме, прикупил себе на плати парсер для вордпресс, работает супер. Там же уникализатор текстов, плюс еще автор бота для одноклассников как бонус предлагает. Кому интересно, поищите на плати, или стучите в личку, дам ссылку, здесь кидать не буду, дабы не приняли за рекламу. Кстати, за все вышеуказанное заплатил 60 рублей ))

Link to post
Share on other sites
  • Модератор

 

 


а если фид не все показывает? я например настроил фид так, чтобы только часть статьи транслировалась.

Не смешите! Наверное вы о таком не слышали? http://feedex.net/

Link to post
Share on other sites

Не смешите! Наверное вы о таком не слышали? http://feedex.net/

смешно и только, вставил свой сайт и получил сообщение

2014-06-08_181738.png

ну а во вторых, ну дажде если и получите полную новость в этом сервисе, дальше что, как в парсере это реализвать? двойная заморочка, сначала переводим, потом парсим, а то что я купил на платиру, делает все с самого сайта ))

Link to post
Share on other sites

Если уже писать что-то универсальное, то проще выбросить все контейнеры, в которых текста скажем меньше, чем 100 символов, удалить теги и лишние символы - на выходе полный текст статьи + некоторые части коментов, если таковы были..

Link to post
Share on other sites

Парсить регулярной можно.. Думаю, для каждого сайта нужно будет отдельно делать. Реализовать такое можно на php, а можно и на делфи/си.

 

Запускаешь программу, она авторизуется под учеткой Админа на ваши сайте, периодически в заданном интервале проверяет наличие нового контента на сайте, с которого парсим. Если есть, то копирует (парсит) и добавляет на сайт пост запросом т.к ранее авторизована под учеткой.. Как то так

Link to post
Share on other sites

Парсить регулярной можно.. Думаю, для каждого сайта нужно будет отдельно делать. Реализовать такое можно на php, а можно и на делфи/си.

 

Запускаешь программу, она авторизуется под учеткой Админа на ваши сайте, периодически в заданном интервале проверяет наличие нового контента на сайте, с которого парсим. Если есть, то копирует (парсит) и добавляет на сайт пост запросом т.к ранее авторизована под учеткой.. Как то так

 

Инет видимо лагнул, удалите этот пост

Link to post
Share on other sites

 

 


Думаю, для каждого сайта нужно будет отдельно делать. Реализовать такое можно на php, а можно и на делфи/си.

То, что под каждый сайт в идеале писать свое - это понятно. На чем писать - это и подавно  :)

Меня другой вопрос интересует: новостные, видео и т.п. сайты как грибы после дождя, ну не верю я в "трудолюбивость" большинства таких сайтодержателей...

Link to post
Share on other sites

: новостные, видео и т.п. сайты как грибы после дождя, ну не верю я в "трудолюбивость" большинства таких сайтодержателей...

ну фильмы парсятся с ВК, клипы с ютуба. Осталось только установить шаблон и запустить cron

 

при неспешном ритме, можно делать 1 сайт в день, т.е. 30 штук в месяц. А если незаморачиватся с поиском уникального шаблона, то только регистрируй домены и включай cron, остальное на автомате!

Link to post
Share on other sites
  • Модератор

смешно и только, вставил свой сайт и получил сообщение

2014-06-08_181738.png

ну а во вторых, ну дажде если и получите полную новость в этом сервисе, дальше что, как в парсере это реализвать? двойная заморочка, сначала переводим, потом парсим, а то что я купил на платиру, делает все с самого сайта ))

 

Попробуйте пройти валидатор ленты validator.w3.org/feed/

Ну а работает он просто. Вы ему урл ленты, а он вам свой урл полнотекстовых рсс.

Это лишь один из примеров, таких сервисов есть несколько. За пару копеек, можно получить полноценный полнотекстовый поток (если в бесплатной версии что-то не так)

Link to post
Share on other sites

 

 


ну фильмы парсятся с ВК, клипы с ютуба

Горячо :) Место действия понятно, а вот инстрУмент? Наверное стоит перефразировать вопрос так: Кто чем пользуется и кАк этим пользоваться?

Link to post
Share on other sites

Please sign in to comment

You will be able to leave a comment after signing in



Sign In Now
  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...