Jump to content
Sign in to follow this  
mmkulikov

Парсеры. Как ими пользоваться?

Recommended Posts

Кто может помочь разобраться с этим чюдом - парсеры? Есть-ли какие факю, мануалы... побродил по инету и толком ничего не понял(хотя и сам программист  :blink: )

Даже где-то скачал (079_Content-Downloader-11.39), но как с его поможью сделать что-то самонаполняемое? Что-то у меня "лыжи не едут"  :)

Share this post


Link to post
Share on other sites

Кто может помочь разобраться с этим чюдом - парсеры? Есть-ли какие факю, мануалы... побродил по инету и толком ничего не понял(хотя и сам программист  :blink: )

Даже где-то скачал (079_Content-Downloader-11.39), но как с его поможью сделать что-то самонаполняемое? Что-то у меня "лыжи не едут"  :)

Да и мне интересна эта тема, хочу сделать на вордпрес автонаполняемый сайт!!!

Share this post


Link to post
Share on other sites

Данный форум ограничен мануалами, а в двух словах не рассказать.

Content-Downloader - хорошая штука, но нужно им научиться пользоваться. Много справочной информации и видео на сайте разработчика.

Если в двух словах, то он поддерживает экспорт в вордпресовский xml - выгружаете напарсенное в специальный файл и подцепляете его в админке вордпресса.

 

На форуме получить ответы на такие вопросы сложно. Вопросы нужно конкретизировать, так как тема очень просторная. А сами парсеры бывают разными и работать по разному.

Share this post


Link to post
Share on other sites

Хочу вам сказать программист вы так себе. Как сделать автонаполняемый сайт: найти сайты с которых будете тащить контент, написать скрипт который парсит нужный контент и добавляет его прямо в БД вашего сайт, настроит крон на запуск этого скрипта.

Share this post


Link to post
Share on other sites

Да и мне интересна эта тема, хочу сделать на вордпрес автонаполняемый сайт!!!

на вордпрес есть хороший граббер Цена его вроде 300р

Share this post


Link to post
Share on other sites

 

 


на вордпрес есть хороший граббер Цена его вроде 300р

Зачем платить за то, что раздают бесплатно - плагин feedwordpress

Share this post


Link to post
Share on other sites

Хочу вам сказать программист вы так себе. Как сделать автонаполняемый сайт: найти сайты с которых будете тащить контент, написать скрипт который парсит нужный контент и добавляет его прямо в БД вашего сайт, настроит крон на запуск этого скрипта.

,А я думаю, что ТС хороший прогер, только раньше ему не доводилось решать подобные задачи. Все свободные парсеры - сборщики мусора, так как грабберы нужно делать под конкретные задачи. Например, поиск контента, содержащего фразу "парсер контента". Как то так. Нуна будет помощь - обращайтесь. Важно - четко представлять цель. В принципе, можно общими усилиями делать мультифункционал, в упрек имеющимя "мусоросборникам".

 

Насчет "самозаполняемости". Это - крах всех прекрасных начинаний! Плагиат Плагиатус Плагиатович. Фак ю вери мач и в яндекс ниже плинтуса.

Share this post


Link to post
Share on other sites

Зачем платить за то, что раздают бесплатно - плагин feedwordpress

а если фид не все показывает? я например настроил фид так, чтобы только часть статьи транслировалась.

 

А по теме, прикупил себе на плати парсер для вордпресс, работает супер. Там же уникализатор текстов, плюс еще автор бота для одноклассников как бонус предлагает. Кому интересно, поищите на плати, или стучите в личку, дам ссылку, здесь кидать не буду, дабы не приняли за рекламу. Кстати, за все вышеуказанное заплатил 60 рублей ))

Share this post


Link to post
Share on other sites

 

 


а если фид не все показывает? я например настроил фид так, чтобы только часть статьи транслировалась.

Не смешите! Наверное вы о таком не слышали? http://feedex.net/

Share this post


Link to post
Share on other sites

Не смешите! Наверное вы о таком не слышали? http://feedex.net/

смешно и только, вставил свой сайт и получил сообщение

2014-06-08_181738.png

ну а во вторых, ну дажде если и получите полную новость в этом сервисе, дальше что, как в парсере это реализвать? двойная заморочка, сначала переводим, потом парсим, а то что я купил на платиру, делает все с самого сайта ))

Share this post


Link to post
Share on other sites

Если уже писать что-то универсальное, то проще выбросить все контейнеры, в которых текста скажем меньше, чем 100 символов, удалить теги и лишние символы - на выходе полный текст статьи + некоторые части коментов, если таковы были..

Share this post


Link to post
Share on other sites

Парсить регулярной можно.. Думаю, для каждого сайта нужно будет отдельно делать. Реализовать такое можно на php, а можно и на делфи/си.

 

Запускаешь программу, она авторизуется под учеткой Админа на ваши сайте, периодически в заданном интервале проверяет наличие нового контента на сайте, с которого парсим. Если есть, то копирует (парсит) и добавляет на сайт пост запросом т.к ранее авторизована под учеткой.. Как то так

Share this post


Link to post
Share on other sites

Парсить регулярной можно.. Думаю, для каждого сайта нужно будет отдельно делать. Реализовать такое можно на php, а можно и на делфи/си.

 

Запускаешь программу, она авторизуется под учеткой Админа на ваши сайте, периодически в заданном интервале проверяет наличие нового контента на сайте, с которого парсим. Если есть, то копирует (парсит) и добавляет на сайт пост запросом т.к ранее авторизована под учеткой.. Как то так

 

Инет видимо лагнул, удалите этот пост

Share this post


Link to post
Share on other sites

 

 


Думаю, для каждого сайта нужно будет отдельно делать. Реализовать такое можно на php, а можно и на делфи/си.

То, что под каждый сайт в идеале писать свое - это понятно. На чем писать - это и подавно  :)

Меня другой вопрос интересует: новостные, видео и т.п. сайты как грибы после дождя, ну не верю я в "трудолюбивость" большинства таких сайтодержателей...

Share this post


Link to post
Share on other sites

: новостные, видео и т.п. сайты как грибы после дождя, ну не верю я в "трудолюбивость" большинства таких сайтодержателей...

ну фильмы парсятся с ВК, клипы с ютуба. Осталось только установить шаблон и запустить cron

 

при неспешном ритме, можно делать 1 сайт в день, т.е. 30 штук в месяц. А если незаморачиватся с поиском уникального шаблона, то только регистрируй домены и включай cron, остальное на автомате!

Share this post


Link to post
Share on other sites

смешно и только, вставил свой сайт и получил сообщение

2014-06-08_181738.png

ну а во вторых, ну дажде если и получите полную новость в этом сервисе, дальше что, как в парсере это реализвать? двойная заморочка, сначала переводим, потом парсим, а то что я купил на платиру, делает все с самого сайта ))

 

Попробуйте пройти валидатор ленты validator.w3.org/feed/

Ну а работает он просто. Вы ему урл ленты, а он вам свой урл полнотекстовых рсс.

Это лишь один из примеров, таких сервисов есть несколько. За пару копеек, можно получить полноценный полнотекстовый поток (если в бесплатной версии что-то не так)

Share this post


Link to post
Share on other sites

 

 


ну фильмы парсятся с ВК, клипы с ютуба

Горячо :) Место действия понятно, а вот инстрУмент? Наверное стоит перефразировать вопрос так: Кто чем пользуется и кАк этим пользоваться?

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...