Jump to content
Sign in to follow this  
Stripes

Есть ли смысл в написании продвинутого парсера поисковых систем?

Recommended Posts

Загорелся идеей написать программу для парсинга поисковой выдачи (продвинутую), которая будет стоить копейки (ну, считай, небольшая финансовая поддержка, потому что заниматься хочу ради себя, изучать что-то новое, улучшать). 

 

Сижу, думаю, будет ли хоть какой-то спрос и толк от этой программы

Share this post


Link to post
Share on other sites

Все зависит от того что вы напишите, посмотрите вокруг парсеров написано не мало, но должен быть парсер который будет чем то отличаться от той пачки парсеров что веб мастера закинули на полку. Так же много людей пользуются зеннопостерами и такие парсеры пишут на коленке пока пьют чай. Для успеха нужна хорошая идея

Share this post


Link to post
Share on other sites

Загорелся идеей написать программу для парсинга поисковой выдачи (продвинутую), которая будет стоить копейки (ну, считай, небольшая финансовая поддержка, потому что заниматься хочу ради себя, изучать что-то новое, улучшать). 

 

Сижу, думаю, будет ли хоть какой-то спрос и толк от этой программы

Я потушу загоревшееся реальностью)

В бесплатное верят наивные дети, неважно что вы будете тащить из поиска в любом случае если это не 10 запросов то вас забанят.

В итоге нужны прокси которые уже стоят денег (ну или если вы возьмете бесплатные тогда парсинг затянется надолго,настолько надолго что все его преимущества сойдут на нет)

Любой сервис имеющий в себе данные старается ботов отсеять на старте чтоб снизить на себя нагрузку, в случае с пс это темболее.

Другой путь это при бане вводить(автоматом) капчу, допустим вы решите идти им и техн.реализуете отправку через апи в антигейт. Цена 1 запроса равна 1 цент 1000 запросов долар, представляете цыфру которая вылезет в итоге 1 запуска? .

Вам еще кажется что в реальности бывает что-то бесплатное?

Понимаю ... альтруизм спасти планету и все такое)...это все быстро разбивается о гранит реальности.

Только те кто понятия не имеют как это работает могут расуждать на форумах что парсинг фигня... кнопку нажал и интернет в кармане) угу...

Если вы думаете что я пугаю и сказанное бред песимиста - пробуйте.

С другой стороны... даже если вы сделаете прогу думаете пользователи оценят? ценят только то за что платят кровные и чем больше платят тем ценее.

Любой вебмастер это знает так как имеет сайт, много из пользователей сказали ему спасибо за создание :D ?

Share this post


Link to post
Share on other sites

А у меня на 1-м сайте уже стоит года два как программа для парсинга поисковой выдачи ( яндекс поиск для сайта называется ) и полностью бесплатна .

НА вот идею.

zapros_48.jpg

Share this post


Link to post
Share on other sites

Я потушу загоревшееся реальностью)

В бесплатное верят наивные дети, неважно что вы будете тащить из поиска в любом случае если это не 10 запросов то вас забанят.

В итоге нужны прокси которые уже стоят денег (ну или если вы возьмете бесплатные тогда парсинг затянется надолго,настолько надолго что все его преимущества сойдут на нет)

Любой сервис имеющий в себе данные старается ботов отсеять на старте чтоб снизить на себя нагрузку, в случае с пс это темболее.

Другой путь это при бане вводить(автоматом) капчу, допустим вы решите идти им и техн.реализуете отправку через апи в антигейт. Цена 1 запроса равна 1 цент 1000 запросов долар, представляете цыфру которая вылезет в итоге 1 запуска? .

Вам еще кажется что в реальности бывает что-то бесплатное?

Понимаю ... альтруизм спасти планету и все такое)...это все быстро разбивается о гранит реальности.

Только те кто понятия не имеют как это работает могут расуждать на форумах что парсинг фигня... кнопку нажал и интернет в кармане) угу...

Если вы думаете что я пугаю и сказанное бред песимиста - пробуйте.

С другой стороны... даже если вы сделаете прогу думаете пользователи оценят? ценят только то за что платят кровные и чем больше платят тем ценее.

Любой вебмастер это знает так как имеет сайт, много из пользователей сказали ему спасибо за создание :D ?

А я и не говорил, что не учел все вышеперечисленное) У меня уже есть в голове несколько классных алгоритмов. Кстати, существуют поисковые системы без бана (или с баном после нескольких тысяч запросов), вообще я много разного придумал, считаю свою идею достойной, а цену большую просто нет желания ставить, это не какой-то проект серьезный, которым занимается команда разработчиков же

Share this post


Link to post
Share on other sites

А у меня на 1-м сайте уже стоит года два как программа для парсинга поисковой выдачи ( яндекс поиск для сайта называется ) и полностью бесплатна .

НА вот идею.

zapros_48.jpg

Ну у меня из крана тоже вода течет, но я же её не пью

Share this post


Link to post
Share on other sites

В принципе добавлю, что писать свой мега-алгоритм не имеет смысла, без понимания потребностей вашего потенциального клиента и рынка, то что вы сделаете никому будет не нужно, если хотите написать что-то стоящее, найдите человека, который этим занимается профессионально и он вам расскажет о своих потребностях. А так это все баловство.

Share this post


Link to post
Share on other sites

Join the conversation

You can post now and register later. If you have an account, sign in now to post with your account.

Guest
Reply to this topic...

×   Pasted as rich text.   Paste as plain text instead

  Only 75 emoji are allowed.

×   Your link has been automatically embedded.   Display as a link instead

×   Your previous content has been restored.   Clear editor

×   You cannot paste images directly. Upload or insert images from URL.

Sign in to follow this  

  • Recently Browsing   0 members

    No registered users viewing this page.

×
×
  • Create New...