Как парсить сайты? (2016)

Тема в разделе "Сайтостроение / Программирование", создана пользователем seoxa, 29 дек 2015.



  1. Пост от администрации
    seoxa
    ТопикCтартер

    seoxa

    Сообщ:
    2.140
    Лайк:
    8.856
    Баллов:
    197
    1 дек 2013
    Как парсить сайты.png
    Как парсить сайты? (2016)

    Парсинг - одна из наиболее востребованных услуг в сфере IT. Вы можете в этом убедиться сами поискав в Google.

    Средняя стоимость таких услуг колеблется от 5000 до 10 000 рублей за проект. Все зависит от сложности проекта и обьема работ. Но имея немного опыта, готовые библиотеки и инструменты Вы можете выполнять такие заказы по несколько штук в день.

    Заманчиво не так ли?

    У Вас есть два пути - первый и самый дорогой - изучать все самому и искать информацию по крупицам.

    Второй - инвестировать небольшую сумму в обучение у профессионала и начать зарабатывать уже через несколько часов после покупки видеокурса. Об этом курсе и пойдет речь дальше.



    СОДЕРЖАНИЕ ВИДЕОКУРСА
    Как парсить сайты 2.png
    Как парсить сайты 3.png
    Как парсить сайты 4.png

    Что Вы получаете в итоге:

    • готовую пошаговую видеоинструкцию со всеми теоретическими и практическими основами по парсингу сайтов;
    • готовые рабочие исходники со всеми библиотеками для реализации парсинга любого сайта;
    • возможность зарабатывать от 5000 рублей за час вашей работы, сидя дома и работая через интернет;
    • работая дома, не мёрзнуть зимой и не обливаться потом в жару; вместо, езды в офис, 2 часа в день посвятить любимым занятиям (10 ч в неделю, 40 часов в месяц) — сможешь выучить иностранный язык, играть в игры, встречаться с друзьями, девушкой, заняться спортом и подкачаться.
    • больше никогда не просить денег у близких людей на покупки, квартиру, развлечения и путешествия;
    • Овладеть своим временем — если у тебя есть планы сходить на концерт любимой группы, ты сможешь сделать больше работы в другой день, а сегодня – пойдешь и оторвешься по полной на концерте.
    • жить, где хочешь. Не важно, где: в Калуге или в Бангкоке — работай днём или ночью, путешествуй, когда и куда захочешь. Где есть Интернет — там есть работа программиста.
    • работать дома, где тебя никто не беспокоит, где удобно и комфортно.
    • зарабатывать в свободное от работы или учебы время, кладя пару сотен долларов себе в карман в дополнение к основной зарплате/стипендии.
    • работать в своем собственном темпе, сколько хочешь и когда хочешь
    • не полагаться на поддержку родителей, родственников, друзей;
    Стоимость: 2590 рублей.
     
    delvak, santsa, axela и 12 другим нравится это.
  2. dendenn

    dendenn

    Сообщ:
    92
    Лайк:
    75
    Баллов:
    18
    9 май 2015
    о хоспади , PHP ... delphi не хуже справляется
     
  3. megatriumf

    megatriumf

    Сообщ:
    218
    Лайк:
    99
    Баллов:
    28
    26 янв 2014
    Извиняюсь, все есть - нашел однако :)
     
  4. Ilha

    Ilha

    Сообщ:
    30
    Лайк:
    16
    Баллов:
    8
    26 янв 2014
    Купите уже Content Downloader, парсит все что можно парсить, не понимаю зачем php и все что тут написано?
     
    Argentina нравится это.
  5. aksak1988

    aksak1988

    Сообщ:
    59
    Лайк:
    86
    Баллов:
    18
    29 авг 2015
    Теоретически отличная вещь, посмотрим на практике "живое" ли это.
     
  6. aksak1988

    aksak1988

    Сообщ:
    59
    Лайк:
    86
    Баллов:
    18
    29 авг 2015
    Наступил на ту же граблю. Все исходники имеются в папке с видеоуроками Videos.
     
  7. megatriumf

    megatriumf

    Сообщ:
    218
    Лайк:
    99
    Баллов:
    28
    26 янв 2014
    Купите уже Content Downloader, парсит все что можно парсить, не понимаю зачем php и все что тут написано?
    ___________________________________________________________
    Я посмотрел эту прогу. В ней работать, тоже ведь чайнику трудно?Нобходимо знать все эти коды, хоть в каком то объеме?
     
  8. aksak1988

    aksak1988

    Сообщ:
    59
    Лайк:
    86
    Баллов:
    18
    29 авг 2015
    Content Downloader отличная программа, но те, кто хочет начать понимать азы парсинга при помощи php этот курс как раз даст основы понимания. А тем, кто хочет спарсить что-то и за бесплатно этот курс тоже в помощь, ведь Content Downloader платный и работающей взломанной версии я тут не встретил (как и вообще не встретил в рунете).
     
    marina_shvedun нравится это.
  9. axela

    axela

    Сообщ:
    113
    Лайк:
    99
    Баллов:
    28
    8 мар 2015
  10. masterukiq

    masterukiq

    Сообщ:
    22
    Лайк:
    61
    Баллов:
    13
    25 янв 2014
    Ну если так дело пошло, то парсеры сайтов разные бывают. ContentDownloader - хорошая штука, но для некоторых целей его очень затруднительно адаптировать, да и не рентабельно - например для постоянного автоматического парсинга нескольких контентных сайтов на предмет текст+видео+картинки с дополнительной обработкой и раскладыванием по полочкам в какую-то базу MySQL, PostgreSQL, MongoDB и т.п. Здесь нужен серверный инструмент с возможностью запуска на каком-то выделенном Linux-сервере и с щадящим отжиранием системных ресурсов при работе.
    Вот для этого и сгодится умение самостоятельно написать парсер или же целый агрегатор из парсеров-пауков (граббер-комбайн) на каком-то языке программирования.
    Такое можно реализовать не только средствами PHP (curl, file_get_contents), отлично для таких целей также подойдет Питон (Python), у этого языка много разных вкусняшек, взять к примеру такую штуку как Scrapy (scrapy.org) - это мощнейший фреймворк для граббинга контента, пиши пауков и управляй обработкой и сохранением самых разных данных с сайтов и сервисов.
    Для каждой задачи - свои инструменты ;)
     
    Argentina, Vlad77, napsner и 5 другим нравится это.
  11. AldeX

    AldeX

    Сообщ:
    342
    Лайк:
    361
    Баллов:
    63
    25 янв 2014
    У сайта, который автор парсит, сменилась вёрстка. Курс во многом стал бесполезен....
     
  12. marfu43

    marfu43

    Сообщ:
    7
    Лайк:
    1
    Баллов:
    3
    22 май 2015
    значит будет версия 2. и так до бесконечности
     
  13. zhnecssd13

    zhnecssd13

    Сообщ:
    16
    Лайк:
    1
    Баллов:
    3
    13 янв 2016
    Гениально. Можно создавать новые курсы и брать деньги бесконечно
     
  14. damira

    damira

    Сообщ:
    78
    Лайк:
    146
    Баллов:
    33
    2 окт 2014
    Нет предела совершенству :)))
     
  15. zhnecssd13

    zhnecssd13

    Сообщ:
    16
    Лайк:
    1
    Баллов:
    3
    13 янв 2016
    Мне кажется я не тем занимаюсь. ;)
     
    ХанаМантана нравится это.
  16. walentinka

    walentinka

    Сообщ:
    30
    Лайк:
    53
    Баллов:
    18
    29 дек 2014
    Чем вас так заинтересовало парсинг сайтов? Да, данный метод позволяет вытаскивать со схожих страниц необходимую информацию, только, что с ней делать дальше? Полностью поддерживаю masterukiq, лучше пользоваться готовым продуктом, пусть не совсем подходящим для какой то конкретной задаче, зато рабочим. Вам самим не нужно тратить время на изучение и поиск багов в программе, которыми поначалу так и пестрят все исходники любого новичка.
     
  17. AldeX

    AldeX

    Сообщ:
    342
    Лайк:
    361
    Баллов:
    63
    25 янв 2014
    Лично меня это интересует по нескольким причинам.
    1. Чем больше навыков я приобретаю, тем дешевле обходится жизнь.
    2. И на них я одновременно могу зарабатывать
    3. Парсинг в таком виде - отличный способ потренировать мозги.
    Очень не хватает короткого курса по парсингу от А до Я. А теперь ещё и этот не актуален. )
     
    walentinka нравится это.
  18. walentinka

    walentinka

    Сообщ:
    30
    Лайк:
    53
    Баллов:
    18
    29 дек 2014
    Очень интересные мысли.
    Только ли правда что так получается?
    1. Чем больше навыков я приобретаю, тем ИНТЕРЕСНЕЕ проходит жизнь. Так работает правило в моей жизни. Университет дал некоторые навыки, которые пригодились в жизни (их мало). Больше университет научил, учиться. Учиться чему то новому, для меня всегда интересно.
    2. И на них я одновременно могу зарабатывать. А нужно ли? Допустим, вы водитель. Зарабатываете извозом чего либо. Зачем вообще забивать голову чем-то еще, если у вас есть и так работа своей мечты? У вас есть собственная компетенция за которую вам платят деньги, этим делом вы можете заниматься, даже если вам не будет платить. Вам просто это нравиться. Порой не хочется забивать голову нечем, что тебе не нравиться.
    3. Согласен. Думаю все в жизни встречали людей, которые потихоньку начинают забывать какие то вещи, вести себя странно. Обычно это пожилые люди. Чтобы такого не происходило, нужно тренировать мозги. Главное чтобы это было не только полезно, но и хоть чуточку приятно.

    Надеюсь AldeX, вы сможете взглянуть на мир, с другой точки зрения. Если я в чем то не прав или есть еще интересные мысли, пожалуйста, всегда готов подискутировать ;)
     
  19. AldeX

    AldeX

    Сообщ:
    342
    Лайк:
    361
    Баллов:
    63
    25 янв 2014
    1. Ну, мне нравится жизнь ) Она в любом случае интересна. Но вот чем я компетентней, тем проще мне торговаться, например, с теми, кто оказывает мне услуги.
    2. Я не могу так. Мне интересно перейти на следующий уровень. Начать делать меньше (точнее, быстрей), зарабатывать больше.
    3. А что касается парсинга. По сути, те же поисковики - это парсеры. Плюс ещё возможность получать аудиторию с разных сайтов (например, парсить участников групп в социальных сетях). Плюс возможность наполнить сайт или базу данных, или обновляемую онлайн-таблицу и так далее.
    Готовые продукты данного направления мне особо не подходят, поскольку я не понимаю, как это работает. Мне нужен именно короткий пошаговый курс.
    Кстати говоря, воспринимать этот курс довольно сложно (который выложен), но опять же - если его посмотреть хотя бы разок, то потом проще воспринимать другие видео.

    Например, мне вот это видео понравилось

    Куда более приятный и понятный человек в течение 40 минут говорит о том, как парсер простенький написать.
     
    AsviS нравится это.
  20. AsviS

    AsviS

    Сообщ:
    9
    Лайк:
    7
    Баллов:
    3
    14 янв 2015
    личный можно?? срочно нужен этот курс! спасибо!
     
  21. spider_kevin

    spider_kevin

    Сообщ:
    592
    Лайк:
    572
    Баллов:
    93
    4 апр 2014
    Купи премиум, коли срочно надо.
     
  22. AsviS

    AsviS

    Сообщ:
    9
    Лайк:
    7
    Баллов:
    3
    14 янв 2015
    уже не надо, поискал в гугле и нашел...
     
  23. AsviS

    AsviS

    Сообщ:
    9
    Лайк:
    7
    Баллов:
    3
    14 янв 2015
    а есть полный курс от этого человека??? (Офф сайт курса: https://dmitrylavrik.ru/php-parser)
     
  24. AldeX

    AldeX

    Сообщ:
    342
    Лайк:
    361
    Баллов:
    63
    25 янв 2014
    Я не находил :( Хотя особо-то и не искал. Вообще, этот автор оставляет куда более приятное впечатление, нежели тот, с обсуждения курса которого мы начали )
     
  25. AsviS

    AsviS

    Сообщ:
    9
    Лайк:
    7
    Баллов:
    3
    14 янв 2015
    да посмотрел на ютубе и мне очень понравилось как автор все излагает.
     

Поделиться этой страницей

--