[бесплатный шаблон для zennoposter] парсер женских фото с dating-сайта с автосортировкой

Тема в разделе "Программы / Скрипты", создана пользователем surok, 1 мар 2018.



  1. surok
    ТопикCтартер

    surok

    Свой+
    Сообщ:
    421
    Лайк:
    454
    Баллов:
    63
    7 ноя 2015
    Парсер женских фото с dating-сайта с автосортировкой.png

    Появилась необходимость создать шаблон по парсер женских фото с их анкетами с dating-сайта. Ну и просмотрев спрос на данную тематику, ниже будет скриншот из поиска , я пришел к выводу, что такой шаблон не помешает никому. Представляю небольшой шаблон по парсингу женских фотографий с одного сайта знакомств.

    Функции шаблона:
    1. Автоматический сбор ссылок на женские анкеты
    2. Авто сбор ссылок на фотографии с собранных анкет
    3. Авто скачивание фотографий по собранным ссылкам
    4. Авто сортировка фотографий по уникальным папкам (в каждой папке фото только одной конкретной девушки)
    5. Авто скачивание анкеты девушки (кладется в текстовый файл вместе с её фото)

    Поиск
    О надобности такого шаблона я подумывал давно , как-то даже писал на python подобное , но всё таки сотворил на zennoposter. А подтолкнуло меня вот что я немного работал в dating сфере и просто написал такого рода запрос «dating страницы» и вот что выдал google.

    Парсер женских фото с dating-сайта с автосортировкой 2.png
    И в основном все ответы были с сайтов со складчинами где люди покупали шаблоны для этого , вот я и решил к чему платить деньги за то что можно сделать самому!

    Создание
    И так сам шаблон и его настройки настройки очень даже простенькие. Количество запросов при пустой странице, бывает что сайт не отдает с первого раза страничку. Задержка в секундах, ну чтоб нас не забанил сайт за частые запросы. И сколько страниц парсить, учтите что на каждой странице 20 анкет девушек.

    Парсер женских фото с dating-сайта с автосортировкой 3.png

    вот пример странички с девушками
    Парсер женских фото с dating-сайта с автосортировкой 4.png

    Данные по шаблону:
    Писался и проверялся в работе на ZP 5.9.9.5+
    Шаблон работает без использования браузера — только GET-запросы и регулярки (минимальный расход трафика и высокая скорость работы)
    Шаблон работает только в 1 поток, а больше и не нужно.
    Основные подсказки по шаблону прописаны во входных настройках (на скрине часть видна). Настроек минимум.
    Также необходима библиотека HtmlAgilityPack.dll она присутствует в шаблоне в папке. Её нужно забросить в папку ExternalAssemblies где установлен ваш Zennoposter.

    Вопросы — Ответы
    Будет ли работать на демо-версии — да, должен, но не проверял.
    Будет ли поддержка шаблона — да, правки вносится будут, если будет необходимость
    Будет ли развитие шаблона — глобальных изменений пока не планирую
    Нужны ли доп. затраты — нет, кроме наличия ZennoPoster больше ничего не надо
    Что за сайт, откуда парсим —

    Много ли фотографий, анкет — около 6 000 анкет, около 66 000 фотографий +
    Какого качества фото — хорошего качества
    Есть ли ню-фото — не нашел таких, все в одежде, хотя одежда разной длины, открытости и откровенности
    Кому пригодится шаблон — многим, кто занимается как dating-направлением в соц. сетях, так и просто работает с женскими аккаунтами, кому необходима именно серия фотографий одной девушки
    Возраст, ГЕО девушек — 20-40 лет, РФ, Украина (может СНГ)
    Сколько фотографий в анкете — по разному, у кого-то 5-10 шт, а есть и по 35 фотографий на анкете.

    Вот как выглядит готовый материал
    Парсер женских фото с dating-сайта с автосортировкой 5.png

    Важный момент , при повторном парсинге шаблон проверяет наличие папок с анкетами , и пропускает уже спаршенные профили и парсит только новые. Поэтому достаточно поставить его на парсинг по расписанию и он будет парсить только новые анкеты , так как на сайте они автоматом перемешиваются.

    Парсер женских фото с dating-сайта с автосортировкой 6.png

    Шаблон в 1 кубике так что допилив можно использовать как блок в своем шаблоне) Удачных парсингов.

    [Бесплатный шаблон для ZennoPoster] Парсер женских фото с dating-сайта с автосортировкой
     
    feddef, axela, ikibostus и ещё 1-му нравится это.
  2. feddef

    feddef

    Сообщ:
    28
    Лайк:
    8
    Баллов:
    3
    9 апр 2014
    Если кто-то заинтересуется уникализатором фоток, то поделюсь собственным опытом:
    Пробовала разные, они не уникализируют.
    Пробовала сама добавлять рамки, различные детали, вырезать и вставлять на другой фон, менять цвета (например, желтый на красный... бесполезно. Яндекс находит такие фото на ура. Покажет откуда фото взято, откуда рамка. По расстоянию основных параметров лица находит, по цветам. Надеяться, что пиксели или рамочки, цветокоррекция помогут скрыть источник фото - безнадежная глупость.
    Единственное, что помогает - трансформация в фотошопе. Это когда лицо делаешь шире или длиннее. Но такая страхолюдина может получится))))
     
    ros20 нравится это.
  3. kse

    kse

    Сообщ:
    1
    Лайк:
    0
    Баллов:
    1
    6 фев 2018
    Я для пробы спарсил фотки как описано выше. И забил их в поиск Яндекс картинки. И практически фотки не определились. И сними можно вполне работать. И уникализировать не чего.
     
  4. lokmadyr950502

    lokmadyr950502

    Сообщ:
    4
    Лайк:
    2
    Баллов:
    3
    7 ноя 2018
    тема жива?
     
  5. qudrat1982

    qudrat1982

    Сообщ:
    5
    Лайк:
    0
    Баллов:
    1
    6 мар 2015
    как установить? Куда скопировать dll файлы?
     

Поделиться этой страницей

--