№388 - ПАРСИНГ сайтов, 40+ советов для ЗАРАБОТКА на парсинге в России. Делимся опытом.

แชร์
ฝัง
  • เผยแพร่เมื่อ 29 ก.ย. 2024
  • Еще больше и чаще пишу в канал t.me/bezsmuzi - подписывайтесь.
    Наши проекты:
    Бесплатная CRM offlinecrm.ru
    Защита от скликивания рекламы clickfraud.ru
    Мониторинг цен конкурентов xmldatafeed.com/
    Разработка мобильных приложений notissimus.com/
    Мне можно писать вопросы здесь: t.me/maximkulgin

ความคิดเห็น • 210

  • @santy3546
    @santy3546 ปีที่แล้ว +35

    Пишу парсеры больше года за 2к рублей, услышал про прибыль в несколько миллионов, поплохело. Пойду заварю дошик, надо все обдумать

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +3

      удачи. без шуток

    • @Mr3tris
      @Mr3tris ปีที่แล้ว

      @santy3546 как с вами связаться?

    • @nikson9334
      @nikson9334 ปีที่แล้ว

      Пишу парсеры за 70к с базой данных

    • @santy3546
      @santy3546 ปีที่แล้ว

      ​@@nikson9334 а где берете клиентов?

    • @fpshunter
      @fpshunter 10 หลายเดือนก่อน

      Пишу «парсеры» в гугл, кнтрлц-кнтрлв - работает. Продам за миллион - налетайте, только очередь соблюдайте

  • @VerdaFucillo
    @VerdaFucillo 11 หลายเดือนก่อน

    Круто что ты реально знаешь как тут тащить и юзаешь разные игры и тактики!

  • @PooyaAsady
    @PooyaAsady ปีที่แล้ว

    Вот тебе свезло конечно) надеюсь дальше будет так же) удачи

  • @supreltd
    @supreltd ปีที่แล้ว +1

    Все верно! Удачи и процветания, коллега!

  • @ПетрЦарик-щ2ф
    @ПетрЦарик-щ2ф 5 หลายเดือนก่อน

    Максим спасибо большое за очень позновательные видео. Подскажите пожалуйста в каких нишах парсинг более всего востребован? Например из каких отраслей к вам чаще обращаются за парсингом?

  • @SHADOW91XO
    @SHADOW91XO 8 หลายเดือนก่อน

    Спарсят всё, вместе с ботом XD пасибо за интересный видос. Случайно наткнулся когда искал как бы струкрутировать инфу. и вааааау. крутяк. настроение поднялось.

    • @MaximKulgin
      @MaximKulgin  8 หลายเดือนก่อน

      спасибо

  • @rinatyagafarov5328
    @rinatyagafarov5328 ปีที่แล้ว +1

    Благодарю за видео.
    Выписал для себя 20 пунктов на вооружение.

  • @Max-nr1bv
    @Max-nr1bv ปีที่แล้ว +2

    Круто. Почему не боитесь конкуренции?

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +4

      Рынок большой

  • @typethrees
    @typethrees ปีที่แล้ว +5

    6:09 Никогда, никогда, никогда не покупай в офис ИТ компании стул ИСО за 1000 руб.! :)

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      Ага скрипит

  • @СергейМакаренко-ы4ю
    @СергейМакаренко-ы4ю ปีที่แล้ว +3

    👍🔥💯💥💯🔥👍

  • @dmitry7464
    @dmitry7464 9 หลายเดือนก่อน

    Сколько будет спарсить вк?)))))) Спасибо большое, очень интересно и полезно для тех кто решится

    • @MaximKulgin
      @MaximKulgin  9 หลายเดือนก่อน +1

      ВК ? его не спарсить

    • @dmitry7464
      @dmitry7464 9 หลายเดือนก่อน

      это была шутка)@@MaximKulgin

  • @konstantinshmarin2676
    @konstantinshmarin2676 4 หลายเดือนก่อน

    Доброго дня! Мне всё понятно, то, что Вы говорите. Бланодарен за информацию. А Возможно с Вами лично созвониться ? Как сконтактировать?

    • @MaximKulgin
      @MaximKulgin  4 หลายเดือนก่อน

      добрый день, я в телеграмме доступен

  • @royalstalker114
    @royalstalker114 ปีที่แล้ว +1

  • @NikolayServakov
    @NikolayServakov ปีที่แล้ว +1

    Выгрузки из яндекс услуги. Только данные, парсер не продаю😂

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      можно и так да

  • @КириллФилиппов-ф5б
    @КириллФилиппов-ф5б ปีที่แล้ว +1

    Не пойму, почему матчинг товаров не получается? Мне эта задача кажется тривиальной.

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      очень сложная задача

    • @Noname-px6fq
      @Noname-px6fq ปีที่แล้ว

      Потому что все карточки заводят по своему, попробуйте найти обычным поиском товар определённый, кто-то в названии указал модель, а кто-то нет итд.

    • @pashastatch8313
      @pashastatch8313 14 วันที่ผ่านมา

      ИИ в матчинге не пробовали подключать? Например разбор товара по картинке

  • @vitaliyyasinskiy3689
    @vitaliyyasinskiy3689 ปีที่แล้ว +1

    слушаю взахлеб
    для статистики: тоже программист, бизнеса нет

  • @Advokat7V
    @Advokat7V ปีที่แล้ว +2

    парсю более 4 лет, все что угодно, основные клиенты это конкуренты или НР

  • @AlekseyInogamov
    @AlekseyInogamov ปีที่แล้ว

    Я понимаю что вы профессионал в своём деле! Но вы в серьёз считаете что proxy или всякие торы вам помогут быть анонимными? Они конечно же помогают в анонимности людям, которые нахрен никому не нужны. Но грамотному специалисту просто понадобится больше времени чтобы вычислить. Где нужно было бы 10 минут, ему понадобится 30 чтобы выследить всю цепочку. Просто как вы правильно заметили, что вы работаете в рамках правового поля, и выслеживать вас никто не будет. Ну может кроме конкурентов. Вот от них возможно анонимайзеры и защитят, ибо не у всех кулхакеров есть скилы и инструменты для подобной работы. А вот у IT криминалистов они есть)) И они Очень мощные, и Очень мощные сервера

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      Мы работаем в правовом поле всегда

  • @oeaoo
    @oeaoo ปีที่แล้ว +1

    Почему этика для Вас - это ничто?

  • @MaxUgolnikov
    @MaxUgolnikov ปีที่แล้ว +1

    Посмотрев одно его видео, вы уже знаете суть его 99% видео. Чувак с пустого в порожнее в каждом видео переливает. Парсинг, скликивание, нужен продукт, грант от государства на 4 млн и в айти все нет хорошо, как вы думаете. Вот про это он в каждом видео толчет воду в ступе.

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      И вам не хворать

    • @alexeykerdivare
      @alexeykerdivare ปีที่แล้ว

      Я те больше скажу - даже профессора-популяризаторы, пытаясь освещать свою отрасль и точку зрения на главные вопросы, скандируют одно и то же. Курпатов, Дубынин, Дробышевский. Что уж говорить о тех, кто просто раскручивает бизнес. Более-менее оригинальны контент-мейкеры, типа veritasum, thosoi и других популяризаторов науки широкого профиля, у них каждый раз разные приключения. Вы сами попробуйте быть оригинальным долго.

    • @jasonstathoom5142
      @jasonstathoom5142 หลายเดือนก่อน

      В каждом видео много полезной информации тому, кто по каждой теме хочет применить эти знания у себя в аналогичной сфере. А вы, судя по всему, хотите магическую формулу с раскрытием всех секретов, как построить бизнес от А до Я.

  • @HastaLM1987
    @HastaLM1987 ปีที่แล้ว +10

    И это всё не пиздеж 😊. Парсинг хорошая тема, правда что то не пошло у меня. Заказов нет и нет, пошел в 3D печать, а хуль жрать что то надо...

    • @axelvermontov6607
      @axelvermontov6607 7 หลายเดือนก่อน

      что за 3д печатать

    • @HastaLM1987
      @HastaLM1987 7 หลายเดือนก่อน

      @@axelvermontov6607 печать на 3D принтере всякой пластиковой хрени. автозапчасти, бытовуха и т.д.

  • @alexlightweight
    @alexlightweight ปีที่แล้ว +18

    Очень интересный видос! Работаю программистом, о собственном бизнесе даже не задумываюсь, но так интересно послушать что там творится. 🙂

  • @MelnikovDmitriy
    @MelnikovDmitriy ปีที่แล้ว +12

    Очень интересные мысли. Сегодня ваш канал в рекомендациях появился и я подзалип на канале. Очень полезно. :)
    Периодически тоже заказы на парсинг приходят, сталкивался с частью проблем, озвученных в видео. Но и нового для себя тоже взял. Спасибо за ваш труд по созданию полезного контента. Очень крутой канал. :)

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +2

      Спасибо 🙏

    • @kamaduuu
      @kamaduuu 2 หลายเดือนก่อน

      Здравствуйте! Подскажите пожалуйста, в Авито недвижимость для поиска квартиры в определенном метро или районе можно сделать парсинг? К примеру ищу квартиру на ВДНХ в Москве от собственника и соответственно хочу, чтобы после публикации такого объявления на Авито, оно падало мне в телеграмм

    • @intrigant_huev
      @intrigant_huev หลายเดือนก่อน

      ​@@kamaduuu в телеграм канале есть чат, он там есть

  • @DreamingDolphing
    @DreamingDolphing ปีที่แล้ว +6

    А что если российские сайты наконец поумнеют и будут продавать доступ к своему API? Тогда ваш бизнес просто умрёт.

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      Да

    • @alfed6989
      @alfed6989 ปีที่แล้ว +1

      Авито с платным api доступом, например

    • @jasonstathoom5142
      @jasonstathoom5142 หลายเดือนก่อน

      Так потом можно просто работать с АПИ и все. Большинство все равно предпочтут купить готовые данные, чем содержать выделенную команду под это. Просто себестоимость парсинга уменьшиться и кол-во усилий, соотв. и штат парсеров снизится.

  • @WellDone978
    @WellDone978 ปีที่แล้ว +12

    Вот что мне нравится, так это то, что в этом видео показано, как делать бизнес чисто на айти тематике. Никакого rocket science тут нет и в помине, идея бизнеса лежит на поверхности. Любой программист ещё в юные годы пытался что-то парить. А тут ребята сделали из этого достаточно доходный и стабильный бизнес. И рассказывают все нюансы. Респект за это.

  • @andreykov
    @andreykov ปีที่แล้ว +6

    Правильно, что сказали про таймауты между парсинговыми запросами, про перерывы и т.п. Есть сайты, которые сами предоставляют данные, дают аккаунт и они жестко указывают частоту запросов, если вы их нарушите, вас забанят. Конечно, вы можете использовать несколько прокси с несколькими аккаунтами и тянуть параллельно данные. Но я, когда занимаюсь парсингом обычного сайта, придерживаюсь такого же алгоритма, чтобы ненамеренно не заддосить. А данные, в зависимости от области, могут идти на пополнение баз знаний, для ИИ и т.п. Обычно в компании такая задача даётся одному программисту и он, имея наработки в этой теме, может быстро спарсить новый сайт, настроить регулярное обновление данных с этого сайта и т.п.

    • @ИбрагимДринкерманн
      @ИбрагимДринкерманн 9 หลายเดือนก่อน

      Когда сайтов становится больше хотя бы 50 один не вывезешь даже если ты супермен. И это если данные не проверять вообще, парсер что-то выдал, значит результат. По хорошему нужен контроль выходных данных, обнаружение аномалий и тд.

  • @covertmanipulationofdeviat8817
    @covertmanipulationofdeviat8817 18 วันที่ผ่านมา

    А есть вакансия капчю порешать на досуге, фрилансом?=)

  • @maksimsergeevich5939
    @maksimsergeevich5939 ปีที่แล้ว +5

    Про парсеры сам думал, была идея saas сделать но по факту это такой геморрой, потому что парсеры постоянно ломаются если парсят более менее серьезный сайт и все это нужно поддерживать. Можно конечно сделать некий менеджер парсеров, но это как раз таки уже не так сложно и думаю такие решения уже существуют. Хотя в целом представляю себе гипотетически некий конструктор парсеров в котором предусмотрены компоненты которые часто используются для написания парсера, но опять же, слабо верится что можно будет добиться эффекта швейцарского ножа. Все равно придется писать кастомный код и накручивать костыли.
    Я писал парсер объявлений с Яндекс.Услуг. 3 месяца проработало, а потом сломалось. Хотя парсил с таймаутом по 2 секунды между запросом и 30 минут между обходом всех страниц в выдаче, чтобы не наглеть. В итоге тот еще геморрой был. Периодически меняется api, блочат по ip, усложняют каптчу и так далее. Как будто специально хотят усложнить парсинг. Потом чтобы они меня по ip не банили перевел парсинг запросы на их же лямду. Ежемесячного бесплатного гранта хватало на парсинг))

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      Так и есть

    • @Valera374
      @Valera374 ปีที่แล้ว

      Церебро, Таргет Хантер и Пеппер Ниндзя свои парсеры для вконтакте сделали и теперь между собой конкурируют, чтобы таргетологи вк несли им деньги, а деньги там приличные.

    • @alexeykerdivare
      @alexeykerdivare ปีที่แล้ว

      Если вопрос не решается в лоб, он решается иным подходом. Например,, накопить огромную базу соответствий задания, исходных структур данных и полезной части скриптов паркинга или методов обхода и скормить нейросети. Затем долго бить её по пальцам через обратную связь на простых, постепенно усложняющихся примерах. Но магия и узкое место в размере базы для обучения. Сотни российских сайтов совсем не объем, однако все сайты мира вполне вероятно для раскачки ИИ-парсера. Рутина - это то, чем должен заниматься компьютер, а не человек. Здесь рассказчик всю дорогу говорит о рутине.

    • @ИбрагимДринкерманн
      @ИбрагимДринкерманн 9 หลายเดือนก่อน

      @@Valera374вк имеет апи, легальный. Там и парсить то ничего не надо.

    • @ИбрагимДринкерманн
      @ИбрагимДринкерманн 9 หลายเดือนก่อน

      Менеджер парсеров как инфраструктура - любой оркестратор.
      Менеджер парсеров для заказчика - готовый продукт, который, насколько я знаю, никто даже продавать не торопится. Ибо не выгодно.
      Конструкторов парсеров как говна за баней. Сложность парсинга не в коде парсера. Написание кода это примерно 2% от всей работы. Автоматизировать тут что-то да куда уж больше? В питухоне есть целые фреймворки, в других языках ну на пару строчек больше писанины, но это вообще не критично.

  • @maksimsergeevich5939
    @maksimsergeevich5939 ปีที่แล้ว +2

    И по поводу каптчи хотел высказаться, что в наше время это конечно дикий архаизм использовать каптчу на сайте, и особенно подписывать что мол Проверяем что вы не робот. Полная чушь и деградация. А самая адекватная защита от парсинга это обфускация API, периодическое обновление API, обфускация ответов сервера и кода на клиенте, запутывание http контрактов для общения с сервером, куча кук которые выдаются по какой-то не очевидной логике и конечно знание метрик своих клиентов, настройка прокси сервера чтобы отпинывать или банить тех кто, например, делает в 5 раз больше запросов в секунду чем 90 перцентиль клиентов. Меня дико бесят каптчи со светофорами и автобусами, и особенно когда твой правильный ответ считают неправильным. Полная дичь и отсталость. Точно также как и чекбоксы с галочками которые обойти как 2 пальца обо$$ать.

    • @alexeykerdivare
      @alexeykerdivare ปีที่แล้ว +1

      Все эти защиты ведут к нестабильной работе сайта при разнообразной клиентской базе браузеров. Обфускация, конечно, хорошо. А усредненная нагрузка со среднего клиента может быть искусственно задрана в ночные часы десятком подключений через разные IP.

    • @maksimsergeevich5939
      @maksimsergeevich5939 ปีที่แล้ว

      @@alexeykerdivare каким образом каптча является альтернативой в этом случае? Я просто сказал что может помочь. И это точно не каптча))

  • @НиколайК-к7н
    @НиколайК-к7н ปีที่แล้ว +1

    Пробовал найти подработку, по пирсингу. Бесполезно. Учень узкий рынок.

  • @sergeysergeev2180
    @sergeysergeev2180 9 วันที่ผ่านมา

    Здравствуйте. Немогли бы вы сказать по пунктам что относится к персональным данным которые нельзя парсить? То есть например если на OLX выложен номер телефона , имя , то их можно парсить или нет? Ну или там ещё каки то ньюансы!

    • @MaximKulgin
      @MaximKulgin  8 วันที่ผ่านมา

      Тут лучше к юристам. Все что позволяет идентифицировать человека запрещено

  • @mrtempl
    @mrtempl ปีที่แล้ว +2

    А как рассчитать цену за парсинг? Объём то может быть разный. Чтобы зарабатывать, нужно же рачитывать цену за одну строку данных.

  • @MrKERTAK
    @MrKERTAK ปีที่แล้ว +2

    Алоха - на лоха

  • @zalix77
    @zalix77 8 วันที่ผ่านมา

    что то не понятно , парсят они 700-800 сайтов, один сайт 10к стоит, откуда тогда 20 кк взялось, чето не сходится

    • @MaximKulgin
      @MaximKulgin  7 วันที่ผ่านมา

      есть сайты за которые мы просим 2000 р. т.к. их порядка 500 :) в работе

  • @АлександрБухтояров-ф9м
    @АлександрБухтояров-ф9м ปีที่แล้ว +2

    Большое спасибо за информацию. Делаю первые шаги в мире парсинга. Было очень интересно!

  • @Antoine_de_Saint_Exupéry
    @Antoine_de_Saint_Exupéry ปีที่แล้ว +2

    спасибо за информацию и открытость. понравилось. подписался.

  • @borisnik3093
    @borisnik3093 7 หลายเดือนก่อน +2

    спасибо за информацию! делаем агрегаторы с использованием парсинга - отлично идет! делаем сами, изучаем, развиваем свою экспертизу - на этом и работаем.
    Видео полезно. Благодарю!

    • @MaximKulgin
      @MaximKulgin  7 หลายเดือนก่อน

      Удачи 👍

  • @GiuseppaFrankenfield
    @GiuseppaFrankenfield ปีที่แล้ว +2

    Спасибо тебе за видосы. У меня сейчас тяжеловое время в жизни, но они реально помогают!)

  • @rism8345
    @rism8345 ปีที่แล้ว +2

    Очень интересно было послушать, спасибо за прозрачность

  • @azimutjava
    @azimutjava ปีที่แล้ว +4

    Как всегда топ инфа!

  • @sergeponomarev
    @sergeponomarev ปีที่แล้ว +3

    Максим, спасибо за видео, очень полезно. Напишите, пожалуйста, название хостера для серверов (не смог расслышать)

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      net reack

    • @pycharme
      @pycharme 11 หลายเดือนก่อน

      Поиск не находит, можно прямую ссылку?@@MaximKulgin

  • @Alan_Ry
    @Alan_Ry 9 หลายเดือนก่อน +1

    Привет Максим, а я парсил и картинки) 12000шт с гугл, 5000 с янды, и норм, и можно даже сразу сжимать эти картинки, чтоб на хостинге клиента аесили не много😊

    • @Alan_Ry
      @Alan_Ry 9 หลายเดือนก่อน +1

      О, а еще скоро предстоит парсить около 3500*48=168.000 😢 ух епт, теперь понимаю какой звездец меня ждет, скажу цену в 20к клиенту ибо согнусь как гусеница со своим пк😅

  • @dmitriykonopinskiy3793
    @dmitriykonopinskiy3793 ปีที่แล้ว +2

    а вы не пытались спрашивать почему они так реагируют негативно?
    это же вроде не продавцы на рынке, которые думают, что цены у них нельзя снимать

  • @sergeydeynego6949
    @sergeydeynego6949 ปีที่แล้ว +3

    Единственная проблема в парсинге - постоянные платежеспособные клиенты.
    Есть системы, которые способны автоматически генерировать парсер для конкретного сайта, и делать остальную работу (прокси , очереди, пайпланы данных и т.д.)

    • @MagicMightNew
      @MagicMightNew ปีที่แล้ว +1

      Генерировать парсер или разборщик разметки? Самая простая часть парсинга - это разобрать полученный контент. Остальные 98% работы это выявление закономерностей как сайт работает, откликается, паттерны блокирования запросов, ротация прокси и периодическая верификация структуры

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      Да

    • @sergeydeynego6949
      @sergeydeynego6949 ปีที่แล้ว

      @@MagicMightNew половина из перечисленных вами задач достаточно проста.

    • @MagicMightNew
      @MagicMightNew ปีที่แล้ว

      @@sergeydeynego6949 проста, когда у тебя 10-50 средней паршивости источников, с которых должен быть стабильный сбор. Да и я не сказал, что остальная часть задач - сложная. Я только выделил самую простую из них

    • @Mr3tris
      @Mr3tris ปีที่แล้ว

      Что за системы?

  • @green.616
    @green.616 ปีที่แล้ว +1

    А есть сайты которые банят по IP если не скачиваешь картинку?

  • @dzufty433
    @dzufty433 ปีที่แล้ว +2

    как у вас вскрывается капча? программно или человек ?

  • @dzimorh
    @dzimorh 8 วันที่ผ่านมา

    Здравствуйте парсинг вообще законно?

    • @MaximKulgin
      @MaximKulgin  8 วันที่ผ่านมา

      Вообще да

    • @dzimorh
      @dzimorh 8 วันที่ผ่านมา

      @@MaximKulgin благодарю

  • @teriys2728
    @teriys2728 ปีที่แล้ว +1

    Интересный видос, тоже в компании много парсим и сейчас строим проект сначала для себя, потом возможно выкатим публично связан с парсером организаций. Скажите пользуетсь ли selenium или другим движком для эмуляций действий. Ведь иногда парсить приходится не в лоб html контент, а получая данные после некоторых манипуляций со страницей (например карты) . Еще есть phantomJS, но пока это не использовал. Если не секрет поделитесь хотя бы намеком. Будет полезно

    • @rebuilderowner78673
      @rebuilderowner78673 11 หลายเดือนก่อน

      Все инструменты хороши, если тянется реквестами с beautiful soup, то их и использовать, если есть защиты или динамическая подгрузка, то само собой только эмуляция браузера или драйвер для управления браузером

  • @AntonNdv
    @AntonNdv ปีที่แล้ว +1

    Сервисы по подбору автострахования также работают через парсинг? где по номеру авто выходит вся информация по автомобилю

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      видимо да. но точно не скажу

  • @sergiogonzalesYT
    @sergiogonzalesYT ปีที่แล้ว +2

    Интересное видео.

  • @ПавелК-ш7к
    @ПавелК-ш7к ปีที่แล้ว +1

    шикардос, благодарен

  • @andreygoose8606
    @andreygoose8606 ปีที่แล้ว +2

    Спасибо!

  • @Funnyvideos-tu4ub
    @Funnyvideos-tu4ub หลายเดือนก่อน

    отличное видео

    • @MaximKulgin
      @MaximKulgin  หลายเดือนก่อน

      спасибо

  • @negonifas
    @negonifas ปีที่แล้ว +2

    Оч хорошо, спасибо. Смотрю...

  • @ii3246
    @ii3246 10 หลายเดือนก่อน

    я для себя собирал быстро, но включал в то время когда сат минимум нагружен, чтоб не положить и проверял не забанили ли, подбирал тайминги.😁тот же hh парсил, 20 страниц быстро побежался ночью, пауза, еще 20. и не каждый день, раз в месяц общую статистику собрал и ушел.)) тот что тяжелый парсер у меня, он да, он идет с паузами 3-4сек. но он и парсит не 3 минуты а 30-40 минут.)) но там уже бегает по именно вакансиям развернутым, там нагрузка больше, поэтому тайминги такие чтоб не дидоснуть случайно.))

  • @TheAnton1234
    @TheAnton1234 ปีที่แล้ว +1

    Хорошие у Вас видео, не боитесь говорить так как есть, спасибо! Максим подскажите, а как Вы формируете цену на парсер (или любой другой продукт) для клиента, чтобы это была аренда, а не разовая оплата, с учетом того, что это будет индивидуальная разработка под конкретного клиента и как договариваетесь об этой цене, имеется в виду как обосновываете?

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      там же услуга. люди получают данные. и платят подписку

    • @TheAnton1234
      @TheAnton1234 ปีที่แล้ว

      @@MaximKulgin Да,я понимаю, но вопрос вот в чем, например я хочу также как и Вы продавать проектную разработку но по подписке, услуга будет какой-то узконаправленной, чтобы была экономия на масштабе и кривой обучения. Тогда встает вопрос как определить цену для такой услуги, например мне заказали разработку программы, я посчитал, что ее разработка обойдется в 100 т.р., и как дальше? Например я могу поделить эту сумму на 12 месяцев, и брать с клиента 8 333 руб., но тогда возникает риск того что перестанут пользоваться и разработка не окупится. Еще есть другая ситауция. Клиент просит сделать доработку, как такую доработку включать в ежемесячную оплату?

  • @iscars
    @iscars ปีที่แล้ว +1

    А вакансии есть? Я 2 года назад этим занимался

  • @cyrilalexeyava
    @cyrilalexeyava ปีที่แล้ว

    Че за сытный окуп пришел)) офигеть я тебе завидую с такими винами)

  • @ВладиславЛебеденко-ш4ч
    @ВладиславЛебеденко-ш4ч ปีที่แล้ว

    Минус - нужна обратная связь. Ваша дополнительная прибіль.

  • @Alex-wp9kh
    @Alex-wp9kh 9 หลายเดือนก่อน

    Как определить, что сайт держит вашу нагрузку или уже перебор?

  • @AlevtinaUvarova
    @AlevtinaUvarova ปีที่แล้ว

    Вовремя ты переключался, красавчик) так бы мог до талого играть и все слить) А сейчас окуп славил. Класс)

  • @ZhanatanBacker-x7u
    @ZhanatanBacker-x7u ปีที่แล้ว

    Я полностью доволен этим казиком. Играю здесь уже пару месяцев. Пока все гуд)🍊

  • @Ty_Sila
    @Ty_Sila ปีที่แล้ว +1

    Макс, почему нельзя просить е-мейл и телефон, ведь, это тоже открытая информация.
    Когда пользователь вводил данные, он согласился на "обработку персональных данных".

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      парсить где? на сайтах компаний? да можно

    • @Ty_Sila
      @Ty_Sila ปีที่แล้ว

      @@MaximKulgin на маркетплейсах и досках объявлений.

    • @dmitriykonopinskiy3793
      @dmitriykonopinskiy3793 ปีที่แล้ว +3

      @@Ty_Sila "Когда пользователь вводил данные, он согласился на "обработку персональных данных"" на обработку площадкой, а не кем попало. от таких как ты этот закон и защищает

  • @ii3246
    @ii3246 10 หลายเดือนก่อน

    только коммент написал и ютуб сразу выдал..🤣 спасибо!

  • @maksimsergeevich5939
    @maksimsergeevich5939 ปีที่แล้ว +4

    Что касается it и тем более ИИ, хочу сказать что я понял одну вещь: никогда не говорите никогда, потому что потом будет стыдно и смешно. Про ИИ уже говорили: он никогда там не сравнится с человеком, он никогда не сможет творить и тд...
    На любую задачу найдется алгоритм который будет справляться с ней лучше чем человек. Потому что вычислительная мощность процессоров на порядки быстрее чем у мозга. И задержка в передаче сигнала ниже. Человек пока что алгоритмтчески опережает компьютеры в решении некоторых задач, потому что уже натренирован на их решении и архитектурно оптимизирован. Это лишь вопрос "когда", а не "будет ли".

    • @ИбрагимДринкерманн
      @ИбрагимДринкерманн 9 หลายเดือนก่อน

      Не стоит переоценивать ML инструменты. Это всего лишь инструменты. Эффектные, эффективные, но не универсальные. Лобзик круче человека пилит, но он не круче человека и никогда(в обозримом будущем) не станет круче. Все сегодняшние достижения нейронок должны были случиться лет 10 назад, по прогнозам моих преподов. Они этой темой бредили еще в начале нулевых.
      Я в этой теме уже 20 лет варюсь. И в парсинге 10. Сматчить товары - говно вопрос, сделать ML парсер - маловероятно. Мы пытаемся, но не так все радужно. А ведь написание парсеров это не рокет сайнс далеко.
      Вся вот эта чушь про вычислительные мощности мозга это вообще о чем? Это вообще задача, к которой даже подступиться пока непонятно как. Не ясно что именно измерять. Есть какие-то громкие заявления, но они являются просто теорией, ничем не подтвержденной. Во всяком случае пока. Мы про мозг знаем гораздо меньше, чем про компьютер. Знали бы больше, может и общий ИИ бы развивался, а пока только прикладные инструменты.

  • @Алексей-ю8я7т
    @Алексей-ю8я7т ปีที่แล้ว +1

    Парсить не сложно, сложно клиентов искать.

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      Это всегда сложно да

    • @Пророк-г9ч
      @Пророк-г9ч ปีที่แล้ว +1

      @@MaximKulgin ну вот я пытался, даже сайт сделал, потом понял что ни когда клиентов не найду и сейчас занимаюсь более продуктовыми штуками. Они наверное более рисковые и неопределенные в моем случае, но по крайней мере заходят, я даже могу сказать что не плохо зарабатывают, а с парсингм был тупо ноль, хотя я парсить то вроде умею.

  • @alisofidar
    @alisofidar ปีที่แล้ว +1

    кого сложнее всего парсить, я бы отметил днс скорее всего

  • @generalanabolik4748
    @generalanabolik4748 ปีที่แล้ว +1

    Вы какой программой парсите? Басом?

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      Net core

    • @rebuilderowner78673
      @rebuilderowner78673 11 หลายเดือนก่อน

      Тенором

    • @jasonstathoom5142
      @jasonstathoom5142 หลายเดือนก่อน +1

      Компьютерная программа C# на стационарной электронно-вычислительной машине

  • @MagicMightNew
    @MagicMightNew ปีที่แล้ว +2

    Было интересно послушать как человеку, который полтора года работал в отделе парсинга)
    Некоторые вещи вызывают улыбку, но, в целом, очень здраво

    • @MagicMightNew
      @MagicMightNew ปีที่แล้ว

      Про яндекс.маркет и озон прям флешбеки. Особенно про маркет)

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      Мы три года парсим

  • @YanChief
    @YanChief 10 หลายเดือนก่อน +1

    Да, было полезно, спасибо

    • @MaximKulgin
      @MaximKulgin  10 หลายเดือนก่อน

      спасибо

  • @yalmeme
    @yalmeme 9 หลายเดือนก่อน

    в чем вообще смысл говорить клиенту что вы его парсите? ну парсите и парсите, ничего такого. зачем на ровном месте создавать конфликт интересов, озвучивая это.

    • @MaximKulgin
      @MaximKulgin  9 หลายเดือนก่อน

      Если спросят только

  • @pohitinos
    @pohitinos ปีที่แล้ว +1

    Мега огонь! Очень полезно и интересно.

  • @art_alf-b9b
    @art_alf-b9b 7 หลายเดือนก่อน

    Даже жалко Вас стало. С такой болью рассказываете о своем бизнесе. Так Вам не легко деньги эти даются

    • @MaximKulgin
      @MaximKulgin  7 หลายเดือนก่อน

      не легко.

  • @eugenyenot6604
    @eugenyenot6604 11 หลายเดือนก่อน

    22:40 по поводу "вы взяли данные и получаете выгоду" вы же по идее собираете информацию и продаёте её, т.е. получаете выгоду с помощью информации, которую собирали у себя на сайте другие, забираете её себе и перепродаёте так сказать. (не в упрёк, пытаюсь понять как это в плане законности работает)

    • @rebuilderowner78673
      @rebuilderowner78673 11 หลายเดือนก่อน +1

      Я тоже не совсем понял где эта граница, хотелось бы пояснений чтобы попе больно потом не было)

  • @AVITO_SCAM_PROJECT
    @AVITO_SCAM_PROJECT ปีที่แล้ว

    👍👍👍👍

  • @AlekseiAlekseevich_49
    @AlekseiAlekseevich_49 ปีที่แล้ว

    Здравствуйте, подскажите куда пойти учиться чтобы научиться парсить! И освоить эту профессию с нуля!

    • @Sky_Lib
      @Sky_Lib 7 หลายเดือนก่อน

      Python и Scrapy, Beautiful Soup 4, selenium и умение работать с файлами

  • @ВладимирВермутов
    @ВладимирВермутов 11 หลายเดือนก่อน

    трекк тайм 18:00 не совсем уловил , данные из инет магазина лежащие в открытом доступе парсить можно , но продавать нельзя ? не уловил чето совсем

    • @User-ic3hv
      @User-ic3hv 6 หลายเดือนก่อน

      Речь идёт о плагиате.
      Т.е. о копировании данных с чужого магазина и размещения этих данных на своём в исходном виде.

  • @gccode1076
    @gccode1076 ปีที่แล้ว

    Вакансии есть к вам на работу? Где посмотреть ? Язык не важен, ну экономия на серверах в зависимости от языка.

    • @rebuilderowner78673
      @rebuilderowner78673 11 หลายเดือนก่อน

      Я не буду отвечать за автора, но предположу что в цене разница ре сильно большая и питон и c# и php и go для этих задач подходят очень хорошо и разницы в хостере большой не должно быть

  • @yuriyroskoshinsky9394
    @yuriyroskoshinsky9394 6 หลายเดือนก่อน

    лучший бложик по айти за последнее время, который я видел) спасибо)

    • @MaximKulgin
      @MaximKulgin  6 หลายเดือนก่อน

      спасибо

  • @ИбрагимДринкерманн
    @ИбрагимДринкерманн 9 หลายเดือนก่อน

    Эм. Обученный берт и кой-какие препроцессоры и постпроцессоры матчат товары в 90+% случаях. Сложно? Вообще нет. Обучить берта имея хренову гору матченых товаров в датасете изи.

    • @MaximKulgin
      @MaximKulgin  9 หลายเดือนก่อน

      Плохое качество в итоге

    • @ИбрагимДринкерманн
      @ИбрагимДринкерманн 9 หลายเดือนก่อน

      @@MaximKulginотличное качество. Когда речь идет о миллионах товаров

  • @adambolotov1809
    @adambolotov1809 5 หลายเดือนก่อน

    как думаете возможно обучиться самостоятельно в нете парсингу и зарабатывать на этом в соло через фриланс?
    и какие это будут суммы в месяц если реалистично?

    • @MaximKulgin
      @MaximKulgin  5 หลายเดือนก่อน

      боюсь что сложно...

    • @jasonstathoom5142
      @jasonstathoom5142 หลายเดือนก่อน

      Без опыта программирования и сразу во фриланс будет очень сложно конкурировать и в целом работать.

  • @defcon_one
    @defcon_one ปีที่แล้ว

    Здорово, конечно, слушать про OVER NINE THOUSAND рублей выручки, но что насчёт прибыли? Может, она у вас отрицательная вообще? По своему опыту знаю, что, замалчивая прибыль и заменяя её в презентации выручкой, докладчик стремится манипулировать кадрами низшего звена и кандидатами на равнозначные им должности.

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว

      данные на сайте ФНС открыты для сомневающихся.

    • @defcon_one
      @defcon_one ปีที่แล้ว

      @@MaximKulgin Не поленился залезть и почитать про ООО "РЕФОРМА". Суммы доходов и расходов по данным бухгалтерской отчетности организации выглядят плачевно и не переубедили меня.

  • @КаринаГово
    @КаринаГово 9 หลายเดือนก่อน

    💥👋

    • @MaximKulgin
      @MaximKulgin  9 หลายเดือนก่อน

      спасибо бро

  • @КириллФилиппов-ф5б
    @КириллФилиппов-ф5б ปีที่แล้ว +2

    Чтобы не нагружать сайт запросами чрезмерно, можно интересующую страничку с информацией получить единожды в формате html на жёсткий диск. А потом уже никуда не отправляя никакие запросы распарсить эту страничку и извлечь интересующее.

    • @alexeykerdivare
      @alexeykerdivare ปีที่แล้ว

      Ajax запросы слышал? Html часто голый

  • @АлександрПлатонов-м1э
    @АлександрПлатонов-м1э 11 หลายเดือนก่อน

    Спасибо вам за информацию!

    • @MaximKulgin
      @MaximKulgin  11 หลายเดือนก่อน

      Спасибо

  • @bonauze
    @bonauze ปีที่แล้ว +2

    А почему именно мобильные прокси, а не серверные? С какими проблемами сталкивались?
    Спасибо.

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      мобильные реже блочат

  • @ArtemNi
    @ArtemNi ปีที่แล้ว +2

    Интересная тема. Думаю вот как к ней грамотно подойти пока в продуктовом смысле и разогнать на физических лиц....

    • @ИбрагимДринкерманн
      @ИбрагимДринкерманн 9 หลายเดือนก่อน

      Зачем это физлицам? Физлицам помог бы например парсинг фото соцсети от экстремистской компании. Чтобы там получить ответ что сегодня модно, например. Но физик не вывезет это по деньгам.

  • @Kleymor12
    @Kleymor12 ปีที่แล้ว +2

    А если в html коде нет информации (сделано на js. - react, vie js) - тоже спарсите?

    • @alexandr.goncharov
      @alexandr.goncharov ปีที่แล้ว +5

      Естественно, если Вы что-то видите в браузере, то это видит и парсер.

    • @nen5868
      @nen5868 ปีที่แล้ว +1

      ​@@alexandr.goncharov как? Например у букмекеров js, как там спарсить. В режиме разработчика видно все теги, а если открыть код страницы, то там их уже нет, за место их стоит js.

    • @Gigachyt
      @Gigachyt ปีที่แล้ว +2

      ​@@nen5868 Смотреть внутренний код, что отправляет сервер , обычно в JSON или JS.
      Это вообще-то не очень сложно, есть обфускация, помноженная на cloudflare, капчу , всякие детекты с блоком proxy, по фингерпринтам иногда детектят.

    • @andrejaga3003
      @andrejaga3003 10 หลายเดือนก่อน

      Под многие языки работает Selenium (можете погуглить). Это драйвер браузера, которым вы из кода командуете и эмулируете действия простого пользователя. Сейчас все то, что вы видите в браузере, можно спарсить.

  • @gooseman5578
    @gooseman5578 ปีที่แล้ว +1

    а как продавать 2gis, если не парсить 1 в 1? Заказчики же хотят именно ту инфу, что на сайте...

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      Можно парсить и обогащать

    • @alexeykerdivare
      @alexeykerdivare ปีที่แล้ว

      Полно бесплатных парсеров 2gis, стыдно продавать.

    • @rebuilderowner78673
      @rebuilderowner78673 11 หลายเดือนก่อน

      ​@@alexeykerdivareстыдно покупать, продавать нормально 😊

  • @maltanomad7376
    @maltanomad7376 7 หลายเดือนก่อน

    очень интересно, Изучаю Парсинг, прикольная вещь, буду развиваться. Подписался ан вас и в телеге

    • @MaximKulgin
      @MaximKulgin  7 หลายเดือนก่อน

      спасибо

  • @Fryderyk_Franciszek_Chopin
    @Fryderyk_Franciszek_Chopin 10 หลายเดือนก่อน

    Заблуждение в том, что нельзя бороться с парсерами. Согласен только, их совсем не победить, но можно сделать так, что заказчик просто не осилит ценник у парсеров. Парсинг станет экономически не выгоден. Хороший админ это сделает не потея. Жаль, что вы этого не понимаете. Что на том конце сидит админ, а вы так и будете действовать по шаблону. Я говорю не про монстров рынка, а про обычные средние и мелкие фирмы.
    Вот у меня был случай. Юридическая фирма в сфере авторских прав заказала парсинг одного бренда. Туда попал и мой сайт. Авторское право было как предлог давления для выравнивания цен на рынке. Эта была увлекательная война. В которой я победил. Я научился в логах на глаз уже отличать паука и от живого запроса. И чем дальше шла война, тем больше я учился.
    Да, конечно сервер был не в России. Чтобы не было абуз от юристов. Потому что у нас законодательная импотенция. Вот и существуют такие юристы и даже юрлица оказывающие услуги по парсингу.
    И почему такие говноеды как вы, говорите, что вам насрать на моральную составляющую и при этом говорить о какой то этике парсинга? Эдакие геи на пол шишки.

    • @MaximKulgin
      @MaximKulgin  10 หลายเดือนก่อน

      ясно. я говноед. а вы молодец, весь в белом. я таких как вы очень люблю.

    • @ВячеславТараканов-б9и
      @ВячеславТараканов-б9и 10 หลายเดือนก่อน

      Блин, чувак, да ты крут! Можно у тебя взять пару уроков офигенности?

  • @Yuriy-u4n
    @Yuriy-u4n ปีที่แล้ว +1

    Продам базу 2 ГИС

    • @MaximKulgin
      @MaximKulgin  ปีที่แล้ว +1

      это не законно

    • @Yuriy-u4n
      @Yuriy-u4n ปีที่แล้ว +1

      @@MaximKulgin Спарсил. Вроде законно все. Продаю за 2 500. Актуальность март

    • @notyourdogbusiness6658
      @notyourdogbusiness6658 ปีที่แล้ว +1

      Тоже есть эта база, вся снг