Batch Processing vs Stream Processing | System Design Primer | Tech Primers

แชร์
ฝัง
  • เผยแพร่เมื่อ 24 ธ.ค. 2024

ความคิดเห็น • 92

  • @TechPrimers
    @TechPrimers  4 ปีที่แล้ว +5

    ⏱ Chapter Timestamps
    ===================
    0:00 - Agenda
    1:00 - What is Batch?
    1:15 - What is Stream?
    1:32 - What is Micro-Batching?
    2:19 - When to use batch processing
    3:47 - When to use stream processing
    6:16 - Use-case: Analytics Application
    10:52 - Case study: Netflix Kinesis Data Streams
    11:43 - Case study: Nasdaq’s Architecture using Amazon EMR & Amazon S3
    12:36 - Summary

  • @bantuandproud8456
    @bantuandproud8456 2 ปีที่แล้ว +1

    Just wow!!
    Maybe you don't realize how helpful and resourceful is your video.
    I just got my certificate in data engineering but let me tell you this, you are so concise and clear in your explanations that I feel more confident now using stream processing.
    From time to time I will come back to you if I have any questions. I do have it but I will ask them later

  • @hmaina0
    @hmaina0 5 หลายเดือนก่อน +1

    It's hard to find quality content about advanced topics like this. Well explained 👍

    • @TechPrimers
      @TechPrimers  5 หลายเดือนก่อน

      Glad it was helpful!

  • @sandrafield9813
    @sandrafield9813 3 ปีที่แล้ว +9

    This video was thorough, clear, and very helpful, thanks!! I'm in school and will share it with my classmates!

  • @SumitSharma-qz2jd
    @SumitSharma-qz2jd 3 ปีที่แล้ว +2

    It's really nice to understand the complex topics very easily.

  • @GopalRoy-nn6ft
    @GopalRoy-nn6ft 4 ปีที่แล้ว +2

    Excellent explanation in 15 minutes..haven't seems such good explanation

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว

      Glad it helped Gopal. Cheers

  • @priyakrishnan9295
    @priyakrishnan9295 3 ปีที่แล้ว +9

    Excellent content 👌 simple and contextual. keep up the awesome work

  • @venkatk161
    @venkatk161 2 ปีที่แล้ว +1

    Thank you so much! Your videos are very helpful for me. Good to see that you have passed 100K+ subscribers.

  • @aishwaryasawant1062
    @aishwaryasawant1062 2 ปีที่แล้ว +1

    Easy to understand, the way you've explained.

  • @devpanda7084
    @devpanda7084 2 ปีที่แล้ว +2

    Wish I came across this channel earlier , nonetheless better late than never . Superb content and numbers shout that this channel is pretty underrated .

  • @anirbanchatterjee7766
    @anirbanchatterjee7766 3 ปีที่แล้ว +3

    Beautifully explained and the use case was too good.

    • @TechPrimers
      @TechPrimers  3 ปีที่แล้ว

      Glad it was helpful!

  • @sreedhargourisetty9324
    @sreedhargourisetty9324 9 หลายเดือนก่อน +1

    Thanks for the great Explanation with real time use cases

    • @TechPrimers
      @TechPrimers  8 หลายเดือนก่อน

      Glad it was helpful!

  • @shreeyajoshi9771
    @shreeyajoshi9771 2 ปีที่แล้ว +2

    Thanks for the case studies. Quite helpful!

  • @omartahboub2900
    @omartahboub2900 2 ปีที่แล้ว +1

    Excellent Presentation !! To the point and very clear !!

  • @divyanshuchaubisa2517
    @divyanshuchaubisa2517 2 ปีที่แล้ว

    Thanks creator for making this video. 🙏

  • @rakeshelangovan7040
    @rakeshelangovan7040 2 ปีที่แล้ว +1

    Ur videos are very informative. Thanks for your efforts

  • @kevinlin7386
    @kevinlin7386 4 ปีที่แล้ว +2

    Many thanks. This video came at the exact right time for me.

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว

      Glad it was helpful!

  • @eslamyassin4323
    @eslamyassin4323 ปีที่แล้ว +1

    wonderful content, very well explained, thanks!!

  • @parijatbandyopadhyay8057
    @parijatbandyopadhyay8057 2 ปีที่แล้ว +1

    Awesome and power-packed. Thanks for creating such beautiful content.

  • @rajeshkab
    @rajeshkab ปีที่แล้ว +1

    Awesome explanation.. Thanks

  • @mohammedsufi4649
    @mohammedsufi4649 ปีที่แล้ว +1

    Very useful bro. Thanks a lot for this video!..

  • @rajkori1716
    @rajkori1716 ปีที่แล้ว +1

    This was awesome

  • @NAVINKUMAR-vp2wv
    @NAVINKUMAR-vp2wv 3 ปีที่แล้ว +1

    a precise and up to the point tutorial, great video.

    • @TechPrimers
      @TechPrimers  3 ปีที่แล้ว

      Glad it was helpful!

  • @qwertylove5848
    @qwertylove5848 3 ปีที่แล้ว +2

    Great explanation. Thank you

  • @DevenSitapara
    @DevenSitapara 2 ปีที่แล้ว +1

    Well done , very well explained

  • @gorantisridhar
    @gorantisridhar 4 ปีที่แล้ว +2

    Very good explanation. Thank you so much for coming up a nice presentation.

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว +1

      Glad it was helpful

  • @MadhusudanBhosale
    @MadhusudanBhosale 4 ปีที่แล้ว +1

    After a long time good to watch the new tutorial.
    #techprimers

  • @trinathtalluri
    @trinathtalluri 4 ปีที่แล้ว +1

    Most awaiting

  • @rakeshroshan829
    @rakeshroshan829 4 ปีที่แล้ว +1

    Thanks to upload this video. I was waiting for this content.

  • @YoYo-bc4mc
    @YoYo-bc4mc ปีที่แล้ว +1

    Great vedio

  • @geekmuralin
    @geekmuralin 2 ปีที่แล้ว +1

    Thank you sir 🙏

  • @padminisubramainam
    @padminisubramainam ปีที่แล้ว +1

    nice explanation

  • @muniswamy3908
    @muniswamy3908 4 ปีที่แล้ว +1

    I was waiting for this video

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว +1

      Hope you are able to relate to real world entities

  • @architectsofthecloud6218
    @architectsofthecloud6218 2 ปีที่แล้ว +1

    Thank you so much!

  • @lee38xzy
    @lee38xzy 2 ปีที่แล้ว

    Thanks for the great video!!! Already subscribed!!

  • @OmkarShetkar
    @OmkarShetkar 4 ปีที่แล้ว +1

    Clear explanation and awesome presentation... Thanks...

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว +1

      Glad it was helpful!

  • @Deshbandhutechnology07SR
    @Deshbandhutechnology07SR 4 ปีที่แล้ว +3

    nice video content... hope your channel grow fast...

  • @saikiranchittaluri2837
    @saikiranchittaluri2837 4 ปีที่แล้ว +2

    Thanks for your efforts this is the next level of learning on batch and stream process
    my request could you please start a session on scala programming

  • @abhishekhalwai6063
    @abhishekhalwai6063 3 ปีที่แล้ว +1

    Great video thanks a lot.

  • @aniruddhsiddh2044
    @aniruddhsiddh2044 2 ปีที่แล้ว +1

    very good 👍

  •  3 ปีที่แล้ว +1

    thorough explanation! great video, overall! thanks for all the info!

  • @krishnakanths1758
    @krishnakanths1758 4 ปีที่แล้ว +2

    Precise and informative video... 👍🏻

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว +2

      Glad you liked it!

  • @praneethbhat4703
    @praneethbhat4703 3 ปีที่แล้ว

    really superb. the way u hav explained the concept is beautifull. can u explain the spark architecture

  • @mohamedeljahmi2454
    @mohamedeljahmi2454 2 ปีที่แล้ว +1

    Are you saying that Amazon Kinesis uses Apache Flink? As I understand, they have similar functionality, but Kinesis is proprietary while Flink is open source.

  • @GOOGOBAZI
    @GOOGOBAZI 4 ปีที่แล้ว +2

    Thanks

  • @धीरज-ठ4ह
    @धीरज-ठ4ह 3 ปีที่แล้ว +1

    thank you

  • @anveshreddyvyza8437
    @anveshreddyvyza8437 4 ปีที่แล้ว +4

    can you make video of SpringBoot with Aws Lambda and Api Gateway of all crud operations

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว

      I have a video using Spring Boot, Lambda and api gateway

  • @huilund9021
    @huilund9021 3 ปีที่แล้ว +1

    Good intro video

  • @srimurthy7143
    @srimurthy7143 2 ปีที่แล้ว

    Thank you.

  • @marcusaureliusfanboy
    @marcusaureliusfanboy ปีที่แล้ว

    hey man, what software do you use to create these diagrams(like at 9:18)? Btw, great content as always!

  • @RavindraSingh-xn4wd
    @RavindraSingh-xn4wd 4 ปีที่แล้ว +1

    Hi sir Could you please make the video on Rancher vs Openshift.

  • @PAVANKUMAR-vj8oi
    @PAVANKUMAR-vj8oi ปีที่แล้ว

    For realtime steam processing.
    If i send each frame into my ML Inference load balanced servers as a post request, even this works right? Then why do we need kafka

  • @Anderson-bz7fm
    @Anderson-bz7fm 4 ปีที่แล้ว +2

    Could we use spring streaming api instead of flink tô process the kinesis data analytics?

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว +1

      Hi Anderson,
      Amazon Kinesis Data Analytics is a serverless offering which runs on ApacheFlink behind the scenes. We can integrate it to other AWS services, however we cannot use spring streaming inside data analytics

    • @Anderson-bz7fm
      @Anderson-bz7fm 4 ปีที่แล้ว

      @@TechPrimers thank you for explanation :)

  • @mitulpatel348
    @mitulpatel348 2 ปีที่แล้ว

    Excellent video ☺️. Can you please create a demo application for similar use case?

  • @РустамУсманов-ю1б
    @РустамУсманов-ю1б 2 ปีที่แล้ว

    Thanks for the video. Could you please state why do we need to place analytics service before AWS streams? What should this service do in this particular example?

    • @danyald4880
      @danyald4880 2 ปีที่แล้ว

      Maybe process and/or clean data and make it ingestable later

  • @rockgustavekoue9191
    @rockgustavekoue9191 2 ปีที่แล้ว

    i would like to know if I have to synchronize 2 device with different time streams which technology can i use

  • @pradipkr5328
    @pradipkr5328 3 ปีที่แล้ว

    this video is really helpful . can you please make video on concepts IBM MQ and avro kafka and Tibco etc . message queue and schema registration etc topics uses in scripting in performance testing and what are the goel to uses these concepts in scripting in performance testing with uses case examples to get proper visualization

  • @flickmew99
    @flickmew99 2 ปีที่แล้ว

    so apache spark can do batch and also streaming processing ?

  • @datadutta
    @datadutta 7 หลายเดือนก่อน

    Regarding streaming, using all these services one by one, doesn't it caues lot of latency delay?

  • @dumindu077
    @dumindu077 3 ปีที่แล้ว +1

    Hi @Tech Primers what is the difference between messaging and Streaming?..

    • @TechPrimers
      @TechPrimers  3 ปีที่แล้ว +2

      This link has good explanation stackoverflow.com/questions/41744506/difference-between-stream-processing-and-message-processing

    • @dumindu077
      @dumindu077 3 ปีที่แล้ว

      @@TechPrimers thanks 👍

  • @pnarkaya9837
    @pnarkaya9837 4 ปีที่แล้ว +1

    You are my God :D

    • @TechPrimers
      @TechPrimers  4 ปีที่แล้ว +1

      I'm still alive 🤷🏻‍♂️😁

  • @indikakularatne5339
    @indikakularatne5339 3 ปีที่แล้ว +1

    Excellent explanation. sad to see few idiots dislike this video

  • @soyphea8697
    @soyphea8697 3 ปีที่แล้ว +1

    Why can’t you get 100k subscribers...

    • @TechPrimers
      @TechPrimers  3 ปีที่แล้ว +4

      That’s just a number Soy. The channel’s success is the quality and not the quantity.

  • @utbhargav
    @utbhargav 3 ปีที่แล้ว

    Use cases are bit high standard to understand. Please take some easier ones.

  • @shauryaverma8780
    @shauryaverma8780 2 ปีที่แล้ว

    too much information

  • @ЕдвардГригорян-н6к
    @ЕдвардГригорян-н6к 3 หลายเดือนก่อน

    wtf wrong with your micro, omfg

  • @christophermartinez1769
    @christophermartinez1769 2 ปีที่แล้ว +1

    Thanks