Apache Kafka Architecture

แชร์
ฝัง
  • เผยแพร่เมื่อ 23 ธ.ค. 2024

ความคิดเห็น •

  • @AntonPutra
    @AntonPutra  10 หลายเดือนก่อน +6

    🔴 To support my channel, I'd like to offer Mentorship/On-the-Job Support/Consulting (me@antonputra.com)

  • @agun21st
    @agun21st 10 หลายเดือนก่อน +2

    Wow, Anton sir, this breakdown of Apache Kafka's architecture is incredibly insightful! Understanding how topics, partitions, and brokers work together is key to leveraging Kafka effectively in real-world applications. Thanks for this great overview!

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน +2

      thanks!

  • @boyanbalev4428
    @boyanbalev4428 10 หลายเดือนก่อน +7

    One unorthodox questions do you think creating those videos help you getting deeper understanding of these technologies. I write articles and I found that it actually benefits as much me as helping others. Great work.

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน +4

      thanks, of course it does

  • @GabrielPozo
    @GabrielPozo 10 หลายเดือนก่อน +8

    Thanks for this high-quality explanation!!!

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน +2

      thanks trying to improve

  • @VarunM-f8g
    @VarunM-f8g 7 หลายเดือนก่อน +4

    best primer on Kafka. kudos

    • @AntonPutra
      @AntonPutra  7 หลายเดือนก่อน +1

      thanks!

  • @ravipanchal2259
    @ravipanchal2259 8 หลายเดือนก่อน +5

    Your content is awesome. Hats off to your visualization and explanation .

    • @AntonPutra
      @AntonPutra  8 หลายเดือนก่อน +2

  • @pradeep_kumar_ind
    @pradeep_kumar_ind 5 หลายเดือนก่อน +3

    Awesome! I love these videos. They are so simple to understand. Thanks.

    • @AntonPutra
      @AntonPutra  5 หลายเดือนก่อน +1

      thank you!

  • @suvajitchakrabarty
    @suvajitchakrabarty 10 หลายเดือนก่อน +2

    In 4:55 should the partition in kafka broker 3 be partition 6, 7, 8 instead of 3, 4, 5, since you mentioned a partition always belongs to one broker.

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน +1

      yeah, copy paste mistake :) it should be 6, 7, 8

    • @suvajitchakrabarty
      @suvajitchakrabarty 10 หลายเดือนก่อน

      Thanks for the clarification@@AntonPutra

  • @pieter5466
    @pieter5466 8 หลายเดือนก่อน +1

    Great Kafka video, very clear and great diagrams.

    • @AntonPutra
      @AntonPutra  8 หลายเดือนก่อน

      Thanks!

  • @zacclifton5479
    @zacclifton5479 10 หลายเดือนก่อน +3

    Well done! I would recommend doing Pulsar next

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน +1

      thanks! i'll take a look

  • @soufiane22v
    @soufiane22v หลายเดือนก่อน +1

    Great video sir ! is it possible to create a video for deploying production-ready kafka clusters on k8s ?

    • @AntonPutra
      @AntonPutra  หลายเดือนก่อน

      thanks! well maybe in the future, there are some k8s operators available to run on k8s

  • @csmithDevCove
    @csmithDevCove 10 หลายเดือนก่อน +2

    this guy ^ always bringing useful information. Well done @AntonPutra.

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน

      thank you!

  • @pabloqp7929
    @pabloqp7929 หลายเดือนก่อน +1

    High quality thank you!!

    • @AntonPutra
      @AntonPutra  หลายเดือนก่อน

      thank you!

  • @aymenfayadhi3694
    @aymenfayadhi3694 5 หลายเดือนก่อน +1

    Thank you. This was actually helpful :)

    • @AntonPutra
      @AntonPutra  5 หลายเดือนก่อน

      welcome!

  • @SomjitNag
    @SomjitNag หลายเดือนก่อน

    10:13 Kafka should work just as well with HDD, as it's writes are sequential, which is fast in HDD. If kafka needs SSD for fast performance, it will become very expensive to retain data in kafka for long periods, which is a feature kafka offers.

    • @AntonPutra
      @AntonPutra  หลายเดือนก่อน +1

      I doubt that it will perform well with an HDD, but I may test it someday

  • @blender_wiki
    @blender_wiki 10 หลายเดือนก่อน

    How you menage message locking in Kafka in case of a consumer task is time consuming?

  • @shokhrukhbekyursunjonov6203
    @shokhrukhbekyursunjonov6203 7 หลายเดือนก่อน +1

    Good day Anton, thank you so much for user-friendly content! Could you please make a tutorial video on properly deploying secure (SASL/SCRAM) Confluent based full Fafka stack (2024 edition)? For several weeks I am attempting to deploy full kafka stack (zoo+kafka+schema-registry+kafka-connect+rest-proxy+ksqldb+conduktor-console) using SASL/SCRAM_SHA_256 method, but having errors in additional components such as registry, proxy connect and ksqldb during SASL SCRAM authorization... (docker compose solution). I am sure it would be really helpful to the kafka devops community here...
    Sincerely,
    Shokhrukh Yursunjonov

    • @AntonPutra
      @AntonPutra  7 หลายเดือนก่อน

      Sure, I can do it. A couple of questions: Is it Kubernetes-based? Also, why not use Kafka without ZooKeeper (KRaft)? Do you have any legacy applications that require ZooKeeper?

    • @shokhrukhbekyursunjonov6203
      @shokhrukhbekyursunjonov6203 7 หลายเดือนก่อน

      @@AntonPutra it is docker stack based (cause I am given one server to deploy kafka and I am writing compose file to deploy all in one server). Ah, I almost forgot about KRaft, good idea, I might try to use this mode, I heard that it is more intelligent and faster! According to my info (what devs said to me) apps are not legacy (mostly .net containerized apps), thus I can try using single/double broker KRaft mode, thank you. But I am afraid to have the same issues configurning SASL/SCRAM auth in it

    • @AntonPutra
      @AntonPutra  7 หลายเดือนก่อน +1

      @@shokhrukhbekyursunjonov6203 yes it's faster since kafka does not need to keep offsets in zookeeper and it's scales better without zk. I'll get to it maybe after EKS playlist will see.

  • @InvincibleMan99
    @InvincibleMan99 4 หลายเดือนก่อน

    Hello brother
    Great explanation
    Recently in interview, i was asked what is the data structure that is used in kafka..

    • @AntonPutra
      @AntonPutra  4 หลายเดือนก่อน +1

      key/value :) for the value you can use RPC, avro, json etc.. Many companies use protocol buffers to reduce the size of the payload - grpc.io/docs/what-is-grpc/core-concepts/#service-definition

    • @InvincibleMan99
      @InvincibleMan99 4 หลายเดือนก่อน

      @@AntonPutra Got it thank you. Yeah so message data structure is key value. But as kafka is a queue, it maintains a log file in append mode on each broker, as you have covered. So it also has query data structure.

  • @RD-fb6ei
    @RD-fb6ei 10 หลายเดือนก่อน

    So the upper bound on the number of consumers for a topic is the number of partitions? That’s quite limiting compared to something like Apache Pulsar or NATS Jetstream where you can horizontally scale the consumers as much as you want without worrying about the partitioning scheme of the server.

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน

      No, you can have as many consumers as you want, not limited by partitions. Depends on your app, in some cases, to scale you need to increase both partitions and consumers.

    • @suvajitchakrabarty
      @suvajitchakrabarty 10 หลายเดือนก่อน

      @RD-fb6ei However in those applications when you scale the consumers, I believe you lose the guarantee of events arriving in order.

  • @rahulsingh-iq4gd
    @rahulsingh-iq4gd 10 หลายเดือนก่อน +3

    Hello sir can you make video on kubernetes helm chart please

    • @AntonPutra
      @AntonPutra  10 หลายเดือนก่อน +2

      ok

  • @rajun9208
    @rajun9208 4 หลายเดือนก่อน

    Which tools you are using for making this animation?

    • @AntonPutra
      @AntonPutra  4 หลายเดือนก่อน

      adobe

    • @rajun9208
      @rajun9208 4 หลายเดือนก่อน

      @@AntonPutra thank you for the quick response. Could you please tell me full name of the software

    • @AntonPutra
      @AntonPutra  4 หลายเดือนก่อน +2

      @@rajun9208 adobe suite, multiple apps illustrator, after effect, premiere pro etc

  • @dimadiachenko1
    @dimadiachenko1 9 หลายเดือนก่อน

    perfect explanation, ty

  • @AntonPutra
    @AntonPutra  23 วันที่ผ่านมา

    🍿 Benchmarks: th-cam.com/play/PLiMWaCMwGJXmcDLvMQeORJ-j_jayKaLVn.html&si=p-UOaVM_6_SFx52H

  • @drivetrainerYT
    @drivetrainerYT 7 หลายเดือนก่อน +1

    Can't help subscribing ;) thanks!

    • @AntonPutra
      @AntonPutra  7 หลายเดือนก่อน

      🙏

  • @yenonn
    @yenonn หลายเดือนก่อน

    typo of partitions

  • @charuwaka1
    @charuwaka1 วันที่ผ่านมา +1

    Axlex Xu and now Anton Putra 🔥🫡