Mamba Language Model Simplified In JUST 5 MINUTES!

แชร์
ฝัง
  • เผยแพร่เมื่อ 28 ธ.ค. 2024

ความคิดเห็น • 12

  • @zagoguic
    @zagoguic 11 หลายเดือนก่อน +3

    Great video! Keep making them!

    • @analyticsCamp
      @analyticsCamp  11 หลายเดือนก่อน

      Thanks! Will do!

  • @optiondrone5468
    @optiondrone5468 11 หลายเดือนก่อน +1

    Thanks for this video, keep up the good work.

    • @analyticsCamp
      @analyticsCamp  11 หลายเดือนก่อน

      Thanks for watching!

  • @doublesami
    @doublesami 8 หลายเดือนก่อน +1

    Very informative looking forward for the in depth video on vision mamba or vmamba

    • @analyticsCamp
      @analyticsCamp  8 หลายเดือนก่อน

      Thanks for watching and for your suggestion. Stay tuned :)

  • @ln2deep
    @ln2deep 11 หลายเดือนก่อน +1

    It's a bit unclear to me how the Mamba architecture works recurrently when looking at the architecture in 5.30. What is the input here? the whole sequence or individual tokens? Surely it'd have to be the whole sequence for Mamba to build a representation recurrently. But then it seems strange to have a skip connection on the whole sequence. I think I've missed something.

    • @analyticsCamp
      @analyticsCamp  11 หลายเดือนก่อน +1

      Hi, thanks for your comment. I mentioned that delta discretizes the input as the word sequence into tokens, ..., and the fact that, at every step of the hidden state update, it takes into account the previous hidden state and the 'current input word'. I try to make an update on this, maybe reviewing the entire article if I can. Please do let me know if you are interested in any particular topic for a video.

  • @nidalidais9999
    @nidalidais9999 11 หลายเดือนก่อน +1

    I liked your style and your funny personality

    • @analyticsCamp
      @analyticsCamp  11 หลายเดือนก่อน

      Thanks for watching, I love your comment too :)

  • @kvlnnguyieb9522
    @kvlnnguyieb9522 9 หลายเดือนก่อน

    a great video. next video, may be you can explain the details about selective mechanisms in code

    • @analyticsCamp
      @analyticsCamp  9 หลายเดือนก่อน

      Great suggestion! Thanks for watching :)