Herman Kamper
Herman Kamper
  • 161
  • 383 233

วีดีโอ

Reinforcement learning from human feedback (NLP817 12.3)
มุมมอง 244หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/12_llm_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOVLRdimL3lS9F_33fzh9jU.html Course website: www.kamperh.com/nlp817/ PPO theory: th-cam.com/video/3uvnoVjM8nY/w-d-xo.html Proximal policy optimization explained: th-cam.com/video/HrapVFNBN64/w-d-xo.html
The difference between GPT and ChatGPT (NLP817 12.2)
มุมมอง 118หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/12_llm_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOVLRdimL3lS9F_33fzh9jU.html Course website: www.kamperh.com/nlp817/
Large language model training and inference (NLP817 12.1)
มุมมอง 179หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/12_llm_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOVLRdimL3lS9F_33fzh9jU.html Course website: www.kamperh.com/nlp817/ Andrej Karpathy's LLM video: th-cam.com/video/zjkBMFhNj_g/w-d-xo.html Byte pair encoding: th-cam.com/video/20xtCxAAkFw/w-d-xo.html Transformers: th-cam.com/play/PLmZlBIcArwhOPR2s-FIR7WoqNaBML233s.html
Extensions of RNNs (NLP817 9.7)
มุมมอง 802 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSji.html Course website: www.kamperh.com/nlp817/ Andrej Karpathy's blog: karpathy.github.io/2015/05/21/rnn-effectiveness/
Solutions to exploding and vanishing gradients (in RNNs) (NLP817 9.6)
มุมมอง 522 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdfFull playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSjiCourse.html website: www.kamperh.com/nlp817/ Gradient descent: th-cam.com/video/BlnLoqn3ZBo/w-d-xo.html Colah's blog: colah.github.io/posts/2015-08-Understanding-LSTMs/
Vanishing and exploding gradients in RNNs (NLP817 9.5)
มุมมอง 842 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSji.html Course website: www.kamperh.com/nlp817/ Vector and matrix derivatives: th-cam.com/video/xOx2SS6TXHQ/w-d-xo.html
Backpropagation through time (NLP817 9.4)
มุมมอง 1792 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSji.html Course website: www.kamperh.com/nlp817/ Vector and matrix derivatives: th-cam.com/video/xOx2SS6TXHQ/w-d-xo.html Computational graphs for neural networks: th-cam.com/video/fBSm5ElvJEg/w-d-xo.html Forks in neural networks: th-cam.com/video/6mmEw738MQo/w-d-xo.html
RNN definition and computational graph (NLP817 9.3)
มุมมอง 952 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSji.html Course website: www.kamperh.com/nlp817/
RNN language model loss function (NLP817 9.2)
มุมมอง 922 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSji.html Course website: www.kamperh.com/nlp817/
From feedforward to recurrent neural networks (NLP817 9.1)
มุมมอง 2373 หลายเดือนก่อน
Lecture notes: www.kamperh.com/nlp817/notes/09_rnn_notes.pdf Full playlist: th-cam.com/play/PLmZlBIcArwhOSBWBgRR70xip-NnbOwSji.html Course website: www.kamperh.com/nlp817/
Embedding layers in neural networks
มุมมอง 2343 หลายเดือนก่อน
Full video list and slides: www.kamperh.com/data414/ Introduction to neural networks playlist: th-cam.com/play/PLmZlBIcArwhMHnIrNu70mlvZOwe6MqWYn.html Word embeddings playlist: th-cam.com/play/PLmZlBIcArwhPN5aRBaB_yTA0Yz5RQe5A_.html
Git workflow extras (including merge conflicts)
มุมมอง 1064 หลายเดือนก่อน
Full playlist: th-cam.com/play/PLmZlBIcArwhPFPPZp7br31Kbjt4k0NJD1.html Notes: www.kamperh.com/notes/git_workflow_notes.pdf
A Git workflow
มุมมอง 2814 หลายเดือนก่อน
Full playlist: th-cam.com/play/PLmZlBIcArwhPFPPZp7br31Kbjt4k0NJD1.html Notes: www.kamperh.com/notes/git_workflow_notes.pdf
Evaluating word embeddings (NLP817 7.12)
มุมมอง 2095 หลายเดือนก่อน
Full playlist: th-cam.com/play/PLmZlBIcArwhPN5aRBaB_yTA0Yz5RQe5A_.html Lecture notes: www.kamperh.com/nlp817/notes/07_word_embeddings_notes.pdf Course website: www.kamperh.com/nlp817/
GloVe word embeddings (NLP817 7.11)
มุมมอง 2115 หลายเดือนก่อน
GloVe word embeddings (NLP817 7.11)
Skip-gram with negative sampling (NLP817 7.10)
มุมมอง 5215 หลายเดือนก่อน
Skip-gram with negative sampling (NLP817 7.10)
Continuous bag-of-words (CBOW) (NLP817 7.9)
มุมมอง 1455 หลายเดือนก่อน
Continuous bag-of-words (CBOW) (NLP817 7.9)
Skip-gram example (NLP817 7.8)
มุมมอง 1435 หลายเดือนก่อน
Skip-gram example (NLP817 7.8)
Skip-gram as a neural network (NLP817 7.7)
มุมมอง 3845 หลายเดือนก่อน
Skip-gram as a neural network (NLP817 7.7)
Skip-gram optimisation (NLP817 7.6)
มุมมอง 1955 หลายเดือนก่อน
Skip-gram optimisation (NLP817 7.6)
Skip-gram model structure (NLP817 7.5)
มุมมอง 1615 หลายเดือนก่อน
Skip-gram model structure (NLP817 7.5)
Skip-gram loss function (NLP817 7.4)
มุมมอง 2045 หลายเดือนก่อน
Skip-gram loss function (NLP817 7.4)
Skip-gram introduction (NLP817 7.3)
มุมมอง 2585 หลายเดือนก่อน
Skip-gram introduction (NLP817 7.3)
One-hot word embeddings (NLP817 7.2)
มุมมอง 1205 หลายเดือนก่อน
One-hot word embeddings (NLP817 7.2)
Why word embeddings? (NLP817 7.1)
มุมมอง 3215 หลายเดือนก่อน
Why word embeddings? (NLP817 7.1)
What can large spoken language models tell us about speech? (IndabaX South Africa 2023)
มุมมอง 1426 หลายเดือนก่อน
What can large spoken language models tell us about speech? (IndabaX South Africa 2023)
Hidden Markov models in practice (NLP817 5.13)
มุมมอง 2019 หลายเดือนก่อน
Hidden Markov models in practice (NLP817 5.13)
The log-sum-exp trick (NLP817 5.12)
มุมมอง 6679 หลายเดือนก่อน
The log-sum-exp trick (NLP817 5.12)
Why expectation maximisation works (NLP817 5.11)
มุมมอง 1499 หลายเดือนก่อน
Why expectation maximisation works (NLP817 5.11)

ความคิดเห็น

  • @BradleyCooper-f1n
    @BradleyCooper-f1n 4 วันที่ผ่านมา

    Brown Paul Wilson Deborah Harris Shirley

  • @andrefreitas9936
    @andrefreitas9936 6 วันที่ผ่านมา

    2:59 actually the pseudo algo you are using is 0 index.

  • @Gwittdog
    @Gwittdog 6 วันที่ผ่านมา

    Wonderful Lecture. Thank you

  • @warpdrive9229
    @warpdrive9229 8 วันที่ผ่านมา

    Cuz world wars!

  • @SarahSanchez-b2w
    @SarahSanchez-b2w 9 วันที่ผ่านมา

    Allen Shirley Miller Elizabeth Thomas Linda

  • @RahulSinghChhonkar
    @RahulSinghChhonkar 10 วันที่ผ่านมา

    For AnyOne having any doubts in relation bt NLL abd Cross entropy . this is a must watch !!!

  • @Josia-p5m
    @Josia-p5m 11 วันที่ผ่านมา

    This helped a lot. Fantastic intuitive explanation.

    • @kamperh
      @kamperh 11 วันที่ผ่านมา

      Super happy that it helped! :)

  • @EdwardHernandez-l4z
    @EdwardHernandez-l4z 12 วันที่ผ่านมา

    Hall Margaret Jones Angela Wilson Larry

  • @nschweiz1
    @nschweiz1 13 วันที่ผ่านมา

    Great video series! The algorithm video was the one that finally got me to "get" DTW!

  • @JoellaAlberty-z5c
    @JoellaAlberty-z5c 13 วันที่ผ่านมา

    Lopez Sharon Davis George Taylor Laura

  • @adityasonale1608
    @adityasonale1608 18 วันที่ผ่านมา

    Your content is amazing !!!

    • @kamperh
      @kamperh 17 วันที่ผ่านมา

      Thanks Aditya!

  • @tgzhu3258
    @tgzhu3258 19 วันที่ผ่านมา

    So if I have a list of categorical inputs, where the order indeed imply their closeness, then I should not use one-hot encoding, but just use numerical values to represent the categories, is that right?

  • @tgzhu3258
    @tgzhu3258 23 วันที่ผ่านมา

    love this series! you explained the concepts really well and dive into details!

    • @kamperh
      @kamperh 21 วันที่ผ่านมา

      So super grateful for the positive feedback!!!

  • @viswanathvuppala4526
    @viswanathvuppala4526 24 วันที่ผ่านมา

    You look like Benedict Cumberbatch

    • @kamperh
      @kamperh 23 วันที่ผ่านมา

      The nicest thing that anyone has ever said!

  • @molebohengmokapane3311
    @molebohengmokapane3311 หลายเดือนก่อน

    Thanks for posting Herman, super insightful!

    • @kamperh
      @kamperh หลายเดือนก่อน

      Thanks a ton for the feedback! :)

  • @Alabsi3A
    @Alabsi3A หลายเดือนก่อน

    You are good

    • @kamperh
      @kamperh หลายเดือนก่อน

      The nicest thing anyone has ever said ;)

  • @cuongnguyenuc1776
    @cuongnguyenuc1776 หลายเดือนก่อน

    Awesome, very great video!!

  • @pleasebitt
    @pleasebitt หลายเดือนก่อน

    I am not a student at your university, but I am glad that you are such a good prof.

    • @kamperh
      @kamperh หลายเดือนก่อน

      Very happy you find this helpful!! 😊

  • @rahilnecefov2018
    @rahilnecefov2018 หลายเดือนก่อน

    I learned a lot as an Azerbaijani student. Thanks a lot <3

  • @rrrmil
    @rrrmil หลายเดือนก่อน

    Really great explanations. I also really like your calm way of explaining things. I get the feeling that you distill everything important before recording the video. Keep up the great work!

    • @kamperh
      @kamperh หลายเดือนก่อน

      Thanks a ton for this!! I enjoy making the videos, but it definitely takes a bit of time :)

  • @liyingyeo5920
    @liyingyeo5920 หลายเดือนก่อน

    Thank you

  • @rahilnecefov2018
    @rahilnecefov2018 หลายเดือนก่อน

    bro just keep teaching, that is great!

  • @josephengelmeier9856
    @josephengelmeier9856 หลายเดือนก่อน

    These videos are sorely underrated. Your explanations are concise and clear, thank you for making this topic so easy to understand and implement. Cheers from Pittsburgh.

    • @kamperh
      @kamperh หลายเดือนก่อน

      Thanks so much for the massive encouragement!!

  • @Aruuuq
    @Aruuuq 2 หลายเดือนก่อน

    Working in NLP myself, I very much enjoy your videos as a refresher of the current ongoings. Continuing from your epilogue, will you cover the DPO process in detail?

    • @kamperh
      @kamperh หลายเดือนก่อน

      Thanks for the encouragement @Aruuuq! Jip I still have one more video in this series to make (hopefully next week). It won't explain every little detail of the RL part, but hopefully the big stuff.

  • @OussemaGuerriche
    @OussemaGuerriche 2 หลายเดือนก่อน

    your way of explanation is very good

  • @shylilak
    @shylilak 2 หลายเดือนก่อน

    Thomas 🤣

  • @MuhammadSqlain
    @MuhammadSqlain 2 หลายเดือนก่อน

    good sir

  • @TechRevolutionNow
    @TechRevolutionNow 2 หลายเดือนก่อน

    thank you very much professor.

  • @ozysjahputera7669
    @ozysjahputera7669 2 หลายเดือนก่อน

    One of the best explanations on PCA relationship with SVD!

  • @martinpareegol5263
    @martinpareegol5263 2 หลายเดือนก่อน

    Why is it prefered to solve the problem as minimize the cross entropy over minimize de NLL? Are there more efficient properties doing that?

  • @chetterhummin1482
    @chetterhummin1482 2 หลายเดือนก่อน

    Thank you, really great explanation, I think I can understand it now.

  • @zephyrus1333
    @zephyrus1333 2 หลายเดือนก่อน

    Thanks for lecture.

  • @adosar7261
    @adosar7261 2 หลายเดือนก่อน

    With regards to the clock analogy (0:48): "If you know where you are on the clock then you will know where you are in the input". Why not just a single clock with very small frequency? A very small frequency will guarantee that even for large sentences there will be no "overlap" at the same position in the clock for different positions in the input.

  • @ex-pwian1190
    @ex-pwian1190 2 หลายเดือนก่อน

    The best explanation!

  • @frogvonneumann9761
    @frogvonneumann9761 3 หลายเดือนก่อน

    Great explanation!! Thank you so much for uploading!

  • @Le_Parrikar
    @Le_Parrikar 3 หลายเดือนก่อน

    Great video. That meow from the cat though

  • @kobi981
    @kobi981 3 หลายเดือนก่อน

    Thanks ! great video

  • @harshadsaykhedkar1515
    @harshadsaykhedkar1515 3 หลายเดือนก่อน

    This is one of the better explanations of how the heck we go from maximum likelihood to using NLL loss to log of softmax. Thanks!

  • @shahulrahman2516
    @shahulrahman2516 3 หลายเดือนก่อน

    Great Explanation

  • @shahulrahman2516
    @shahulrahman2516 3 หลายเดือนก่อน

    Thank you

  • @yaghiyahbrenner8902
    @yaghiyahbrenner8902 3 หลายเดือนก่อน

    Sticking to a simple Git workflow is beneficial, particularly using feature branches. However, adopting a 'Gitflow' working model should be avoided as it can become a cargo cult practice within an organization or team. As you mentioned, the author of this model has reconsidered its effectiveness. Gitflow can be cognitively taxing, promote silos, and delay merge conflicts until the end of sprint work cycles. Instead, using a trunk-based development approach is preferable. While this method requires more frequent pulls and daily merging, it ensures that everyone stays up-to-date with the main branch.

    • @kamperh
      @kamperh 3 หลายเดือนก่อน

      Thanks a ton for this, very useful. I think we ended up doing this type of model anyway. But good to know the actual words to use to describe it!

  • @basiaostaszewska7775
    @basiaostaszewska7775 3 หลายเดือนก่อน

    It very clear explanation, thank you very much!

  • @bleusorcoc1080
    @bleusorcoc1080 3 หลายเดือนก่อน

    Does this algorithm work with negative instance? I mean can i use vectors with both negative and postive values?

  • @kundanyalangi2922
    @kundanyalangi2922 3 หลายเดือนก่อน

    Good explanation. Thank you Herman

  • @niklasfischer3146
    @niklasfischer3146 4 หลายเดือนก่อน

    Hello Herman, first of all a very informative video! I have a question: How are the weight matrices defined? Are the matrices simply randomized in each layer? Do you have any literature on this? Thank you very much!

    • @kamperh
      @kamperh 4 หลายเดือนก่อน

      This is a good question! These matices will start out being randomly initialised, but then -- crucially -- they will be updated through gradient descent. Stated informally, each parameter in each of the matrices will be wiggled so that the loss goes down. Hope that makes sense!

  • @anthonytafoya3451
    @anthonytafoya3451 4 หลายเดือนก่อน

    Great vid!

  • @electric_sand
    @electric_sand 4 หลายเดือนก่อน

    6:23 Your face need not be excused :)

    • @kamperh
      @kamperh 4 หลายเดือนก่อน

      :)

  • @ChrisNorulak
    @ChrisNorulak 4 หลายเดือนก่อน

    Had to basically learn git in 10 minutes and cook it down to 5 minutes for a group project at school - glad to something so visual and well explained (and code included!)

    • @kamperh
      @kamperh 4 หลายเดือนก่อน

      Wasn't sure this video was worth posting, so very happy this helped someone! :)

  • @delbarton314159
    @delbarton314159 4 หลายเดือนก่อน

    so in Q = XW, every single entry on the right side of this calculation needs to be learned?

  • @delbarton314159
    @delbarton314159 4 หลายเดือนก่อน

    Q, K and V are all populated with parameters all of which need to be learned?