(ML 14.10) Underflow and the log-sum-exp trick

แชร์
ฝัง
  • เผยแพร่เมื่อ 7 ม.ค. 2025

ความคิดเห็น • 9

  • @apolorwang
    @apolorwang 13 ปีที่แล้ว +1

    A very beautiful trick! Thanks, man.

  • @Ewerlopes
    @Ewerlopes 8 ปีที่แล้ว +2

    Can you recommend any good material for us to ready more about this trick? Book, tutorial, etc? Thanks for the video! Very good!

  • @samyu4473
    @samyu4473 4 ปีที่แล้ว +2

    in the equation ...=b+log {sum {exp(ai-b) } }, what if you use b=min(ai) instead? since b is very negative, ai-b will be positive so underflow won't happen? for example log(exp(-20) + exp(-2)) = -20+log(1+exp(18)) and no underflow here

    • @Simon0725
      @Simon0725 4 ปีที่แล้ว

      But if a_i are very big, positive numbers then doing b = max(a_i) prevents the overflow from happening.

  • @heheman3000
    @heheman3000 13 ปีที่แล้ว +1

    Why wouldn't we shift so that 0 is at halfway between the min and the max a_i? Is it because we only care about the largest one?

  • @dmit10
    @dmit10 13 ปีที่แล้ว

    Cool trick, I didn't know about it.

  • @royzhou888
    @royzhou888 6 ปีที่แล้ว

    what drawing software do you use? I would also like to use it for my online class , thanks

  • @JoshMilesVV
    @JoshMilesVV 4 ปีที่แล้ว

    Great Video!

  • @WilliamWangYang
    @WilliamWangYang 12 ปีที่แล้ว +1

    really smart trick. Now at least we get a 'b'. ^^