영상에서 예로 드는 주사위의 각 면이 나타내는 수가 1부터 8까지이기 때문에, 각 면을 적당한 이진수에 대응시킨다는 설명으로 이해해주시면 될 것 같습니다. =이 아닌 ->기호를 통해 주어진 십진수에 대한 이진수 표현이 아닌, 대응임을 표현하였습니다. 8가지 경우의 수를 구분하기 위해서 최소 3비트가 필요하다는 사실이 해당 대응으로 전달하고자 하는 내용입니다.
주어진 확률변수에 대해서 엔트로피=평균정보량인 것은 정의에 의해서 그런 것 입니다. 다만, 평균정보량이 실제 확률변수의 정보를 전송하기 위해 필요한 최소 비트수와 어떻게 직접적으로 연결되는지에 대해서 궁금증이 있으신 것 같습니다. 이 부분은 Wikipedia의 Shannon's source coding theorem 항목을 참고하시면 좋을 것 같습니다. 저도 공부가 필요한 부분인데 기회가 되면 별도로 다루어볼 수 있을 것 같습니다.
정보이론에서의 엔트로피는 결국 '정보'를 전송하기 위한 최소한의 평균 비트수네요. 좀더 추상적으로 말하면, 불확실성이 클수록 엔트로피는 커진다고 볼수 있겠네요. (==공평한 주사위, 어떤 값이 나올지 전혀 예측할수 없으므로, 불확실성이 크다) 혹시, 잘 못 이해했다면, 댓글 부탁드립니다ㅠ 설명 잘 들었습니다!!!
엔트로피는 불확실성이 높은 정보(확률변수)에 대하여 높은 값을 갖게 됩니다. 영상 초반의 예제에서 처럼 주사위를 던졌더니 1이상 6이하의 수가 나왔다는 극단적으로 불확실성이 제거된 정보는 전달할 필요가 없는 (적어도 주사위를 던졌다는 사실은 알고 있다는 전제하에) 자명한 사실이므로 정보량은 0이 됩니다. 이 정보량의 개념에서 파생된 엔트로피라는 개념은 주어진 확률 변수에 관한 정보량의 기댓값이라는 점을 고려하면 불확실성의 정도와 엔트로피 크기의 관계를 이해하실 수 있을 것입니다.
![도대체 엔트로피란 무엇인가? 엔트로피의 모든 것 1부 [성균관대학교 권석준 교수]](/img/n.gif)
깔끔한 설명이 있는 강의 잘 들었습니다
담담한 설명과 체계적인 수식 전개가 따라가기 좋아요 🙌
좋은 강의 감사합니다.
미쳤네요 👍
맛집이네요 추천추천
이채널 맛있네
10:46
2진수 표현법이 잘못된거 아닌가요?
1 -> 001
2 -> 010
3 -> 011
4 -> 100
...
8 -> 1000
이게 2진수 표현법 아닌가요?
영상에서 예로 드는 주사위의 각 면이 나타내는 수가 1부터 8까지이기 때문에, 각 면을 적당한 이진수에 대응시킨다는 설명으로 이해해주시면 될 것 같습니다. =이 아닌 ->기호를 통해 주어진 십진수에 대한 이진수 표현이 아닌, 대응임을 표현하였습니다. 8가지 경우의 수를 구분하기 위해서 최소 3비트가 필요하다는 사실이 해당 대응으로 전달하고자 하는 내용입니다.
cross entropy 도 하나 만들어 주세요
6:18 에 f(a)는 1이라고 굳이 두는 이유가 있나요?
곱셈을 덧셈으로 전환시키는 함수 f가 주어졌을 때, 특정 a에 대하여 f(a)=1임을 전제하면, 해당 정보량 함수를 a를 밑으로 하는 로그 함수로 기술할 수 있게 되기 때문입니다.
안녕하세요 좋은 강의 감사합니다. 여쭤보고 싶은것이 있는데 엔트로피식 즉 p(x)logp(x) 가 최소평균정보량이 된다는 것을 어떤방법으로 증명할 수 있을까요?
주어진 확률변수에 대해서 엔트로피=평균정보량인 것은 정의에 의해서 그런 것 입니다. 다만, 평균정보량이 실제 확률변수의 정보를 전송하기 위해 필요한 최소 비트수와 어떻게 직접적으로 연결되는지에 대해서 궁금증이 있으신 것 같습니다. 이 부분은 Wikipedia의 Shannon's source coding theorem 항목을 참고하시면 좋을 것 같습니다. 저도 공부가 필요한 부분인데 기회가 되면 별도로 다루어볼 수 있을 것 같습니다.
정보이론에서의 엔트로피는 결국 '정보'를 전송하기 위한 최소한의 평균 비트수네요.
좀더 추상적으로 말하면, 불확실성이 클수록 엔트로피는 커진다고 볼수 있겠네요. (==공평한 주사위, 어떤 값이 나올지 전혀 예측할수 없으므로, 불확실성이 크다)
혹시, 잘 못 이해했다면, 댓글 부탁드립니다ㅠ
설명 잘 들었습니다!!!
댓글중에 제가 이해한 내용과 다른글이 있네요.... 제가 이해를 못했나 봅니다.
불확실성이 있는 엔트로피는 없는 엔트로피보다 정보 전달 비트수를 더 아낄수 있고, 불확실성이 커질수록 엔트로피는 점점 더 작은값을 가질 수 있게 되는 것 아닌가요?
엔트로피는 불확실성이 높은 정보(확률변수)에 대하여 높은 값을 갖게 됩니다.
영상 초반의 예제에서 처럼 주사위를 던졌더니 1이상 6이하의 수가 나왔다는 극단적으로 불확실성이 제거된 정보는 전달할 필요가 없는 (적어도 주사위를 던졌다는 사실은 알고 있다는 전제하에) 자명한 사실이므로 정보량은 0이 됩니다. 이 정보량의 개념에서 파생된 엔트로피라는 개념은 주어진 확률 변수에 관한 정보량의 기댓값이라는 점을 고려하면 불확실성의 정도와 엔트로피 크기의 관계를 이해하실 수 있을 것입니다.
.