シャノンエントロピー

定義と計算例。
離散有限型の確率分布の場合のみ。
2進法から思い出したい人向け。