30年近く前。 当時大学で情報理論の講義を受けているときに、先生がプリントを配った。 そこに書かれていたのは、ビートルズのLet it be の替え歌で、要約すると「がんばって高効率な符号化を考えてるけど、エントロピーを超えられないよ」いう内容。原曲の 「♪let it be」 の部分を「♪ p log p 」 と歌っている。(ちなみに全編英語) 学会かなんかの余興かなんかで発表されたものとのこと(うろ覚え)。 情報理論で思い出したので、また見てみたいと思ったものの、当時のプリントは当然無いし、いくつかキーワードを変えてググってもそれらしきものは見つからず。
![[TH] 2024 PMSL SEA W2D2 | Fall | เครื่องร้อน พร้อมลุย](http://i.ytimg.com/vi/JO2_bLow_1Y/mqdefault.jpg)
【参考文献のリンク】
○『通信の数学的理論』
amzn.to/3taByzE
→今回のメイン種本。丸ごとシャノンの論文なので難易度は高いが、語り口は意外に堅苦しくない（1940年代の工学論文はそういうトレンドだったらしい）
○『情報理論』
amzn.to/3tiWcxI
→研究者によるシャノンの論文の解説。今回の参考文献の中では語り口がいちばん面白いのでオススメ。
○『シャノンの情報理論入門』
amzn.to/3tay4Np
→雰囲気だけ分かりたい時におなじみのブルーバックス。とはいえ、ブルーバックスの割にはそこそこ数式も出てきてそれなりに理解できる。
○『情報はなぜビットなのか』
amzn.to/3piB5tS
→情報理論の本だと思って読んだらそうでもなかった。「コンピュータって何ができるの？」っていうよもやま本。情報理論の話もちょっとだけある。いちばん平易。
○『教養悪口本』
amzn.to/3pkKS2B
→堀元の著書。シャノンの情報理論も悪口として活用しています。買ってね（ダイレクトマーケティング）
○『暗号解読』
amzn.to/36qDOLn
→サイモン・シンの面白すぎる本。モールス信号と符号化の本質話とかも出てくる。コンピュータ科学の最強ビッグネーム「アラン・チューリング」が活躍して嬉しいよ。
○『煙滅』
amzn.to/3JpeunK
→eを使わずに書かれた小説。我々はもちろんエアプ。
○『残像に口紅を』
amzn.to/3JGo4CV
→文字がだんだん使えなくなっていく小説。出落ちかと思いきや、小説としてハチャメチャに面白い。筒井康隆オタクもうなる完成度。
【サポーターコミュニティ加入はこちらから】
yurugengo.com/support
【親チャンネル：ゆる言語学ラジオ】
th-cam.com/channels/mpkIzF3xFzhPez7gXOyhVg.html
熟年夫婦が会話なしで意思疎通できるのは、エントロピーが最小化しているからなんですね。
了解を「り」って訳すのはシャノン先生もにっこりの素晴らしいドリフトなんですね！
マ
そ
トッ
ﾝｧ
イ
今回の話を実用的に使いたい人は辞書登録機能を使って「様、平素より格別の〜」を「ちわ」にしたり「この度は大変申し訳なく〜」を「すまん」にしたりすると良い
ビジネスメールの挨拶ならビジネスマンみんな使うから彼ら同士でやり取りすれば情報量が0、すなわち挨拶書かなくてよいということ！(?)
「今回が最後」という、次回の雑談回が約束された回、好きです
大学で日本史学を専攻している時、古文書の読解で「候」の使用頻度が高すぎて「、」と書かれることがあると知って驚愕した憶えがあるのですが、あれはシャノン先生の情報源符号化定理に則した行為だったんだなぁ、と思いました。
合格電報は大阪大学歯学部の場合にダブルミーニングで「ニュウシ ハエル」（入試映える・乳歯生える）と送っていた話が好きです。
学生が親しい間柄で了解を「り」で済ますのは正しい符号化なんだなぁ
これにはシャノン先生もニッコリ
実は合理的な若者文化とか調べたら色々ありそう
ドラえもんの｢ツーカー錠｣は｢ツー｣と｢カー｣のみで会話できるので全ての物事を1bitで送るシャノン先生逆ぶち切れ案件
シャノン先生破顔案件
意味不明なコミュニケーション例を思案してあえて「ドゥルルン…………」が選ばれたのも意味不明だったしコミュニケーションとしても本当に意味不明だし、言い放った直後の間の表情、それを受けた水野さんの反応までひっくるめて最高だった。泣くまで笑ってしまった。個人的に最大瞬間風速だった。この一瞬だけで面白情報のエントロピー過多
3:09
彼女に「付き合い始めた頃はラインで数行のやりとりをしていたのに、今はスタンプしか送ってくれない」と言われたのですが、親密度が高まって情報のエントロピーが下がっているから当然ですよね！
最近大漢和辞典を見ながら1文字の情報量が多い漢字を蒐集していて、この動画のお陰でそのような字を見るたびに古代中国人はbit数を小さくしようと努力していたんだなあと思うようになりました。ありがとうございます。
テストを作る時、選択肢を記号で選ぶ問題を作ると、問題作成が大変（符号化作業が大変）になります。〜について述べなさいというような記述にすると、問題作成は楽ですが、採点が大変になります。テストって教師と生徒間のコミュニケーションであるということを再確認しました。
日本語モールス信号だとブレーキランプ5回点滅が「ら゛」のサインっていうのだけ知ってた
和文モールス符号が非合理的なのは「ABC…」をそのまま「いろは…」に当てはめたから（モールス符号クリシェ）
「チャンネル登録、高評価、Twitterのフォローをお願いします」の情報量はほぼゼロであるというTH-camのタブーに触れた衝撃のラスト。
敬意という一つの情報を加えるのに、丁寧語は「です・ます」と短めの符号化に対して、尊敬語は「来る→いらっしゃる」と無駄に長くシャノン先生ブチギレ案件
「わざわざ手間をかける」で敬意を示しているのかもですね
「サクラサク」は合否だけではなく感情や情緒の情報も乗せてると考えると優秀だとも言える
と思ったけど、嬉しい悲しいは合否と1対1でリンクしてるからやっぱりエントロピーは1か
水野さんが答え出してますが、最効率の符号化と全ての人間が理解しやすいかどうか、は全く別のことだというのが面白いところですね。
ネットワークエンジニアやらせていただいてますが、なりたての頃にDNSの存在意義が分からなかった感覚をこのラジオ聴いてて思い出しました。
うちのオトンとオカンが話さない理由がようやく理解できました。
ありがとうございます
深読みお子さん
ペットを飼うとエントロピーが増大するので関係性の再構築にはおすすめですよ
ポケベルの会話は通信資源が限られた場合に高度な符号化が進んだ良い例ですね！
4:50
あるギャルゲーで、会話が少なくて不愛想な子に
「はい」なら「はちみつクマさん」、「いいえ」なら「ぽんぽこタヌキさん」といってもらうという
古いギャルゲーのかわいらしいお話があるので、水野さんがギャルゲーをガチでプレイすれば
堀元さんが求めるエントロピーの増大が望める…期待が大きい、いや是非やってほしいです。
ギャルゲー100作品通読してみた
いったいどこの鍵作品ですかねぇ
この書き込みがあってよかった。本当によかった
ぜひテラスハウスでゆるギャルゲー学ラジオをやってほしい
Kanonなついな
沈黙が心地いい関係ってエントロピー的に正しいんですね
締めが沈黙でないことでエントロピーがまだ残っている（親しさが足りない）ことを示唆していて、とても深いオチだなと思いました
「サクラサク」をモールス符号に変換したら
"ー・ー・ー ・・・ー ・・・ ー・ー・ー ・・・ー"
で"ー"と”・”の数は合計21個ですがモールス符号として解読できるようにするには文字と文字の間に"ー"と同じ時間の空白を入れないといけないので21bitよりは通信量は多くなります。
数学的な話をすると、
I=-logPの底を2としたのを、モールス符号の場合は、・ー空白の3種類を使うので、底を3として考える必要がありますね。
@@knife-dp9le
"・", "ー", 空白の三種類だからlogの底は3なのかというとまた少し違う問題があるんですね。
空白には主に3種類ありまして、
①(今まで暗黙の了解のもとにあった)"・"や""ー"の間に入る"・"1つ分の空白
②文字と文字の間を示すための"ー"1つ分(或いは"・"3つ分)の空白
③(特に英文では重要となる)単語と単語の区切りを表すための"・"7つ分の空白
①がなければ、"・"と"ー"の区別がつかなくて、長いピーという音になってしまいますし、
②がないと例えば"pen"(・ーー・ ・ ー・)と送ろうとしても
"etteete"(・ ー ー ・ ・ ー ・)とも"wue"(・ーー ・・ー ・)とも"atin"(・ー ー ・・ ー・)とも取れてしまい、
さらに③がないと"this is a pen"と送ったときに"thisisapen"となってしまって、解読しづらくなってしまいます。
ですので、コンピュータでモールス符号を解読させるプログラムを作る際は、
モールス符号を"・"と"ー"の二種類としてとらえずに、信号がONとOFFの二種類の状態だととらえて
ONの持続時間、OFFの持続時間からまず、"・", "ー", 文字間の空白, 単語間の空白の4つに分類してから最後に
"・"と"ー"をアルファベットに復号させるというやり方が一般的なようです。
長々とモールス信号クリシェしてしまい申し訳ありませんでした。
本質を捉えて基礎理論を打ち立てるという、普通1つでも歴史に名が残る業績を
シャノンは一人で複数やってるのがエグい
水野さんから「56億7000万年後に顕現します」と帰ってきても「OKでーす」と返す堀元さん
海外に住んでた頃、Qってアルファベットの中でも出現頻度が少なすぎて小さい子が存在を知らないって聞いたの面白かったな
Eが出現頻度が一番高いってのはシャーロック・ホームズの「踊る人形」の暗号解読でもとっかかりに使われていたな。
帰り道に友達と別れる時、「じゃ」で別れるの結構効率的だったんだなぁ
電信に限らず、発光信号や手旗、信号旗でコミュニケーションをとる船舶の世界では符号化がエグいです。
日本海軍では「こちらの艦長よりそちらの艦長へ→カヨカ」みたいな。
信号旗に至っては意味を列挙すると辞書レベルの分厚い本になってしまいます。
Z旗はクリシェ
皇国の興廃この一戦にあり。各員一層奮励努力せよ。
↓
Z
うんちくクリシェとして
ヴィクトル・ユーゴーが
本（レ・ミゼラブル）の売れ行きを確認するのに
「？」っておくって
出版社が
「！」って返した話出るかな？って思ってた
うちは既読スルーは了解の意としてました
少しだけ最適化
了解がりょとかrにドリフトするのも最適化なきがする
14:54 ここの水野さんの表情が非常に良い
シャノンの情報理論を学んだJK「り！」
🌸一文字だけで合格したことを伝えられるからサクラサクはいい符号化です！
オチが秀逸すぎてずっと笑ってます
ユーゴーの｢？｣にはシャノン先生もにっこり
！
水野さん純粋数学やりそう
なんならギャルゲーもやりそう
LINEで「了解」が「り」になるのってそういうことか！
35:03
あまり起伏のない街で育った人が言いがちな「東京の道路網が効率が悪い」系の話はマジで聞き捨てならないですね…。
地形図見ると分かるんですが、東京は複雑な台地が入り組んだ場所なので真っ直ぐな道はひけません。20m移動するだけで標高が10メートル違う場所とかもザラにあるので、道路はなるべく谷か尾根を通っています。
あと、比較的土地が平坦な墨田区、江東区のあたりはけっこう碁盤の目なっています。
このようなことを踏まえると、どうしても「他の都市と東京の地形図比べて見ろよ、つづら折りの山道も真っ直ぐにすればいいと思ってんのか？」思ってしまいます…。
「一回全部更地にして高いところは削って低いとこ埋め立ててから碁盤の目にすればいいのに〜」だったら「うん、そうだね！」と言いたいです。
(堀元さんも東京に住んで長いのでご存じかと思いますが発作が起きてしまったのですみません)
(国土地理院の地形図です↓)
maps.gsi.go.jp/
本社スタッフとして「店舗の引き継ぎがちゃんとできてない！」と注意しなければならない場面が最近あったのだが
完全に決まりきった定型句（誰も聞いてない）ばかり必須で
確率がばらついてたりイレギュラーな事項について言及なしという状況を
シャノンの情報理論で整理できそうなので助かる
熟年夫婦は会話が無くなるけど、旦那が「ん」って言ったら奥さんが「はいはい」って言いながらお茶いれてくれるみたいな事だよね。
つまり、水野堀本は夫婦ってことだよね
大学院ある程度情報理論について勉強した者ですが、脳とスマホを繋がなくても、堀本さんと水野さんの通信の記録が残ってれば、そこの頻度分布から最適な符号化は見つけられますよ。
通信会社がそれをしないのは、全ての個人の組み合わせで最適な符号化を見つけることをしてたらキリがないからです。
上記の理由から個人間の条件付きの符号化は難しいけど、通信ネットワーク全体の履歴から最適な符号化は行ってるはずです。
真のエントロピーは不明でも頻度分布から経験エントロピーが出せますものね
古い友人がコンビニで
袋とか箸の有無聞かれるときに
袋どうされますか
と聞いてくる店員にムカついてた
この質問だといりますとかいりませんとか返さなあかんからYesNoで答えられる袋おつけしますか？
とかにしろよって
情報のエントロピーだなぁってこのラジオ聞いてて思った
みんな「り」について言及してて、共感しかない。
佐藤さんのことを「さの字」、鈴木さんのことを「すの字」と呼ぶのはシャノン先生が大歓喜するってことかぁ
ベストな符号化をしたエンディングは沈黙では…？
ポッドキャスト民への配慮かも
小泉構文シャノン先生ブチギレ案件で草
29:50 親しくなればなるほど既読スルーしろってシャノン先生は言うてるのかぁ
日立のメールルールを思い出しました。
偉い人ほど宛名を短く
水野課長→（水野）、水野部長→（ミズ）、水野社長→（ミ）
30年近く前。
当時大学で情報理論の講義を受けているときに、先生がプリントを配った。
そこに書かれていたのは、ビートルズのLet it be の替え歌で、要約すると「がんばって高効率な符号化を考えてるけど、エントロピーを超えられないよ」いう内容。原曲の 「♪let it be」 の部分を「♪ p log p 」 と歌っている。(ちなみに全編英語)
学会かなんかの余興かなんかで発表されたものとのこと(うろ覚え)。
情報理論で思い出したので、また見てみたいと思ったものの、当時のプリントは当然無いし、いくつかキーワードを変えてググってもそれらしきものは見つからず。
情報量を計算する友達がいなかった
熟年離婚が過って仕方ない回でした。
エントロピーが下がっても繋がりを疑わない夫と、
ある程度のエントロピーの担保によって繋がりを感じる妻。
動画内でも言及してますがエントロピーゼロは沈黙なので、
そうはならないよう暮らしていきたいです。
高校の合格発表をお父さんが代わりに見に行ってくれた時、LINEで｢桜咲く｣ってきて｢なんのこと？｣って聞き返した思い出がある
動画編集をいつものスタッフさんに依頼するとき、最初のうちは細かい指定などを添える必要があったと思うんですが、親しくなるにつれて簡素化されて行き、おそらく今では素材送るだけでも事足りるレベルにまでなっていてシャノン先生もにっこり、かと思いきや、なぜかポケモンの推しについての情報が延々と添えられていてシャノン先生ブチギレ。
見初めて20秒しか経たずのコメント失礼しますが、今回の堀本さんのビジュがいい
受験の話だと伝わる相手には◯✖️でいい気がしますが、少し遠い親戚などに話題もまとめて伝えるには「サクラサク」は便利だと思いました。
遠い親戚は他の話題の可能性もある
→そもそもエントロピーが高い
→サクラサクは最適bitの可能性
ってことですかね??
@@user-xj1ec9gw8g 「先日受験があったのですが、無事志望校に合格できました！」よりは符号化の効率はいいよね。
@@user-xj1ec9gw8g エントロピーか高い相手には受験したかどうかどうか合格したかどうかを伝えるには効率は良さそう(≠最高率)なきはしますね
ポムポムプリン、ケロケロケロッピの下りの時に
どちらかがポムポムプリンは好きですか？と聞いて、ケロケロケロッピって答えてほしいなぁ〜と思ってたら
まさにその流れがあって嬉しかったです。
うぽつ
(「動画のアップロードお疲れ様です！」のシャノン先生ニッコリ符号化ver.)
最近はつかみがアツいな。ゆる言語も。
標本化定理はナイキストしか知らなかったので不思議に思って調べてみたら、提唱・予想したのがハリー・ナイキスト、証明したのがシャノンなんですね。
あと最後の挨拶で思ったのは古インターネット語のktkrやwktkもbit数を減らした符号化だったんだな〜、と
「勉強しなさい！」
「はいはい」
「返事は１回！ポムポムプリン！」
今回（略）面白（略）あり（略）
土日（略）ゆる言（略）ゆるコン（略）
嬉（略）
（略）待（略）！
学生の頃、ある友人と毎週のように遊んでいた時期があり、そのとき遊ぶ約束するメールが最適化されていって最終的に「ひ」と送って「い」と返すだけで、遊べるか否か、集合場所、集合時間を確定させていたのを思い出した。
シャノン「親しくない相手とのやり取りはそもそものエントロピー大きいからしゃーなしやで」
最後の挨拶のベストの符号化はやっぱり「ジャ」でしょうね。
ナンバープレートで使われないひらがな気になったので調べた。
し…死を連想するため
へ…屁を連想するため
ん…読みづらいため
お…「あ」と混同するため
なお「ぬ」と「め」、「は」と「ほ」、「る」と「ろ」、「う」と「ら」、「き」と「さ」などは問題なく使える模様🤔
バイトとか受かった時は返信くるけど、落ちた時それ以降連絡ない時あるよね
ベストな符号化されたお別れの挨拶は「じゃ」が良いと思います
仲良くなるとハイコンテクストな会話になることを体現してるな
間投詞もシャノン先生ニッコリ符号化案件か...
「へぇ」
=その情報は私が記憶しているものではなく、かつそれを知ることで私は感心しました。
最後の親しくなるほど、という話は熟年夫婦の
「茶」
ですね。
親しくなるとエントロピーが低くなるから通信量も減らせるよね、というのは、
「ツーカーの仲」という言葉がしっくりきますね。
キーボード配列でQWERTYが効率悪いと言われて、他の配列が色々考えられているのに大半がQWERTYのままなのと同じですね
サクラサク/サクラチルの発祥は早稲田大学と言われていますね。
東京大学のアカモンヒラク/イチョウチル/ウメノハナチル、静岡大学のフジサンチョウセイフクス/スルガワンイマダナミタカシなど長すぎるバリエーションもあるようです。
ありがとうございます！
「あ」「うん」で分かり合えるじぃじ、ばぁばはシャノン先生ニッコリ符号化ですね♪
毎回思うけどつかみタイトルサムネが天才的
文字の出現頻度と符号化の話だと、点字の話を思い出す
点字は当初フランス語でほとんど使用されないWを作らなかったため、Wだけ規則から外れている形になっている
ほとんど使わないからといって、さすがに作らないのはまずかったか
8:50 リポグラム！好き…！漫画作品だと「めだかボックス」で「う」「さ」「ん」がセリフ中に出現しない回がありましたね。
めだかボックスの原作者の西尾維新はリポグラムで小説も書いてる
普通に書いた短編小説を、くじで決めた10文字を使わずに書き直すのを4回、それを3作品でやるという尖った作品だった
西尾維新だとキャラソンでも似たようなことやってたな
死ぬ気で="（音階の）シ"抜きで
ということで、曲中に1つもシを使わない曲（恋愛サーキュレーション）がある
運動部員の返事がいつも「ウィーーーーーイ！」なのもエントロピーなのか
1bitウィーーーーーイ！符号化信号
「ツーカーの仲」は最適化がガッツリ進んだ結果というわけですねｗ
東京の地下鉄は粘菌ネットワークの研究でほぼ最適な駅配置であることがわかっていた気がする
おそらく駅同士のネットワークではなく、1駅の構内の煩雑さの話をしている気がします
ツーカーの仲ってベストな符号化できてる仲なのか
41:16 終わらせ方めちゃくちゃ雑なのランジャタイの漫才っぽくて好き
英文におけるEの多さはシャーロック・ホームズで知ったなあ
序盤の漫才でネタでも堀元さんとの関係を切るという発想がなさそうなの 堀元オタクの水野さんって感じで良い
「サンリオって知ってる？」
「ケロケロケロッピ」
嘘つけいwww
ポムポムプリンとけろけろけろっぴで意思疎通する2人てぇてぇ
確かにエントロピー高い人(自分とは違う視点を持つ人・予想できない人)の方が魅力的に感じるのはあながち間違いじゃないかもしれない。
江戸時代の火消隊は『め組』のように、ナンバープレートと同じようにひらがな1文字を採用しており、『へ』は屁を連想させて気合が入らなくなるので不採用でした。それと同じ理由でナンバープレートも不採用となっている、と聞いたことがあります（曖昧）
kｯ(このチャンネルのリスナーなら「ﾁｯ」に符号化して伝達された情報を「チャンネル登録よろしくお願いします」に復元できるが、本当にチャンネル登録してほしい新規リスナーには「ﾁｯ」では伝わらないというジレンマ)
33:30
エントロピーの大きさがそのまま好感度に使われてるのはお二人のような人種だけなのよ
親しくなればなる程、会話せずとも分かり合えるっていい話で締めるのかと思ったぜ
若者はスマホの通信量を減らすために、了解→りょ→り のように文字数を減らしてますね。
少し違いますがQWERTY式キーボードの話を思い出しました
そういえば符号長は「はいno」なんだなーと思った
日本人はイエスマン、みたいなのも符号化だけ予想できそう
日本人は実はシャノンの情報理論に基づいてコミュニケーションを最適化していたのを発見しました。
口頭での音声通信プロトコル (要するに会話) の究極こそ、0ビットでの情報伝達を可能にする「以心伝心」です！
通信量の少なさを追求するならSOSよりもETE、IMIの方が良さそうだけど、これは意図的に操作を増やすことで救難信号が誤爆しないようにしてるってことかな
110番や119番がなぜ111番や112番じゃないのかってのと同じで
断片的に受信したときの可能性を考えて、既存の単語の中で出てこない並びってのもありそうですね。完全に存在しないかは分かりませんが。
りょ、とか
じゅ、とか
今どきの子どもたちは解ってきていると思う。