ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
原理を説明されると「なるほど。そうやると複雑なやつをシンプルに表せるよね」と納得するけど、無から最初に考えた人の天才っぷりがすごい
ですよねー。ほんとにすごい😮😮😮
一般的な「深さによって抽象的な特徴を抽出している、表現力が高くなる」みたいな曖昧な説明でなく、ちゃんと理学的な観点から根拠付けるあたりさすがだと思った。二次関数とかでも理論上可能って背景は知らんかった。そう言われると活性化関数の説得力がマシマシになる。
でしょ😍お褒めに預かり光栄です😎✌️
少ないパラメータで複雑な関数が作れるってとこの説明がものっそい分かり易かったです！
ご視聴コメントありがとうございます！😍だから Deep はすごいんですよ！ぜひ参考にしてください😋
deep lerningをここまで数学的に平易にした説明って入門書とかではなくて（入門書は数学嫌いな人でもわかる～みたいな言い方をする）ので、この説明のあっさり具合にいい意味で感動しました。数値の集まりなんだから関数とみなすって感覚、工学のフーリエ変換みたいです。
おほめに預かり光栄です😍😍😍フーリエ変換ににてるってのは面白いですね！Deep Learning も工学ど真ん中の分野なので、いろんな所が似てるのかもしれません😎
なんだ！このわかりやすさは。素敵すぎて気を失います
ありがとうございます！おほめに預かり光栄です😊ぜひいろんな方に伝えていただけるとうれしいですー！
数学的な意味をあつかっている講座はほとんどないです。AIciaさん ならではの解説になっており、ありがたいです。
でしょ😋必要そうな人いたら是非勧めてください～！(^o^)
めちゃくちゃ面白い授業です、最高です！教えるのすごく上手でわかりやすく感動しました！
ご視聴コメントありがとうございます！🤩🎉🎉🎉今後も良き動画を生成できるよう頑張ります🔥ぜひご活用くださいませ！🤩
なぜこうするのか？なにをしたくてこうするのか？を説明している話はほとんど見ない。ありふれたものはどうやるか？の手技だけ。この人の動画は「なぜ」を非常にシンプルで具体的、中学生でも分かる理由に落とし込んで説明してくれている。神動画。
ご視聴コメントありがとうございます！！お褒めに預かり光栄です😍続く動画でも頑張っておりますので、お時間あるときにお楽しみいただけたら嬉しいです😋
今回も深い話をありがとうございます。数学的に地道に一歩一歩進むのが心地いい‼️😍
いつもご視聴ありがとうございます😍🎉なかなかないタイプの説明ですよね😎せっかくなので色を出してみました😋
わかりやすく、言葉の意味がスッキリしました！
ご視聴コメントありがとうございます🎉🎉🎉それはとても良かったです！(^o^)深さの良さはまた色んなところで語られていますので、深い沼に興味があればこちらあたりをぜひ😎amzn.to/3GR1SHo
@@AIcia_Solid 書籍の紹介ありがとうございます。G検定勉強しながら読んでみます！
ぜひぜひ！おすすめです！(^o^)
一般的?な説明をしないあたり、すごくこだわりを感じます。本質ですね。
shin 157 さんありがとうございます😍まさに！Deep Learning の説明は、こういう角度のものがあっても良いとおもうのです😎理解の助けになれば嬉しいです🎉
大変分かりやすい説明、ありがとうございます。効率的に(パラメータ数をいたずらに増やさず)複雑なモデルを構築できるという利点、理解できました。しかし社会実装を考えた時、オーバースペックなことも多いのではと感じました(ここでのオーバースペックとは、out-of-sampleの予測精度が単純な計量経済学的モデルと比較して大差ない状態)。画像認識などのビックデータ解析では猛威を振るいそうですね。
まさにその通りです！Deep には強いところと弱いところがあり、ほかの手段と合わせて適材適所で運用するのがベストだと思います😊
今まではDeepLearning？へーすごいものがあるんだねーくらいにしか思ってなかったけど数式で理解できてめちゃくちゃ面白いと思った
ご視聴コメントありがとうございます！😍ぜひ Deep Learning の世界にも飛び込んでみてください！
スーパー専門外ド素人なんですけど、めちゃくちゃ腑に落ちました。この動画に出会えてよかった！（サクラではない）この前の、社会学、民俗学とのコラボ対談も面白かったです。投稿頑張ってください～～
ご視聴コメントありがとうございます！！🥳そう言っていただけると、動画を生成したかいがありました！🎉この前のコラボ面白かったですよね！！！またやるので良ければ是非見に来てください！🤩🎉
このシリーズ面白い！自分はAI方面には進みませんが、ためになると感じているので、全部見ます！
ご視聴コメントありがとうございます！🎉ぜひぜひ、楽しんでみていただけると嬉しいです！🎉
これは分かりやすい。パラメータの削減による効率化の工夫が各社ツールの差異になるのかな。同じ設問にコンピュータ資源を無限時間使えば各社同じゴールに到達するのかな？
ご視聴コメントありがとうございます😍🎉他にも大切な要素は大量にあるので一概には言えませんが、そのようになると思います。無限の計算資源があれば、、、のことろは、めちゃくちゃ深い話になると思います。同じゴールへの収束が保証されるような手法が発見されるとよいですね😋
過学習？
よくコンピューターの計算力向上とdeepブームが結び付けられますがむしろこのような工夫で計算可能なレベルまでパラメータ数を削減できたのが大きいんですね納得できました
もちろん計算力やブームもあります！それに加えて、論文では、同じパラメタ数で精度を比較したりもするので、パラメタ効率も大事なのです！🔥
12:25のところですが、x1-3を入力してz1を出す関数と、x1-3を入力してz2(z1の一個下)を出す関数は厳密には違う関数なのですか...？ それとも、入力層から第一個目の中間層をつなぐ関数はひとつしかなく、それをf1xを呼んでいるということでしょうか。
ご視聴コメントありがとうございます！素敵な質問ですね！それは、異なる場合もあれば、同じ場合もあります！この後でてくる CNN では、同じとみなせる場面もあります。一方、 RNN や Transformer では異なる事が多いです。場合によりますので、その観点を持ちながら、今後の動画も見て頂ければ、とても理解が深まるのではないかと思います!🥳
@ ありがとうございます！
最高です。
でしょ😎
図とか、脳神経とかで説明されるとわかるようでわからないまま終わるけど、数学的に話してもらえるだけで今までの話がストンと落ちてきました。やっぱり数式無しで話されるより数式あったほうが理工系の人間には100億倍くらいわかりやすいですね。
ご視聴コメントありがとうございます😍😍まさに、れみりさんのような方に向けて、「数式を分かりやすく」をコンセプトとして作ってます！届いたようで嬉しいです🎉
自分もオライリーの本とかは数式少ないんでなんかよくわからないで終わりました...普通に数式がっつり入ってる本の方がわかりやすかった結局数学やってるんだから数式無いときついですよね
理工系じゃなくてもあの説明で納得してる人はいないんじゃないかな笑
質問です！最初の方で2次関数を10回繰り返すと30個のパラメータで済むという事には納得できたのですが、動画の最後の方では2次関数のパラメータは450億パラメータと説明されていたので、その部分の理解が追いつきませんでした、、教えて頂けると非常に助かります！
N 変数 d 次多項式は、 (N+d-1)C(d-1)次元あると計算できます。これを利用すれば、その部分の計算もできるかと思います😎✌️
「CNN はご近所のピクセルとの関係を保持するためのもの」くらいの理解だったんですが、パラメータ数を削る工夫でもあったんですね（言われてみれば確かに…）。次回の解説が楽しみです。
そうなんです。「パラメタ共有」によって、圧倒的にパラメタを減らす役割があるのです。また、「関係を保持」程度より、畳み込みには、もっと圧倒的なメリットがありますそこら辺も、 CNN で解説しますので、お楽しみに！
「非線形のわけわからん関数をはさんだらいけんじゃない？」って言うところは、すごい飛躍を感じるなぁ。相対性理論や量子力学のほうがまだそれまでの知識の延長線の感じがするぐらい。どうやって思いついたんだろう。天啓なのか単に天才だったのか。
ご視聴コメントありがとうございます！深くするには非線形でないと意味がないというのは、当時の研究者さんには常識だったとは思われますが、深くする事によって精度が高まるということは、学習の収束レート含めて、極めて非自明なので、この領域に手をのばす人がいたことは、当時の研究の層の厚さを私も感じます😊
全てに意味があるの面白いですね
いつもご視聴コメントありがとうございます😊この先もいろんなものが出てきますので、ぜひお楽しみを！
ニューラルネットワークの図のところで、どうして同じ変数x1,x2,x3からz1,z2,z3…と複数作り出すのですか？
深さを活かすためです。すぐ1変数にしてしまう場合を考えましょう。 p = f(x) は、p = h(z), z = g(x) （ z は1変数）となる（gよりうしろを全部hでひとまとめにしました）わけですが、これで1000分類の画像分類を作るには、まず z = g(x) で、猫画像を z = 0～1 あたりにあつめ、犬画像を 1～2 にあつめ、車画像を 2～3 にあつめ、、、とやれる必要があります。（じゃないと分類できない！）ということは、関数 g ひとつでほぼ画像分類をこなすことが必要になります。これでは、深さを活かすことになりません。より分かりやすい、直接的な説明は、画像分類の CNN のところでやりますので、そこまでついてきていただけると嬉しいです！
ありがとうございます解説めちゃくちゃ助かります…これからも動画見させて頂きますね！
ぜひぜひ！お楽しみに！！😍🎉
深層学習を独学で学んでるけどこの人の説明ないと学べないくらいわかりやすい
ご視聴コメントありがとうございます！🎉🎉🎉そう言っていただけると嬉しいです😊ぜひたくさんご活用ください！🤩
アイシア先生、16:00 の10^3700 パラメーターってどんな感じの計算で出したんですか？
斉次多項式 - Wikipedia ja.wikipedia.org/wiki/%E6%96%89%E6%AC%A1%E5%A4%9A%E9%A0%85%E5%BC%8Fこいつに数値放り込んで、 log とって桁数を計算すれば OK です！log n! の計算には、n! ≒ e^{n log n} （※）を使います。※ホントはもうちょっと精密なバージョンあり（スターリングの公式）
Aicia Solid Project なるほど！ありがとうございます！
@@AIcia_Solid アイシア先生、分かりやすい動画ありがとうございます。ちなみに、450億パラメータと300万パラメータはどのような計算でしょうか？
n変数2次関数 x m個の場合、約 n^2 / 2 x m パラメタn変数1次関数 x m個の場合、約 n x m パラメタというのを利用しました。（中間層の次元を100として計算していただければ大体そんな数字になるかと思います！）
@@AIcia_Solid ご回答頂き、ありがとうございました〜
声とキャラのギャプが気持ち悪いけど、内容は本当に素晴らしい！腹落ちが劇的に進みました！
恐ろしいことに、ギャップはそのうち慣れてしまいます😎😎😎楽しんでいただけたようで何より！ぜひ他のもみてみてください😍
これ面白い話題や。参考文献やこういう話題について書かれた本が有れば教えてください
でしょ😎✌️この内容は、さまざまな文献見て総合してまとめたもので、何か別の参考文献に同じ内容が書いてある、、、というのは見たことがありません。もしこういう内容がある本があれば教えていただけるとうれしいです！
14:00 あたりですが、線型→線形ではないでしょうか
「せんけい」は、実は、線型でも線形でも OK です！昔は線型が主流で、最近は線形がよく使われるようになりました。動画的には、最近よく使われる線形にしようと思ってたのですが、普段は線型を使ってるので、つい癖で、動画でも出てしまいました😋特に誤りでなければ、問題もなしです。ですが。ご指摘ありがとうございます😍🎉他にもなにか気づいた点があれば遠慮なくお申し付けください！
@@AIcia_Solid そのような経緯があったとは、、勉強不足でしたネットワークエラーで何度も送ってしまっていたみたいで申し訳ございませんまた、毎回、興味深い動画をありがとうございます！勉強させていただいております
いえ、線型はオタクしか使わないので、、、ほんとに指摘ありがとうございます🙇♀️ぜひ今後も動画を楽しんでいただけると嬉しいです！🎉
ReLU関数を合成していって複雑性を創り出せるのでしょうか？
ご視聴コメントありがとうございます！はい、そのとおりです！様々な変換と組み合わせて ReLU を用いることで、かなり効率よくいろんな複雑な関数を作れることが知られています😊
ここまでは、ついてこれました。
😍🎉🎉🎉
笑顔が素敵
ありがとうございます🎉はじめて言われたかもです😍
とてもわかりやすくて助かっています。初歩的な質問なのですが、「1024次関数なら1025パラメータが必要だが、2次関数10回繰り返すと30パラメータで同じ複雑さを得る」とありますが、30パラメータの計算の組み合わせだけで任意の1024次関数を生成する（つまり、1024次関数と同じ表現力を得る）ことはできるのでしょうか？
ご視聴コメントありがとうございます！もちろん全部は無理で、表現力も同じではありません！ここの議論の主眼は、少ないパラメーターで十分複雑な関数を得られることであり、全部を作れるかはあまり重視しておりません。
いつも面白い動画を作成してくださりありがとうございます。パラメータの数が違う(動画の例だと1025個[1024次関数]と30個[2次関数×10])のに同等の出力(表現)が可能なのは"理論上"パラメータのとれる(探せる？)値が(非可算)無限にあるからでしょうか？また、その認識が正しかった場合『実際は(コンピューターが扱うので)パラメータのとれる(探せる？)値は有限しかないが、コンピューターの性能向上でとれる(探せる？)値の粒度が上がったことにより、人間の求める精度での出力(表現)が可能になった』という理解でよろしいでしょうか？お忙しいところ恐縮ですが、お時間がありましたらコメントいただければ幸いです(頓珍漢な質問でしたらすみません)。
ご視聴コメントありがとうございます！🥳🎉🎉🎉ここはふわっと気持ちを話したのみなので、ふわっと受け取っていただけると嬉しいです。1024次関数くらいの複雑さを持つ関数を表現したい場合、ほんとに全係数をパラメーターとしなくとも、2次関数10個の積み重ねでも表現できるよ！という主張です。当然、1024次関数の全パラメタをいじるよりは少ない関数しか表せませんが、それでも複雑な関数をパラメーター効率よく得られるよ！というのが、関数を深く積み重ねる恩恵です。いかがでしょうか？なお質問が残る場合はぜひお聞きください！
@@AIcia_Solid かしこまりました！また疑問が湧きましたら質問させていただくかもしれません。お忙しい中コメントありがとうございます。AIciaさんの包容力にはいつも感銘を受けております。
@kawadaat いつでもぜひ！お褒めにあずかり嬉しいです😊真剣に見ていただいて、何かに活用していただくことが私も嬉しいので、ぜひご活用ください！
動画色々拝見させていただきましたが、非常にわかりやすく感銘を受けました。できれば統計と機械学習の関係性を説明するような動画が見てみたいです。（自分自身、統計と機械学習がうまく結びついていないようで・・・）的外れなことを言っていたら申し訳ないです。
ご視聴コメントありがとうございます😋難しめのやつは過去あげてみました！th-cam.com/video/P3QJdlGdscU/w-d-xo.htmlですが、もうちょっと入門的なものはまだないですね。いま作りたいものリストが片付いたらまた作ってみようと思います！🎉
返信ありがとうございます。早速拝見させて頂きます。新作の動画も期待してます！
物理出身ですが、ディープラーニングに興味が湧いて拝見しています！ほどほどに数式があって本当に分かりやすく、助かります！1つ質問です。関数が深い＝良いのニュアンスは分かりますが、例のように2次関数を元にすると2^n次の飛び飛びの次数しか得られないですよね。数学でいうと完全系ではない関数系で展開していることになると思うのですが、これでも実用上十分なのか、それともなにかしら証明があるのでしょうか？または、1次関数を非線形関数(動画中ではReLU, sigmoid1)に入れる場合は完全系に近づいていく…みたいな話が裏にあるのでしょうか？
ご視聴コメントありがとうございます😍🎉🎉🎉この話題は、「万能近似定理」「普遍性定理」と呼ばれているので、このワードを調べてみるとよいかと思います！！！
@@AIcia_Solid ありがとうございます！万能近似定理で調べたところ、まさにこのことでした。これからも動画、楽しみにしてます！
分かりやすい解説ありがとうございます！右下のまとめ部分、3万変数の2次関数を10個組み合わせる場合、ひとつの関数あたり、パラメータは3万^2/2=4.5×10^8。それが10個あるとパラメータは、4.5×10^9=45億かと思ったのですがいかがでしょうか？？間違ってたらすみません！
ご視聴コメントありがとうございます！🎉たしかに！！！よく考えると、ここは表現がいろいろ不適切でした、、、。とりあえず、重ねたほうがパラメーター効率が良いと考えていただけると助かります🙇♀️後ほど、概要欄に訂正のリンクを乗せます！
概要欄に追記しました！細かい話に興味があれば、リンク先から確認いただけますと助かります🙇♀️🙇♀️🙇♀️🙇♀️🙇♀️
@@AIcia_Solid細かい点で失礼いたしました、ご丁寧に ありがとうございます！引き続き応援しています！
いえ！ご指摘いただきありがとうございます！これでまたチャンネルのクオリティが高まりました！🥰🎉ぜひ今後もなにか見つけた際はお教えください！🙇♀️
n変数の二次関数のパラメーターの数はどうやって導出するのでしょうか？
n変数のd次多項式全体は、 (n+d-1)C(d-1) で求められます。調べるとたくさんでてきますので、探してみてください～！(^^)
@@AIcia_Solid ご教示いただきありがとうございます！いつも大変勉強になっております😀
面白く学べました。ありがとうございます。質問させて下さい。冒頭ご説明のf(x)=2x^2-1の様な典型的な二次関数fのn乗xをディープラーニング用の非線形関数として適用することは可能でしょうか。またそれら二次関数層とReluやsigmoid関数層の組み合わせも可能でしょうか。それは「良い関数を見つけること」になるのでしょうか。
もちろん可能です！ただ、実装は自分で行うことになるとか、性能が上がるかは未知数とか、そういう話はあるかもしれませんね😋
なんかReLU聞いたことあるなって思いながら何に使ってるかわかんないで値に入れてたけどこういう使い方がされてるのか
そーなんですよ(^o^)すごく大事な部品なのです😎
@@AIcia_Solid かわいいモデルと分かりやすい説明、いつもたすかります！
おほめに預かり光栄です！🎉ぜひほかのどうがもたのしんでみてくださーい！
@@AIcia_Solid (*ﾟ∀ﾟ)/～～ ﾊ～ｲ
初心者です。n変数2次関数って何ですか？2次関数はa,b,cの3変数と思います。
ご視聴コメントありがとうございます！n 変数2次関数は、入力の変数が n 個ある2次関数です。たとえば、3変数2時間数なら、f(x, y, z) = ax^2 + by^2 + cz^2 + dxy + eyz + fzx + gx + hy + iz + jです。この場合はパラメーターは a から j の10個あります。疑問の解消にはなりましたでしょうか？もしまだ不明瞭な点があれば続けてぜひご質問ください！
@@AIcia_Solid そういうことなんですね！ありがとうございます！ただx*yとかノード同士で掛け算しちゃっててパラメタの寄与度に影響ありそう。
疑問が解消されたようで良かったです！この例はあくまで深さのメリットをお伝えするだけの例ですので、どんどん先に進みつつ、関連を探してみるのが良いかと思います。是非続きも楽しんでいただけたら嬉しいです！🎉
n変数の二次関数のパラメーターの数は、n^2/2ではなく、n^2/3ではないのですか？
なるほど🤔なぜそう考えたのでしようか？
アイシアさんの周りのデータサイエンティストのMacユーザーとWindowsユーザーの割合を教えてください！
大体半々くらいだと思います😋本当に重い計算になったら、サーバーとかクラウドに投げることになるので、手元の端末は好きなやつでいいと思います😋
なるほど。勉強になります！）WindowsユーザーなのでMacユーザーばかりだったらどうしようと思ってました）
だから多項式近似で言えば高次多項式が能率良く作れるのだけど、出来る多項式は限定されますよね。なぜその限定された多項式でこうもうまく行くのかが知りたいです。多変数高次多項式の性質をその係数から調べるのは数学者の出番でしょう？
多項式の話は例えばなしで、現実の deep learning ではやや異なります。ちなみに、そのあたりの理論解析はこの本に詳しいらしいです(^o^)（私はまだパラっとしか見ていませんが）amzn.to/3BuyQbC
@@AIcia_Solid 有益な情報ありがとうございます！ちなみにコルモゴロフの定理は面白ですね。多変関数数が一変数関数で実現できてしまう。（NN業界では下火なっちゃたけど）研究、仕事（重なるよね当然）、「金儲け」頑張って下さい！
あ、それからReLUではpiece-wise linearなるけどそのあたりの解析の研究ありますか？
すみません。質問の意味が分かりません。そのあたりの研究とは、何のことでしょうか？
@@AIcia_Solid さすが数学者ですね！例えばそうなると学習うまい方法かんがえられるぜとかないかな？あ、それから数学はgenericな場合相手してるけどこれハンデなりませんか？
遺伝的アルゴリズムとか人工生命ってよく聞くけど、あれってなんなんでしょう。機械学習系とはまた別ジャンルなのかな？
遺伝的アルゴリズムは、機械学習の一分野とされることが多いと思います。人工生命は、私はあまり詳しくないのでよくわかりません、すみません😋
目の神経細胞にヒントを得てるって知らなかったー
そうなんですよー！初期は結構視覚野からアイデアをもらっていたようです。今は今で、認知発達ロボティクスなんかでは、機械の学習と人間の学習を対比させて研究していたり、互いの分野でアイデアを交換し続けている活発な分野です！(^o^)/
原理を説明されると「なるほど。そうやると複雑なやつをシンプルに表せるよね」と納得するけど、無から最初に考えた人の天才っぷりがすごい
ですよねー。
ほんとにすごい😮😮😮
一般的な「深さによって抽象的な特徴を抽出している、表現力が高くなる」みたいな曖昧な説明でなく、ちゃんと理学的な観点から根拠付けるあたりさすがだと思った。二次関数とかでも理論上可能って背景は知らんかった。そう言われると活性化関数の説得力がマシマシになる。
でしょ😍
お褒めに預かり光栄です😎✌️
少ないパラメータで複雑な関数が作れるってとこの説明がものっそい分かり易かったです！
ご視聴コメントありがとうございます！😍
だから Deep はすごいんですよ！
ぜひ参考にしてください😋
deep lerningをここまで数学的に平易にした説明って入門書とかではなくて（入門書は数学嫌いな人でもわかる～みたいな言い方をする）ので、
この説明のあっさり具合にいい意味で感動しました。数値の集まりなんだから関数とみなすって感覚、工学のフーリエ変換みたいです。
おほめに預かり光栄です😍😍😍
フーリエ変換ににてるってのは面白いですね！
Deep Learning も工学ど真ん中の分野なので、いろんな所が似てるのかもしれません😎
なんだ！このわかりやすさは。素敵すぎて気を失います
ありがとうございます！
おほめに預かり光栄です😊
ぜひいろんな方に伝えていただけるとうれしいですー！
数学的な意味をあつかっている講座はほとんどないです。
AIciaさん ならではの解説になっており、ありがたいです。
でしょ😋
必要そうな人いたら是非勧めてください～！(^o^)
めちゃくちゃ面白い授業です、最高です！教えるのすごく上手でわかりやすく感動しました！
ご視聴コメントありがとうございます！🤩🎉🎉🎉
今後も良き動画を生成できるよう頑張ります🔥
ぜひご活用くださいませ！🤩
なぜこうするのか？なにをしたくてこうするのか？を説明している話はほとんど見ない。ありふれたものはどうやるか？の手技だけ。この人の動画は「なぜ」を非常にシンプルで具体的、中学生でも分かる理由に落とし込んで説明してくれている。神動画。
ご視聴コメントありがとうございます！！
お褒めに預かり光栄です😍
続く動画でも頑張っておりますので、お時間あるときにお楽しみいただけたら嬉しいです😋
今回も深い話をありがとうございます。数学的に地道に一歩一歩進むのが心地いい‼️😍
いつもご視聴ありがとうございます😍🎉
なかなかないタイプの説明ですよね😎
せっかくなので色を出してみました😋
わかりやすく、言葉の意味がスッキリしました！
ご視聴コメントありがとうございます🎉🎉🎉
それはとても良かったです！(^o^)
深さの良さはまた色んなところで語られていますので、深い沼に興味があればこちらあたりをぜひ😎
amzn.to/3GR1SHo
@@AIcia_Solid 書籍の紹介ありがとうございます。
G検定勉強しながら読んでみます！
ぜひぜひ！
おすすめです！(^o^)
一般的?な説明をしないあたり、すごくこだわりを感じます。本質ですね。
shin 157 さんありがとうございます😍
まさに！
Deep Learning の説明は、こういう角度のものがあっても良いとおもうのです😎
理解の助けになれば嬉しいです🎉
大変分かりやすい説明、ありがとうございます。
効率的に(パラメータ数をいたずらに増やさず)複雑なモデルを構築できるという利点、理解できました。しかし社会実装を考えた時、オーバースペックなことも多いのではと感じました(ここでのオーバースペックとは、out-of-sampleの予測精度が単純な計量経済学的モデルと比較して大差ない状態)。画像認識などのビックデータ解析では猛威を振るいそうですね。
まさにその通りです！
Deep には強いところと弱いところがあり、ほかの手段と合わせて適材適所で運用するのがベストだと思います😊
今まではDeepLearning？へーすごいものがあるんだねーくらいにしか思ってなかったけど数式で理解できてめちゃくちゃ面白いと思った
ご視聴コメントありがとうございます！😍
ぜひ Deep Learning の世界にも飛び込んでみてください！
スーパー専門外ド素人なんですけど、めちゃくちゃ腑に落ちました。この動画に出会えてよかった！（サクラではない）
この前の、社会学、民俗学とのコラボ対談も面白かったです。投稿頑張ってください～～
ご視聴コメントありがとうございます！！🥳
そう言っていただけると、動画を生成したかいがありました！🎉
この前のコラボ面白かったですよね！！！
またやるので良ければ是非見に来てください！🤩🎉
このシリーズ面白い！自分はAI方面には進みませんが、ためになると感じているので、全部見ます！
ご視聴コメントありがとうございます！🎉
ぜひぜひ、楽しんでみていただけると嬉しいです！🎉
これは分かりやすい。パラメータの削減による効率化の工夫が各社ツールの差異になるのかな。同じ設問にコンピュータ資源を無限時間使えば各社同じゴールに到達するのかな？
ご視聴コメントありがとうございます😍🎉
他にも大切な要素は大量にあるので一概には言えませんが、そのようになると思います。
無限の計算資源があれば、、、のことろは、めちゃくちゃ深い話になると思います。
同じゴールへの収束が保証されるような手法が発見されるとよいですね😋
過学習？
よくコンピューターの計算力向上とdeepブームが結び付けられますが
むしろこのような工夫で計算可能なレベルまでパラメータ数を削減できたのが大きいんですね
納得できました
もちろん計算力やブームもあります！
それに加えて、論文では、同じパラメタ数で精度を比較したりもするので、パラメタ効率も大事なのです！🔥
12:25のところですが、x1-3を入力してz1を出す関数と、x1-3を入力してz2(z1の一個下)を出す関数は厳密には違う関数なのですか...？ それとも、入力層から第一個目の中間層をつなぐ関数はひとつしかなく、それをf1xを呼んでいるということでしょうか。
ご視聴コメントありがとうございます！
素敵な質問ですね！
それは、異なる場合もあれば、同じ場合もあります！
この後でてくる CNN では、同じとみなせる場面もあります。
一方、 RNN や Transformer では異なる事が多いです。
場合によりますので、その観点を持ちながら、今後の動画も見て頂ければ、とても理解が深まるのではないかと思います!🥳
@ ありがとうございます！
最高です。
でしょ😎
図とか、脳神経とかで説明されるとわかるようでわからないまま終わるけど、数学的に話してもらえるだけで今までの話がストンと落ちてきました。
やっぱり数式無しで話されるより数式あったほうが理工系の人間には100億倍くらいわかりやすいですね。
ご視聴コメントありがとうございます😍😍
まさに、れみりさんのような方に向けて、「数式を分かりやすく」をコンセプトとして作ってます！
届いたようで嬉しいです🎉
自分もオライリーの本とかは数式少ないんでなんかよくわからないで終わりました...
普通に数式がっつり入ってる本の方がわかりやすかった
結局数学やってるんだから数式無いときついですよね
理工系じゃなくてもあの説明で納得してる人はいないんじゃないかな笑
質問です！最初の方で2次関数を10回繰り返すと30個のパラメータで済むという事には納得できたのですが、動画の最後の方では2次関数のパラメータは450億パラメータと説明されていたので、
その部分の理解が追いつきませんでした、、教えて頂けると非常に助かります！
N 変数 d 次多項式は、 (N+d-1)C(d-1)次元あると計算できます。
これを利用すれば、その部分の計算もできるかと思います😎✌️
「CNN はご近所のピクセルとの関係を保持するためのもの」くらいの理解だったんですが、パラメータ数を削る工夫でもあったんですね（言われてみれば確かに…）。次回の解説が楽しみです。
そうなんです。「パラメタ共有」によって、圧倒的にパラメタを減らす役割があるのです。
また、「関係を保持」程度より、畳み込みには、もっと圧倒的なメリットがあります
そこら辺も、 CNN で解説しますので、お楽しみに！
「非線形のわけわからん関数をはさんだらいけんじゃない？」
って言うところは、すごい飛躍を感じるなぁ。
相対性理論や量子力学のほうがまだそれまでの知識の延長線の感じがするぐらい。
どうやって思いついたんだろう。天啓なのか単に天才だったのか。
ご視聴コメントありがとうございます！
深くするには非線形でないと意味がないというのは、当時の研究者さんには常識だったとは思われますが、
深くする事によって精度が高まるということは、学習の収束レート含めて、極めて非自明なので、この領域に手をのばす人がいたことは、当時の研究の層の厚さを私も感じます😊
全てに意味があるの面白いですね
いつもご視聴コメントありがとうございます😊
この先もいろんなものが出てきますので、ぜひお楽しみを！
ニューラルネットワークの図のところで、どうして同じ変数x1,x2,x3からz1,z2,z3…と複数作り出すのですか？
深さを活かすためです。
すぐ1変数にしてしまう場合を考えましょう。
p = f(x) は、
p = h(z), z = g(x) （ z は1変数）
となる（gよりうしろを全部hでひとまとめにしました）わけですが、これで1000分類の画像分類を作るには、
まず z = g(x) で、猫画像を z = 0～1 あたりにあつめ、犬画像を 1～2 にあつめ、車画像を 2～3 にあつめ、、、とやれる必要があります。（じゃないと分類できない！）
ということは、関数 g ひとつでほぼ画像分類をこなすことが必要になります。
これでは、深さを活かすことになりません。
より分かりやすい、直接的な説明は、画像分類の CNN のところでやりますので、そこまでついてきていただけると嬉しいです！
ありがとうございます
解説めちゃくちゃ助かります…
これからも動画見させて頂きますね！
ぜひぜひ！
お楽しみに！！😍🎉
深層学習を独学で学んでるけどこの人の説明ないと学べないくらいわかりやすい
ご視聴コメントありがとうございます！🎉🎉🎉
そう言っていただけると嬉しいです😊
ぜひたくさんご活用ください！🤩
アイシア先生、16:00 の10^3700 パラメーターってどんな感じの計算で出したんですか？
斉次多項式 - Wikipedia ja.wikipedia.org/wiki/%E6%96%89%E6%AC%A1%E5%A4%9A%E9%A0%85%E5%BC%8F
こいつに数値放り込んで、 log とって桁数を計算すれば OK です！
log n! の計算には、
n! ≒ e^{n log n} （※）
を使います。
※ホントはもうちょっと精密なバージョンあり（スターリングの公式）
Aicia Solid Project なるほど！ありがとうございます！
@@AIcia_Solid アイシア先生、分かりやすい動画ありがとうございます。ちなみに、450億パラメータと300万パラメータはどのような計算でしょうか？
n変数2次関数 x m個
の場合、約 n^2 / 2 x m パラメタ
n変数1次関数 x m個
の場合、約 n x m パラメタ
というのを利用しました。
（中間層の次元を100として計算していただければ大体そんな数字になるかと思います！）
@@AIcia_Solid ご回答頂き、ありがとうございました〜
声とキャラのギャプが気持ち悪いけど、内容は本当に素晴らしい！腹落ちが劇的に進みました！
恐ろしいことに、ギャップはそのうち慣れてしまいます😎😎😎
楽しんでいただけたようで何より！
ぜひ他のもみてみてください😍
これ面白い話題や。参考文献やこういう話題について書かれた本が有れば教えてください
でしょ😎✌️
この内容は、さまざまな文献見て総合してまとめたもので、何か別の参考文献に同じ内容が書いてある、、、というのは見たことがありません。
もしこういう内容がある本があれば教えていただけるとうれしいです！
14:00 あたりですが、線型→線形ではないでしょうか
「せんけい」は、実は、線型でも線形でも OK です！
昔は線型が主流で、最近は線形がよく使われるようになりました。
動画的には、最近よく使われる線形にしようと思ってたのですが、普段は線型を使ってるので、つい癖で、動画でも出てしまいました😋
特に誤りでなければ、問題もなしです。
ですが。ご指摘ありがとうございます😍🎉
他にもなにか気づいた点があれば遠慮なくお申し付けください！
@@AIcia_Solid
そのような経緯があったとは、、勉強不足でした
ネットワークエラーで何度も送ってしまっていたみたいで申し訳ございません
また、毎回、興味深い動画をありがとうございます！勉強させていただいております
いえ、線型はオタクしか使わないので、、、ほんとに指摘ありがとうございます🙇♀️
ぜひ今後も動画を楽しんでいただけると嬉しいです！🎉
ReLU関数を合成していって複雑性を創り出せるのでしょうか？
ご視聴コメントありがとうございます！
はい、そのとおりです！
様々な変換と組み合わせて ReLU を用いることで、かなり効率よくいろんな複雑な関数を作れることが知られています😊
ここまでは、ついてこれました。
😍🎉🎉🎉
笑顔が素敵
ありがとうございます🎉
はじめて言われたかもです😍
とてもわかりやすくて助かっています。
初歩的な質問なのですが、「1024次関数なら1025パラメータが必要だが、2次関数10回繰り返すと30パラメータで同じ複雑さを得る」とありますが、30パラメータの計算の組み合わせだけで任意の1024次関数を生成する（つまり、1024次関数と同じ表現力を得る）ことはできるのでしょうか？
ご視聴コメントありがとうございます！
もちろん全部は無理で、表現力も同じではありません！
ここの議論の主眼は、少ないパラメーターで十分複雑な関数を得られることであり、
全部を作れるかはあまり重視しておりません。
いつも面白い動画を作成してくださりありがとうございます。
パラメータの数が違う(動画の例だと1025個[1024次関数]と30個[2次関数×10])のに同等の出力(表現)が可能なのは"理論上"パラメータのとれる(探せる？)値が(非可算)無限にあるからでしょうか？
また、その認識が正しかった場合『実際は(コンピューターが扱うので)パラメータのとれる(探せる？)値は有限しかないが、コンピューターの性能向上でとれる(探せる？)値の粒度が上がったことにより、人間の求める精度での出力(表現)が可能になった』という理解でよろしいでしょうか？
お忙しいところ恐縮ですが、お時間がありましたらコメントいただければ幸いです(頓珍漢な質問でしたらすみません)。
ご視聴コメントありがとうございます！🥳🎉🎉🎉
ここはふわっと気持ちを話したのみなので、ふわっと受け取っていただけると嬉しいです。
1024次関数くらいの複雑さを持つ関数を表現したい場合、
ほんとに全係数をパラメーターとしなくとも、
2次関数10個の積み重ねでも表現できるよ！
という主張です。
当然、1024次関数の全パラメタをいじるよりは少ない関数しか表せませんが、
それでも複雑な関数をパラメーター効率よく得られるよ！
というのが、関数を深く積み重ねる恩恵です。
いかがでしょうか？
なお質問が残る場合はぜひお聞きください！
@@AIcia_Solid
かしこまりました！また疑問が湧きましたら質問させていただくかもしれません。
お忙しい中コメントありがとうございます。
AIciaさんの包容力にはいつも感銘を受けております。
@kawadaat いつでもぜひ！
お褒めにあずかり嬉しいです😊
真剣に見ていただいて、何かに活用していただくことが私も嬉しいので、ぜひご活用ください！
動画色々拝見させていただきましたが、非常にわかりやすく感銘を受けました。
できれば統計と機械学習の関係性を説明するような動画が見てみたいです。
（自分自身、統計と機械学習がうまく結びついていないようで・・・）
的外れなことを言っていたら申し訳ないです。
ご視聴コメントありがとうございます😋
難しめのやつは過去あげてみました！
th-cam.com/video/P3QJdlGdscU/w-d-xo.html
ですが、もうちょっと入門的なものはまだないですね。
いま作りたいものリストが片付いたらまた作ってみようと思います！🎉
返信ありがとうございます。
早速拝見させて頂きます。
新作の動画も期待してます！
物理出身ですが、ディープラーニングに興味が湧いて拝見しています！
ほどほどに数式があって本当に分かりやすく、助かります！
1つ質問です。関数が深い＝良いのニュアンスは分かりますが、
例のように2次関数を元にすると2^n次の飛び飛びの次数しか得られないですよね。
数学でいうと完全系ではない関数系で展開していることになると思うのですが、
これでも実用上十分なのか、それともなにかしら証明があるのでしょうか？
または、1次関数を非線形関数(動画中ではReLU, sigmoid1)に入れる場合は
完全系に近づいていく…みたいな話が裏にあるのでしょうか？
ご視聴コメントありがとうございます😍🎉🎉🎉
この話題は、「万能近似定理」「普遍性定理」と呼ばれているので、このワードを調べてみるとよいかと思います！！！
@@AIcia_Solid ありがとうございます！万能近似定理で調べたところ、まさにこのことでした。
これからも動画、楽しみにしてます！
分かりやすい解説ありがとうございます！
右下のまとめ部分、3万変数の2次関数を10個組み合わせる場合、ひとつの関数あたり、パラメータは3万^2/2=4.5×10^8。それが10個あるとパラメータは、4.5×10^9=45億かと思ったのですがいかがでしょうか？？
間違ってたらすみません！
ご視聴コメントありがとうございます！🎉
たしかに！！！
よく考えると、ここは表現がいろいろ不適切でした、、、。
とりあえず、重ねたほうがパラメーター効率が良いと考えていただけると助かります🙇♀️
後ほど、概要欄に訂正のリンクを乗せます！
概要欄に追記しました！
細かい話に興味があれば、リンク先から確認いただけますと助かります🙇♀️🙇♀️🙇♀️🙇♀️🙇♀️
@@AIcia_Solid細かい点で失礼いたしました、ご丁寧に ありがとうございます！引き続き応援しています！
いえ！ご指摘いただきありがとうございます！
これでまたチャンネルのクオリティが高まりました！🥰🎉
ぜひ今後もなにか見つけた際はお教えください！🙇♀️
n変数の二次関数のパラメーターの数はどうやって導出するのでしょうか？
n変数のd次多項式全体は、 (n+d-1)C(d-1) で求められます。
調べるとたくさんでてきますので、探してみてください～！(^^)
@@AIcia_Solid ご教示いただきありがとうございます！
いつも大変勉強になっております😀
面白く学べました。ありがとうございます。
質問させて下さい。冒頭ご説明のf(x)=2x^2-1の様な典型的な二次関数fのn乗xをディープラーニング用の非線形関数として適用することは可能でしょうか。またそれら二次関数層とReluやsigmoid関数層の組み合わせも可能でしょうか。それは「良い関数を見つけること」になるのでしょうか。
もちろん可能です！
ただ、実装は自分で行うことになるとか、性能が上がるかは未知数とか、そういう話はあるかもしれませんね😋
なんかReLU聞いたことあるなって思いながら何に使ってるかわかんないで値に入れてたけどこういう使い方がされてるのか
そーなんですよ(^o^)
すごく大事な部品なのです😎
@@AIcia_Solid かわいいモデルと分かりやすい説明、いつもたすかります！
おほめに預かり光栄です！🎉
ぜひほかのどうがもたのしんでみてくださーい！
@@AIcia_Solid (*ﾟ∀ﾟ)/～～ ﾊ～ｲ
初心者です。n変数2次関数って何ですか？2次関数はa,b,cの3変数と思います。
ご視聴コメントありがとうございます！
n 変数2次関数は、入力の変数が n 個ある2次関数です。
たとえば、3変数2時間数なら、
f(x, y, z) = ax^2 + by^2 + cz^2 + dxy + eyz + fzx + gx + hy + iz + j
です。
この場合はパラメーターは a から j の10個あります。
疑問の解消にはなりましたでしょうか？
もしまだ不明瞭な点があれば続けてぜひご質問ください！
@@AIcia_Solid
そういうことなんですね！ありがとうございます！ただx*yとかノード同士で掛け算しちゃっててパラメタの寄与度に影響ありそう。
疑問が解消されたようで良かったです！
この例はあくまで深さのメリットをお伝えするだけの例ですので、
どんどん先に進みつつ、関連を探してみるのが良いかと思います。
是非続きも楽しんでいただけたら嬉しいです！🎉
n変数の二次関数のパラメーターの数は、n^2/2ではなく、n^2/3ではないのですか？
なるほど🤔
なぜそう考えたのでしようか？
アイシアさんの周りのデータサイエンティストのMacユーザーとWindowsユーザーの割合を教えてください！
大体半々くらいだと思います😋
本当に重い計算になったら、サーバーとかクラウドに投げることになるので、手元の端末は好きなやつでいいと思います😋
なるほど。勉強になります！）WindowsユーザーなのでMacユーザーばかりだったらどうしようと思ってました）
だから多項式近似で言えば高次多項式が能率良く作れるのだけど、出来る多項式は限定されますよね。
なぜその限定された多項式でこうもうまく行くのかが知りたいです。
多変数高次多項式の性質をその係数から調べるのは数学者の出番でしょう？
多項式の話は例えばなしで、現実の deep learning ではやや異なります。
ちなみに、そのあたりの理論解析はこの本に詳しいらしいです(^o^)（私はまだパラっとしか見ていませんが）
amzn.to/3BuyQbC
@@AIcia_Solid 有益な情報ありがとうございます！ちなみにコルモゴロフの定理は面白ですね。多変関数数が一変数関数で実現できてしまう。
（NN業界では下火なっちゃたけど）
研究、仕事（重なるよね当然）、「金儲け」頑張って下さい！
あ、
それからReLUではpiece-wise linearなるけどそのあたりの解析の研究ありますか？
すみません。質問の意味が分かりません。
そのあたりの研究とは、何のことでしょうか？
@@AIcia_Solid さすが数学者ですね！例えばそうなると学習うまい方法かんがえられるぜとかないかな？
あ、
それから数学はgenericな場合相手してるけどこれハンデなりませんか？
遺伝的アルゴリズムとか人工生命ってよく聞くけど、あれってなんなんでしょう。機械学習系とはまた別ジャンルなのかな？
遺伝的アルゴリズムは、機械学習の一分野とされることが多いと思います。
人工生命は、私はあまり詳しくないのでよくわかりません、すみません😋
目の神経細胞にヒントを得てるって知らなかったー
そうなんですよー！
初期は結構視覚野からアイデアをもらっていたようです。
今は今で、認知発達ロボティクスなんかでは、機械の学習と人間の学習を対比させて研究していたり、互いの分野でアイデアを交換し続けている活発な分野です！(^o^)/