ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
深層学習シリーズ、いつも分かりやすいです！
ご視聴コメントありがとうございます！😍🎉そういっていただけると嬉しいです！(^o^)
いつも勉強させていただいておりますありがとうございます
ご視聴コメントありがとうございます🎉🎉🎉これからも価値ある動画を生成できるよう精進しますので、応援いただけると嬉しいです！🔥よろしくお願いします(^o^)/
1年半以上前にGPTに注目してるのすごいですねdiffusionモデルやloraの仕組みなども解説してほしいです
ご視聴コメントありがとうございます！実は、当時から GPT-3 周辺はすごく盛り上がっていたのですよ！diffusion や LoRA もおいおい扱いたいと思います！🔥（年単位先になるかもしれませんが、、、）少々お待ちくださいませ！
これからも沢山論文紹介動画挙げて頂きたいです！！！🙇♂️
まかせて！😎✌️
改めて拝聴させて頂きました。いつもながらわかりやすい解説をありがたく思っています。chatGPTに「オイラー公式 exp(ix)=cos(x) + i sin(x)を用いて加法定理を証明して」とお願いすると、sin(x+y) →①expへの変換→②expでの整理→③sin cosへの逆変換という式展開の正解を得ました。①は順方向ですが③は逆方向。そのため②は③を予感しながらの整理となります。それでbidirectional(BERT)を思い出し、再拝聴しましたが、GPTはbidirectionalではなさそうです。とても不思議です。原論文も読まずに恐縮なのですが、、
ご視聴コメントありがとうございます！素敵な仮説検証ですね！どういう理由がわかりませんが、GPT は数学のロジックを綿密に積み上げるのは苦手なようです🤔ここが解明され、改善される未来が来るといいですね！🤩
未来をmaskするようにしているので「Transformerのdecoderの改変」という説明がありましたが、Transformerのdecoderでも未来をmaskしている(英語から日本語に翻訳する場合に日本語を生成する時は未来をmaskしている)ので、改変ではなく同じではないでしょうか。
ご視聴コメントありがとうございます！🎉オリジナルの Transformer の Decoder では Multi-Head Attention が2度使われます（2度目の方が Encoder の出力を利用する方）。GPT では1度のみなので、そういう意味で改編が入っていると表現しました！(^o^)
今回の動画も乙。自然言語処理系はあんま学んでいないから、わかりやすい解説は嬉しい。
でしょ😎いろんな人に勧めてくれるとうれしーです！(^o^)
いやあ濃い中身なのにわかりやすく、とてもありがたいです！Fine tuningのかわりにTransfer learning という表現をしても問題ないのでしょうか？
厳密には違うみたいです。fine-tuning はパラメーターを更新しますが、Transfer learning は、借りてきたモデルのパラメーターを更新しません。ま、ノリとしては同じであることは間違いないです！人の前で話したりするときだけ気を付ければよいと思います😋
@@AIcia_Solid ありがとうございます。ノリがおなじですね！
大変勉強になります。一点お伺いしたいのですが、「TransformerのDecoderの改変」というのは、Encoderがない、という意味も含まれますでしょうか？Multi-Head Attentionも一回になっていますし、これでなぜ改善しているのか不思議に思ったのですが、大量学習の差が本質なのでしょうか？
ご視聴コメントありがとうございます！GPT は Encoder がなく、1段階になったものです。なぜ改善したかといえば、やったらなったとしか言いようがないですが、学習やデータ含め、全方位の努力で良くなったのかななんて思います🤔BERT の uni-direction 版と思えば、性能改善もそこまで不思議ではないかと思います！
@@AIcia_Solid ご解説ありがとうございます。他の動画も楽しく拝見させていただきます！
AIに勝てなくなって、しばらくの間人間には虚無感が広がり、その後、人間自体をアップデートしていく電脳化のような世界になるんでしょうね
ならないと思いますよ！産業革命で機械が出てきたときも、そのように考えた人はいたと思いますが、結果はそうなりませんでした。私達はおそらく、また歴史を繰り返し、AI を使い倒して、また豊かな世界を作るのだと思います😊
どちらの意見も興味深いですねやはり人工知能がもたらす恩恵と影響は昔から議論されてきましたが本格的に現実に起こり得るとなると興奮しますね
際限なく精度が向上するのは、residual connectionとAttentionによるものでしょうか？「データ増・モデル大で際限なく精度が向上しているように見える。」といった説明で、何故そうなるのか気になりました。恒等写像＋どの情報に注目すればいいかを制御しているからなのかな？と漠然と考えていましたが原論文にこの辺りの記載あるでしょうか？
際限なく精度が向上する理由は、、、いまの私にはわかりません、すみません。このあと scaling law という動画がありますが、そこでも、リソースを増やすと際限なく精度が上がっていく強い傾向が紹介されています。th-cam.com/video/n1QYofU3_hY/w-d-xo.html（正確には、そういう紹介がされている論文を紹介した動画です）ここはまさに、今、色々な研究がある最新領域です。いろいろ調べてみると、最新の見解など見えてくるのではないかと思います、、、！
@@AIcia_Solid 回答いただきありがとうございます！scalling lawの動画見てみますAIツールの最新情報ばかりが目に入ってきますが、研究の方の発展にも注目したいと思います
ぜひぜひ！結果自体めちゃ面白いので、動画のあと論文もぜひ見てみてください！図を見るだけで楽しいですよ！(^o^)
いつも、わかりやすい動画ありがとうございますファインチューニングして○○作っちゃった！てきな動画も見てみたいです
ご視聴コメントありがとうございます！😍たしかに、最近作った系の動画があんまりないですね🤔検討します、ありがとうございます！！！
大変勉強になりました✌('ω'✌ )三( ✌'ω')✌難しい問題(特殊なケース)ばかりを学習させると、基礎を無視した過学習(基礎を無視したチート的な別解)に頼るようになるけど、PT後だと基礎に基づいた解になり過学習を抑制出来るようなイメージでしょうか。
うーーーん、過学習の抑制に効いているかどうかは分かりません🙇♀️話したとおり、基礎的な言語の理解をしたあと、個別タスクに特化させるべく学習させているのだと思います。もしかしたら効いているかもですが、それは私ではなぞです😇
ご回答ありがとうございます。なるほど～「基礎的な学習」に汎用性があるところがいいですね♪
今話題のchatGPTの元か
ChatGPT のもとは InstructGPT というもので（動画なし）、そのもとが GPT-3 というものです！GPT-3 てあれば、もし興味あればこちらをどうぞ！th-cam.com/video/CBZWzQVcXE4/w-d-xo.html
全然本質と関係ないんですけど、「この動画生成時点では」でちょっと笑いました。
なんと！そんな、この変化に対応できそうなこと言っていたのですね、、、（笑）ちなみに、どの辺りでそう言っていましたが、、？教えていただけたら嬉しいです！🙏
Detroitかターミネーターのような感じになるのかな。アトムやドラえもんにはならなさそう。
ご視聴コメントありがとうございます！そして、鋭い指摘ですね😎実際、そのあたり、何を想定し、何を作っていくかには、強く文化の影響があると思います。AI といえばターミネーターを想像する人達がいれば、AI といえばドラえもんを想像する人たちもいます。ここは、実は、日本の文化に触れている人たちは、本質的に活躍できる領域かもしれません。（結構真剣に言っています🔥）
@@AIcia_Solid確かに文化の影響は大きいと思います。日本では手塚治虫先生を筆頭にこういった話に事欠きませんし、馴染みやすいと思います。真偽の程は分かりませんが、日本以外の国では、キリスト教の考えから人間を模した機械をあまりよく思っていないそうです。ですので、日本国内ではロボットとAIは、ツールもしくは家族や親友といった感じになり、海外では奴隷文化の影響も相まって、良ければツール、悪ければ人間の奴隷という立ち位置になると予想しています。個人的にはメダロットか武装神姫のような関係性が、人間とAIにとっての理想だと考えています。余談ですが、日本国内だと初音ミクや東方のゆっくりにChatGPTを使用して、キャラクターの人格を再現するみたいな事をする人が出てくるかも知れませんね笑
なるほど、面白い考察ですね！ここでもキリスト教が影響を持ちますか、、、感服する考察です！お教えいただきありがとうございます！ちなみに、AI での人格再現はすでにあるので、見てみるとよいかと思います！note.com/fladdict/n/neff2e9d52224
つまり人間も義務教育がかなり大切だって事を言ってるような気がする。ホリエモンとかが言ってる事と逆だけど・・・ 笑
その議論は深く深く果てしないですが、深層学習においては大事そうというのが今のトレンドのようです😋
transformerの次のブレイクスルーとして注目されている技術ってどんなものがあるのですか？？
AI の研究されているなら AI は詳しいと思うので、色々調べていただければと思います！どちらかと言うと、AI の発展によって◯◯インフォマティクス（特に材料）が発展していたり（材料が発展したら当然計算機も発展する！）、ロボット x AI でまたロボットも AI も両方発展していったりするのではないかと思います！
@@AIcia_Solid ありがとうございます！！書籍と動画でなんとか勉強しているゴリゴリの初学者で実は論文も読んだことがなくてですね、、、いつも本当に感謝しております！
すみません、何か勘違いしていました🙇♀️🙇♀️🙇♀️私は書いたように、個人的には、AI の外へ波及するブレイクスルーを楽しみにしています😊AI の内側は研究が早すぎて多すぎて、何が良いかは分からないので、遠くからみて良さげなのを拾うようにしています😇
深層学習シリーズ、いつも分かりやすいです！
ご視聴コメントありがとうございます！😍🎉
そういっていただけると嬉しいです！(^o^)
いつも勉強させていただいております
ありがとうございます
ご視聴コメントありがとうございます🎉🎉🎉
これからも価値ある動画を生成できるよう精進しますので、応援いただけると嬉しいです！🔥
よろしくお願いします(^o^)/
1年半以上前にGPTに注目してるのすごいですね
diffusionモデルやloraの仕組みなども解説してほしいです
ご視聴コメントありがとうございます！
実は、当時から GPT-3 周辺はすごく盛り上がっていたのですよ！
diffusion や LoRA もおいおい扱いたいと思います！🔥
（年単位先になるかもしれませんが、、、）
少々お待ちくださいませ！
これからも沢山論文紹介動画挙げて頂きたいです！！！🙇♂️
まかせて！😎✌️
改めて拝聴させて頂きました。いつもながらわかりやすい解説をありがたく思っています。chatGPTに「オイラー公式 exp(ix)=cos(x) + i sin(x)を用いて加法定理を証明して」とお願いすると、sin(x+y) →①expへの変換→②expでの整理→③sin cosへの逆変換という式展開の正解を得ました。①は順方向ですが③は逆方向。そのため②は③を予感しながらの整理となります。それでbidirectional(BERT)を思い出し、再拝聴しましたが、GPTはbidirectionalではなさそうです。とても不思議です。原論文も読まずに恐縮なのですが、、
ご視聴コメントありがとうございます！
素敵な仮説検証ですね！
どういう理由がわかりませんが、GPT は数学のロジックを綿密に積み上げるのは苦手なようです🤔
ここが解明され、改善される未来が来るといいですね！🤩
未来をmaskするようにしているので「Transformerのdecoderの改変」という説明がありましたが、Transformerのdecoderでも未来をmaskしている(英語から日本語に翻訳する場合に日本語を生成する時は未来をmaskしている)ので、改変ではなく同じではないでしょうか。
ご視聴コメントありがとうございます！🎉
オリジナルの Transformer の Decoder では Multi-Head Attention が2度使われます（2度目の方が Encoder の出力を利用する方）。
GPT では1度のみなので、そういう意味で改編が入っていると表現しました！(^o^)
今回の動画も乙。自然言語処理系はあんま学んでいないから、わかりやすい解説は嬉しい。
でしょ😎
いろんな人に勧めてくれるとうれしーです！(^o^)
いやあ濃い中身なのにわかりやすく、とてもありがたいです！
Fine tuningのかわりにTransfer learning という表現をしても問題ないのでしょうか？
厳密には違うみたいです。
fine-tuning はパラメーターを更新しますが、
Transfer learning は、借りてきたモデルのパラメーターを更新しません。
ま、ノリとしては同じであることは間違いないです！
人の前で話したりするときだけ気を付ければよいと思います😋
@@AIcia_Solid ありがとうございます。ノリがおなじですね！
大変勉強になります。一点お伺いしたいのですが、「TransformerのDecoderの改変」というのは、Encoderがない、という意味も含まれますでしょうか？Multi-Head Attentionも一回になっていますし、これでなぜ改善しているのか不思議に思ったのですが、大量学習の差が本質なのでしょうか？
ご視聴コメントありがとうございます！
GPT は Encoder がなく、1段階になったものです。
なぜ改善したかといえば、やったらなったとしか言いようがないですが、学習やデータ含め、全方位の努力で良くなったのかななんて思います🤔
BERT の uni-direction 版と思えば、性能改善もそこまで不思議ではないかと思います！
@@AIcia_Solid ご解説ありがとうございます。他の動画も楽しく拝見させていただきます！
AIに勝てなくなって、しばらくの間人間には虚無感が広がり、その後、人間自体をアップデートしていく電脳化のような世界になるんでしょうね
ならないと思いますよ！
産業革命で機械が出てきたときも、そのように考えた人はいたと思いますが、結果はそうなりませんでした。
私達はおそらく、また歴史を繰り返し、AI を使い倒して、また豊かな世界を作るのだと思います😊
どちらの意見も興味深いですね
やはり人工知能がもたらす恩恵と影響は昔から議論されてきましたが本格的に現実に起こり得るとなると興奮しますね
際限なく精度が向上するのは、residual connectionとAttentionによるものでしょうか？
「データ増・モデル大で際限なく精度が向上しているように見える。」といった説明で、何故そうなるのか気になりました。
恒等写像＋どの情報に注目すればいいかを制御しているからなのかな？と漠然と考えていましたが
原論文にこの辺りの記載あるでしょうか？
際限なく精度が向上する理由は、、、いまの私にはわかりません、すみません。
このあと scaling law という動画がありますが、そこでも、リソースを増やすと際限なく精度が上がっていく強い傾向が紹介されています。
th-cam.com/video/n1QYofU3_hY/w-d-xo.html
（正確には、そういう紹介がされている論文を紹介した動画です）
ここはまさに、今、色々な研究がある最新領域です。
いろいろ調べてみると、最新の見解など見えてくるのではないかと思います、、、！
@@AIcia_Solid
回答いただきありがとうございます！
scalling lawの動画見てみます
AIツールの最新情報ばかりが目に入ってきますが、研究の方の発展にも注目したいと思います
ぜひぜひ！
結果自体めちゃ面白いので、動画のあと論文もぜひ見てみてください！
図を見るだけで楽しいですよ！(^o^)
いつも、わかりやすい動画
ありがとうございます
ファインチューニングして○○作っちゃった！てきな動画も見てみたいです
ご視聴コメントありがとうございます！😍
たしかに、最近作った系の動画があんまりないですね🤔
検討します、ありがとうございます！！！
大変勉強になりました✌('ω'✌ )三( ✌'ω')✌難しい問題(特殊なケース)ばかりを学習させると、基礎を無視した過学習(基礎を無視したチート的な別解)に頼るようになるけど、PT後だと基礎に基づいた解になり過学習を抑制出来るようなイメージでしょうか。
うーーーん、過学習の抑制に効いているかどうかは分かりません🙇♀️
話したとおり、基礎的な言語の理解をしたあと、個別タスクに特化させるべく学習させているのだと思います。
もしかしたら効いているかもですが、それは私ではなぞです😇
ご回答ありがとうございます。なるほど～「基礎的な学習」に汎用性があるところがいいですね♪
今話題のchatGPTの元か
ChatGPT のもとは InstructGPT というもので（動画なし）、そのもとが GPT-3 というものです！
GPT-3 てあれば、もし興味あればこちらをどうぞ！
th-cam.com/video/CBZWzQVcXE4/w-d-xo.html
全然本質と関係ないんですけど、「この動画生成時点では」でちょっと笑いました。
なんと！
そんな、この変化に対応できそうなこと言っていたのですね、、、（笑）
ちなみに、どの辺りでそう言っていましたが、、？
教えていただけたら嬉しいです！🙏
Detroitかターミネーターのような感じになるのかな。
アトムやドラえもんにはならなさそう。
ご視聴コメントありがとうございます！
そして、鋭い指摘ですね😎
実際、そのあたり、何を想定し、何を作っていくかには、強く文化の影響があると思います。
AI といえばターミネーターを想像する人達がいれば、AI といえばドラえもんを想像する人たちもいます。
ここは、実は、日本の文化に触れている人たちは、本質的に活躍できる領域かもしれません。（結構真剣に言っています🔥）
@@AIcia_Solid
確かに文化の影響は大きいと思います。日本では手塚治虫先生を筆頭にこういった話に事欠きませんし、馴染みやすいと思います。
真偽の程は分かりませんが、日本以外の国では、キリスト教の考えから人間を模した機械をあまりよく思っていないそうです。
ですので、日本国内ではロボットとAIは、ツールもしくは家族や親友といった感じになり、海外では奴隷文化の影響も相まって、良ければツール、悪ければ人間の奴隷という立ち位置になると予想しています。
個人的にはメダロットか武装神姫のような関係性が、人間とAIにとっての理想だと考えています。
余談ですが、日本国内だと初音ミクや東方のゆっくりにChatGPTを使用して、キャラクターの人格を再現するみたいな事をする人が出てくるかも知れませんね笑
なるほど、面白い考察ですね！
ここでもキリスト教が影響を持ちますか、、、感服する考察です！
お教えいただきありがとうございます！
ちなみに、AI での人格再現はすでにあるので、見てみるとよいかと思います！
note.com/fladdict/n/neff2e9d52224
つまり人間も義務教育がかなり大切だって事を言ってるような気がする。ホリエモンとかが言ってる事と逆だけど・・・ 笑
その議論は深く深く果てしないですが、深層学習においては大事そうというのが今のトレンドのようです😋
transformerの次のブレイクスルーとして注目されている技術ってどんなものがあるのですか？？
AI の研究されているなら AI は詳しいと思うので、色々調べていただければと思います！
どちらかと言うと、AI の発展によって◯◯インフォマティクス（特に材料）が発展していたり（材料が発展したら当然計算機も発展する！）、ロボット x AI でまたロボットも AI も両方発展していったりするのではないかと思います！
@@AIcia_Solid ありがとうございます！！
書籍と動画でなんとか勉強しているゴリゴリの初学者で実は論文も読んだことがなくてですね、、、
いつも本当に感謝しております！
すみません、何か勘違いしていました🙇♀️🙇♀️🙇♀️
私は書いたように、個人的には、AI の外へ波及するブレイクスルーを楽しみにしています😊
AI の内側は研究が早すぎて多すぎて、何が良いかは分からないので、遠くからみて良さげなのを拾うようにしています😇