大規模言語モデルの相転移！文脈がもたらす意味表現の激変を追う（2025-01）【論文解説シリーズ】

[@anonymous25426]

面白いですね。自分もこういう研究をする人間になりたかった。
少し気になるのは、事前学習等で設定した制約をハックしてしまう脆弱性について、その可能性を示唆しているようにも見える点です。
将来的にこの研究が（悪い方向に）進むと、APIの中に構造を意図的に操作したプロンプトを忍び込ませる事で、AIの回答傾向を擬似的に操作できたりする危険性が生まれてしまう気もします。

[@compassinai]

最前線のAI研究者はこれだけバブルだと楽しいでしょうね！
まだ単純な意味構造での検証で、大量の例が必要ですが、
おっしゃる通り、将来的なリスクを生む現象ではありますね。

[@takek9215]

追加学習で新言語を学習するようなダイナミックな学習は可能なのか？->案外少ないサンプルでも新しい文法の学習は可能らしい｡

[@dogsiva6995]

構造理解ができるって人間が思ってる以上の能力を持ってるんですね
確率的に次の単語を予測してるだけ〜って未だに解説してる人もいますが、最新の研究ではそうではないことがわかってきていて面白いです

[@compassinai]

確率的予測を超えた能力が徐々に実証されてきていますね。

[@saeye2073]

In-Context Learningでモデル内部に何が起こっているかを調べた研究はまだ少なく、貴重ですね。

[@compassinai]

そうですね。最近、着々と内部の理解が進んで、興味深いですね。

[@rawegg]

「○○千本ノック」や公文式の有効性に対する強力なサポート情報ですね。
これはLLMだけではなく、様々な機械学習にもTransformerの有用性を示唆しているような気がします。

[@compassinai]

単純に量よりも、構造理解を意識した質の良い例題を学ばせて、全体理解の相転移を狙うと良いのかもしれませんね。　「○○千本ノック」や公文式が、そこまで考えられていたらすごいですね！

[@グレイトタノシミストTERU]

人工知能の
学習プロセスや思考プロセスと
人間の
学習プロセスや思考プロセス、
それぞれに違いがあることが
昨年、様々なことから見えてきたと
以前の動画で言っていましたが、
それでもやはり類似性はあり、
人間理解が人工知能につながり
人工知能の理解が人間理解にも
つながっていき、
それによって相互に育っていく。
この辺りの感覚も
私が人工知能の分野のお話が
好きな理由の１つです😊
ありがとうございます😊

[@compassinai]

いつもコメントありがとうございます。人間では実証できなかった脳の仕組みが、人工知能の研究で明らかになっていくのはとても興味深いですね。

[@JS-hg2vn]

ちょっとずつ賢くなることはないってことなんだろうけど、うーん

[@compassinai]

意味空間で、断片的な知識がどのように統合されて全体的な構造理解に至るのかを解析していますね。ある時点で突然知識が繋がるので相転移と表現されているのです。

[@markarian421]

@@compassinai LLMは人間の脳モデルに近いと考えていますが、子供(孫)の言語習得過程を観察していると、ある時期から突然複雑な会話ができるようになり、まさに相転移という感じです。

[@JS-hg2vn]

@@compassinai 解説どうも。人の学習の場合でも低空飛行という努力過程のあと、ステップアップするときがあります。CNNの学習のときも、ある段階で急に精度が上がる現象があるのは確認されてたかと。学習で常に成長しているが成果として見えるのはある時点からという理解をすればいいんですかね？人に置き換えると、成果が毎日は見えないということでもあるから、なかなか切ないですね。

[@食用お味噌汁]

​@@markarian421
第二言語習得や様々なタスクの熟練度にも似てる部分がある気がしますね