ขนาดวิดีโอ: 1280 X 720853 X 480640 X 360
แสดงแผงควบคุมโปรแกรมเล่น
เล่นอัตโนมัติ
เล่นใหม่
毎回ためになる動画をありがとうございます。初めてコメントさせて頂きます。文書ベクトルを作成する際、クラスごとに単語ベクトルの重み付き和を計算していると思います(例えば18:50)。このとき、重みとして各クラスの確率, P(C|w)だけではだめなのでしょうか？idfも必要な理由は何かあるのでしょうか？仮にidfが無い場合、(要素数で割るような補正は入っていませんが)重心ベクトルのようなものが出てくるため、単語の集まりである文章のベクトルとしては理にかなっているように思えます。この点に関して、何かアドバイスがあれば教えていただきたいと思います。どうぞよろしくお願いいたします。
ご視聴コメントありがとうございます！素敵な質問ですね！もちろん、idf をなくしたモデルを学習させても良いと思います！ですが、一般に、idf が大きい単語の方が、分の意味との関係が深い傾向にあるので、idf が用いられているのだと思います。このあたりの意味合いは、tf-idf の動画で話しているので、見ていただけると感覚が掴めるかもしれません。ご参考にしていただければと思います！th-cam.com/video/nsEbfO3U2pY/w-d-xo.htmlsi=DBodZ28xj2VfZEXs
@@AIcia_Solid 詳しく教えてくださってありがとうございます！たしかにidfがある方が文章の意味を反映しやすくなるのは感覚的には分かります！どうもありがとうございました。もしかすると他の動画でもコメントさせて頂くかもしれませんので、その際はよろしくお願いいたします。
どういたしまして！(^o^)ぜひぜひ！コメントはいつでも歓迎です！🎉
全くついてけないけど、かわいいです。
よく言われます😍😍😍シリーズものなので、気が向いたら1から見てみてください(^o^)
かわいいですよね
T-SNEでの可視化も説明していただきたくなりますね😊
たしかにー！そのうちやりますね！(^o^)
@@AIcia_Solid 楽しみにしてます！！
2018年頃，文章ベクトル作るに単語ベクトルから文章を再構成すればよいのじゃない？と思ってクラスタリングしスパースに変換し・・・としていた後にSCDVを知り，何だ視点は違うけれどやっていることおなじじゃない，とガックリきた記憶が蘇ってくるなぁ．
文章群が似た単一性を示すのであれば，それぞれの文章はある特定の単語数からなる文章として再構成できるはず，と言う発想でした．
なるほど、それもなかなか面白そうな発想ですね！👀
SCDVを研究(ユーザのペルソナモデリング)に用いたいと考えている学生です。SCDVの本質的な意味について(なぜ良いのか)の部分非常に分かり易かったです！ありがとうございます！質問なのですが、現在ユーザのペルソナベクトル(ユーザごとの埋め込み)にSCDVによる文書ベクトルを利用したいと考えております(前提としてユーザの時系列データがあり、時間帯ごとの値をword2vecでベクトル化することで、ユーザごとのベクトル遷移が得られています)。この場合ユーザの時系列データが各クラスタを行き来するようなもの(C1→C2→C1など)だとSCDVではユーザごとにトピック(クラスタ)が統一されていないため不適切でしょうか？最終的に足し算する際に少ないクラスタのベクトルは潰されて亡くなってしまうように思えます。もしそうだとするとユーザのベクトル化(文書内でトピックを行き来するような時系列データ)として他のどんなモデルが適切かご助言いただけると助かります。長文失礼しました。
ご視聴コメントありがとうございます！なんとなく、そういう事をするなら、 Hidden Markov Model などのほうが直感的に良さそうな感じがしますが、いかがでしょうか？なにか SCDV が良いと感じているの理由ってあったりしますか？？
@@AIcia_Solid 返信ありがとうございます！(何度も長文すみません)SCDVを含むNLP系のモデルに惹かれている理由としてはWord2vecによるデータのモデル化が上手くいっていて、単純にこれの拡張でその連続データのEmbedding(+分類)をうまくしたいっていうモチベーションがあるからです。時系列データのモデル化としてHMMは検討しており、特に入出力隠れマルコフモデルについては検討しているんですが、埋め込み化して分類するみたいなことには不向きなのかなという印象でした。他のNLPモデルとして流行りに乗ってBERT系のモデルやAttention, Transformerなども使ってみたいと思っているんですが、難しそうでしょうか？感触としてご教授いただきたいです、、
分類や遷移なら HMM が得意な気もしますが、たぶん、ドメイン的な事情などもあるのかなと推察します。ベクトル列から全体のベクトルを入手するということであれば、基本的に NLP 系の手法は使えると思いますよ！最近の流れは、なんでも Transformer というのがあるので、 BERT を利用してみるのもありかもですね！
後はもうやってみないと分からないかと！
閾値は本来「いき値」で、慣用的には「しきい値」もあって分野によって読み方は異なるけど、機械学習の分野では正しい「いき値」で読まれる、と聞いたことがあります。間違ってたらすいません。
ほえー、そうなんですね😮勉強になります、ありがとうございます😍😍😍🎉
@@AIcia_Solid すいません、調べてみたら工学系分野では「しきい値」で生物系分野では「いき値」が一般的みたいです。ここではしきい値でも良さそうです。
そうなんですね！お調べいただきありがとうございます(^o^)
動画乙、凄くわかりやすいです。simple is bestですね
でっしょー！😍この simple さにこの機能を持たせるのはすごい🤩
最近見始めて、deep learningに対する理解が一気に進みました！ありがとうございます(^^)今度normalizing flowについても動画出してほしいです！！！！
ご視聴コメントありがとうございます😊normalizing flow は私もいつか撮りたいんですよねー。しばしお待ちを！😍🎉
毎回ためになる動画をありがとうございます。初めてコメントさせて頂きます。
文書ベクトルを作成する際、クラスごとに単語ベクトルの重み付き和を計算していると思います(例えば18:50)。
このとき、重みとして各クラスの確率, P(C|w)だけではだめなのでしょうか？idfも必要な理由は何かあるのでしょうか？
仮にidfが無い場合、(要素数で割るような補正は入っていませんが)重心ベクトルのようなものが出てくるため、単語の集まりである文章のベクトルとしては理にかなっているように思えます。
この点に関して、何かアドバイスがあれば教えていただきたいと思います。どうぞよろしくお願いいたします。
ご視聴コメントありがとうございます！
素敵な質問ですね！
もちろん、idf をなくしたモデルを学習させても良いと思います！
ですが、一般に、idf が大きい単語の方が、分の意味との関係が深い傾向にあるので、idf が用いられているのだと思います。
このあたりの意味合いは、tf-idf の動画で話しているので、見ていただけると感覚が掴めるかもしれません。ご参考にしていただければと思います！
th-cam.com/video/nsEbfO3U2pY/w-d-xo.htmlsi=DBodZ28xj2VfZEXs
@@AIcia_Solid 詳しく教えてくださってありがとうございます！
たしかにidfがある方が文章の意味を反映しやすくなるのは感覚的には分かります！
どうもありがとうございました。もしかすると他の動画でもコメントさせて頂くかもしれませんので、その際はよろしくお願いいたします。
どういたしまして！(^o^)
ぜひぜひ！
コメントはいつでも歓迎です！🎉
全くついてけないけど、
かわいいです。
よく言われます😍😍😍
シリーズものなので、気が向いたら1から見てみてください(^o^)
かわいいですよね
T-SNEでの可視化も説明していただきたくなりますね😊
たしかにー！
そのうちやりますね！(^o^)
@@AIcia_Solid 楽しみにしてます！！
2018年頃，文章ベクトル作るに単語ベクトルから文章を再構成すればよいのじゃない？と思ってクラスタリングしスパースに変換し・・・としていた後にSCDVを知り，何だ視点は違うけれどやっていることおなじじゃない，とガックリきた記憶が蘇ってくるなぁ．
文章群が似た単一性を示すのであれば，それぞれの文章はある特定の単語数からなる文章として再構成できるはず，と言う発想でした．
なるほど、それもなかなか面白そうな発想ですね！👀
SCDVを研究(ユーザのペルソナモデリング)に用いたいと考えている学生です。
SCDVの本質的な意味について(なぜ良いのか)の部分非常に分かり易かったです！ありがとうございます！
質問なのですが、現在ユーザのペルソナベクトル(ユーザごとの埋め込み)にSCDVによる文書ベクトルを利用したいと考えております(前提としてユーザの時系列データがあり、時間帯ごとの値をword2vecでベクトル化することで、ユーザごとのベクトル遷移が得られています)。この場合ユーザの時系列データが各クラスタを行き来するようなもの(C1→C2→C1など)だとSCDVではユーザごとにトピック(クラスタ)が統一されていないため不適切でしょうか？最終的に足し算する際に少ないクラスタのベクトルは潰されて亡くなってしまうように思えます。もしそうだとするとユーザのベクトル化(文書内でトピックを行き来するような時系列データ)として他のどんなモデルが適切かご助言いただけると助かります。
長文失礼しました。
ご視聴コメントありがとうございます！
なんとなく、そういう事をするなら、 Hidden Markov Model などのほうが直感的に良さそうな感じがしますが、いかがでしょうか？
なにか SCDV が良いと感じているの理由ってあったりしますか？？
@@AIcia_Solid
返信ありがとうございます！(何度も長文すみません)
SCDVを含むNLP系のモデルに惹かれている理由としてはWord2vecによるデータのモデル化が上手くいっていて、単純にこれの拡張でその連続データのEmbedding(+分類)をうまくしたいっていうモチベーションがあるからです。
時系列データのモデル化としてHMMは検討しており、特に入出力隠れマルコフモデルについては検討しているんですが、埋め込み化して分類するみたいなことには不向きなのかなという印象でした。
他のNLPモデルとして流行りに乗ってBERT系のモデルやAttention, Transformerなども使ってみたいと思っているんですが、難しそうでしょうか？感触としてご教授いただきたいです、、
@@AIcia_Solid
返信ありがとうございます！(何度も長文すみません)
SCDVを含むNLP系のモデルに惹かれている理由としてはWord2vecによるデータのモデル化が上手くいっていて、単純にこれの拡張でその連続データのEmbedding(+分類)をうまくしたいっていうモチベーションがあるからです。
時系列データのモデル化としてHMMは検討しており、特に入出力隠れマルコフモデルについては検討しているんですが、埋め込み化して分類するみたいなことには不向きなのかなという印象でした。
他のNLPモデルとして流行りに乗ってBERT系のモデルやAttention, Transformerなども使ってみたいと思っているんですが、難しそうでしょうか？感触としてご教授いただきたいです、、
分類や遷移なら HMM が得意な気もしますが、たぶん、ドメイン的な事情などもあるのかなと推察します。
ベクトル列から全体のベクトルを入手するということであれば、基本的に NLP 系の手法は使えると思いますよ！
最近の流れは、なんでも Transformer というのがあるので、 BERT を利用してみるのもありかもですね！
後はもうやってみないと分からないかと！
閾値は本来「いき値」で、慣用的には「しきい値」もあって分野によって読み方は異なるけど、機械学習の分野では正しい「いき値」で読まれる、と聞いたことがあります。間違ってたらすいません。
ほえー、そうなんですね😮
勉強になります、ありがとうございます😍😍😍🎉
@@AIcia_Solid すいません、調べてみたら工学系分野では「しきい値」で生物系分野では「いき値」が一般的みたいです。ここではしきい値でも良さそうです。
そうなんですね！
お調べいただきありがとうございます(^o^)
動画乙、凄くわかりやすいです。simple is bestですね
でっしょー！😍
この simple さにこの機能を持たせるのはすごい🤩
最近見始めて、deep learningに対する理解が一気に進みました！ありがとうございます(^^)
今度normalizing flowについても動画出してほしいです！！！！
ご視聴コメントありがとうございます😊
normalizing flow は私もいつか撮りたいんですよねー。
しばしお待ちを！😍🎉