Fajny odcinek! :) Zrobicie odcinek o trochę starszych modelach embeddingowych - np. GloVE, Word2Vec, fastText?. Takie embeddingi są też przydatne gdy chce się szybko stworzyć swój model embeddingowy oparty o nasze teskty domenowe :)
A jak wygląda ten moment, czy proces przejścia od słowa pisanego, do jego reprezentacji wektorowej? Skąd się bierze informacja o rozmiarze i kolorze (w nawiązaniu do Waszego przykładu)? I w jaki sposób jest robiony ten embedding wielowymiarowy w przypadku całego zdania, czy kilku zdań per jedna reprezentacja wektorowa? Algorytmy nie rozumieją słów, więc jak tworzą ich reprezentacje na tym poziomie złożoności? Ta magia mi umyka ;)
Tutaj to działa tak, że jak na przykładzie z owocami nasz "embedding model" jest w stanie reprezentować owoce liczbowo bo "się na tym zna" -> to na tekście jako "embedding model" bierzemy jakąś Głęboką Sieć Neuronową trenowaną na tekście i uczyła się np. przewidywać następne słowo. Taka sieć widziała olbrzymi wolumen tekstu i ucząc się przewidywać kolejne słowa - nauczyła się zależności między wyrazami, jakie występują często razem i w pewien sposób dzięki temu też uchwyciła ich znaczenie. Wyliczenie tego wektoru wygląda tak, że na wejściu jest np. zdanie tekstu -> to jest zamieniane na tokeny (liczba reprezentująca każde słowo) i przepuszczane jest przez sieć, ale potem nie bierzemy np. wyniku które słowo powinno być następne - tylko czytamy wartości jednej z ostatnich jej warstw - czyli mamy taką "wewnętrzną reprezentację tekstu" danej sieci :)
Zajebiscie wyjaśnione 😮🫡
dzięki! :)
Fajny odcinek! :) Zrobicie odcinek o trochę starszych modelach embeddingowych - np. GloVE, Word2Vec, fastText?. Takie embeddingi są też przydatne gdy chce się szybko stworzyć swój model embeddingowy oparty o nasze teskty domenowe :)
Dzięki za komentarz! Zobaczymy jaki będzie odzew, wtedy może taki odcinek nagramy 🙂
Trochę bałam się konkurować i przegrać z pięciolatkiem, ale daliście radę XD dobry materiał!
Dzięki 🫶🏻 M.
Mega spoko odcinek - dobrze wyjaśnione chłopacy :>
Śmieszki z was!
staramy się :D
Dzięki, jako laikowi zainteresowanemu czym jest szeroko pojęty AI i jak on działa takie filmiki z pojedynczymi hasłami dużo dają.
Dzięki!
A jak wygląda ten moment, czy proces przejścia od słowa pisanego, do jego reprezentacji wektorowej? Skąd się bierze informacja o rozmiarze i kolorze (w nawiązaniu do Waszego przykładu)? I w jaki sposób jest robiony ten embedding wielowymiarowy w przypadku całego zdania, czy kilku zdań per jedna reprezentacja wektorowa? Algorytmy nie rozumieją słów, więc jak tworzą ich reprezentacje na tym poziomie złożoności? Ta magia mi umyka ;)
Tutaj to działa tak, że jak na przykładzie z owocami nasz "embedding model" jest w stanie reprezentować owoce liczbowo bo "się na tym zna" -> to na tekście jako "embedding model" bierzemy jakąś Głęboką Sieć Neuronową trenowaną na tekście i uczyła się np. przewidywać następne słowo. Taka sieć widziała olbrzymi wolumen tekstu i ucząc się przewidywać kolejne słowa - nauczyła się zależności między wyrazami, jakie występują często razem i w pewien sposób dzięki temu też uchwyciła ich znaczenie.
Wyliczenie tego wektoru wygląda tak, że na wejściu jest np. zdanie tekstu -> to jest zamieniane na tokeny (liczba reprezentująca każde słowo) i przepuszczane jest przez sieć, ale potem nie bierzemy np. wyniku które słowo powinno być następne - tylko czytamy wartości jednej z ostatnich jej warstw - czyli mamy taką "wewnętrzną reprezentację tekstu" danej sieci :)