Io penso che questo nuovo tipo di modello sia stato un grande passo avanti. I modelli LLM sono di per sé estremamente "stupidi" anzi, è sorprendente che siano arrivati ad un livello di "intelligenza" così elevato, pur essendo essenzialmente dei "T9" ovvero sistemi probabilistici di autocompletamento di frasi. Tuttavia penso che la sconcertante semplicità con cui gli LLM operano sia anche il loro più grande pro. Infatti il training di un modello è un processo molto semplice ( basti pensare che l'unica vera preoccupazione è reperire i dati su cui effettuare il training). Inoltre per rendere più performante un modello basta dargi in pasto sempre più dati e di qualità migliore. L'output previsto da questi modelli dipende poi unicamente dai dati su cui è stato fatto il training. Per modelli LCM invece si fa grande affidamento su questo sistema "SONAR" che, da quanto ho capito, trasforma l'input dato in concetti.
Praticamente la chiave è come SONAR fa diventare le sentences dei concepts. Come fa la macchina a raggruppare concetti simili se non ha awarness del contesto? Il classico "la vecchia porta la sbarra" che concetto è? Un donna anziana che porta una sbarra di metallo oppure una porta vecchia che blocca la via ad una donna? Qui la magia a quanto pare la fa SONAR.. o no? E come funziona? Qui vedo il rischio di prendere fischi per fiaschi non da poco. È interessante sicuramente l'idea che con meno parametri, alias modelli più leggeri, si ha la possibilità di avere gli stessi risultati e quindi poter fare girare in locale con una NPU un modello simil 405B-LLM (che so un 70B LCM)...
Grazie Simone, sempre chiaro… ma a livello di hardware servono più o meno risorse? Ovvero, gli LCM danno lo stesso risultato con meno risorse hardware oppure no?
se ho ben capito nello spazio dei concetti le due frasi: - oggi è una bella giornata - oggi non è una bella giornata sono molto distanti essendo concetti opposti, a differenza dello spazio semantico degli LLM in cui sono vicinissimi, corretto?
Mi domando se con LCM usando sonar è performante il graphRag o è meglio il classico RAG perché nel primo potrebbe avvenire elaborazioni multiple sempre sullo stesso concetto.
be ottimo ero arrivato 2 anni fa a questa cosa... usando gli ipervettori. studierò questo modello per vedere a livello di codice come l'hanno costruito il prox step sul quale sto lavorando è cognitivo, associativo...
Se il mio ragionamento non è errato, LA LINGUA CINESE non si espreime in parole (Token) ma in CONCETTI per cui sarebbe la più favorita ad essere adottata nel LCA, anzi si presterebbe molto ad addestrare lo stesso LCA
Non è così rivoluzionario perché negli strati più interni gli LLM sviluppano già una sorta di predizione di concetti. Però rendere questa architettura esplicita può sicuramente ottimizzare
Se costringiamo la AI a ragionare come gli umani, la limitiamo, se poi pensiamo che la macchina più efficiente per ragionare come gli umani esiste già ed è la macchina biologica umana, allora sappiamo che non possiamo andare molto lontano
mah, siccome la differenza tra macchine biologiche umane è mostruosa, per esempio tra la nonna pina ed einstein, mi aspetto che si possa artificialmente in qualche modo scalare verso l'alto questa differenza, equiparando per esempio la capacità di ragionamento di einstein alla nonna pina, e quella di una macchhina pensante non biologica ad einstein, pur utilizzando entrambe le stesse modalità logiche; a quel punto non è detto che la macchina pensante non possa anche evolversi autonomamente al di là di quella logica
Bellissimo video. È interessantissima e rarissima questa tipologia di video. Complimenti Simone Rizzo🎉
Sicuramente un'idea vincente, promette molto bene.
Spiegazione chiara ed esaustiva. Secondo te nasceranno diversi tipi di LCM ?
sarebbe bello vedere il modello all'opera!
ulteriore evoluzione . Molto interessante . Tutto ad una velocita' di sviluppo tecnologico senza precedenti nella storia umana.
Bravo ❤❤❤❤❤
Bel video...interessante e spiegato semplice. Complimenti
Gran video
graziee
Io penso che questo nuovo tipo di modello sia stato un grande passo avanti. I modelli LLM sono di per sé estremamente "stupidi" anzi, è sorprendente che siano arrivati ad un livello di "intelligenza" così elevato, pur essendo essenzialmente dei "T9" ovvero sistemi probabilistici di autocompletamento di frasi.
Tuttavia penso che la sconcertante semplicità con cui gli LLM operano sia anche il loro più grande pro. Infatti il training di un modello è un processo molto semplice ( basti pensare che l'unica vera preoccupazione è reperire i dati su cui effettuare il training). Inoltre per rendere più performante un modello basta dargi in pasto sempre più dati e di qualità migliore. L'output previsto da questi modelli dipende poi unicamente dai dati su cui è stato fatto il training.
Per modelli LCM invece si fa grande affidamento su questo sistema "SONAR" che, da quanto ho capito, trasforma l'input dato in concetti.
Bravo Simone, ottimo video 👌
molto interessante!
Praticamente la chiave è come SONAR fa diventare le sentences dei concepts. Come fa la macchina a raggruppare concetti simili se non ha awarness del contesto? Il classico "la vecchia porta la sbarra" che concetto è? Un donna anziana che porta una sbarra di metallo oppure una porta vecchia che blocca la via ad una donna? Qui la magia a quanto pare la fa SONAR.. o no? E come funziona? Qui vedo il rischio di prendere fischi per fiaschi non da poco. È interessante sicuramente l'idea che con meno parametri, alias modelli più leggeri, si ha la possibilità di avere gli stessi risultati e quindi poter fare girare in locale con una NPU un modello simil 405B-LLM (che so un 70B LCM)...
ah bel video comunque! E grazie perché c'è bisogno di paper più che di pubblicità all'ultimo tool che cadrà in disuso in pochi mesi...
Grazie Simone, sempre chiaro… ma a livello di hardware servono più o meno risorse? Ovvero, gli LCM danno lo stesso risultato con meno risorse hardware oppure no?
Siamo ancora lontani ma questo è una tappa importante......vediamo come si evolve e si integra con altre novità nel settore
grande video di divulgazione!
Speriamo in llama4 così potrà girare localmente sul Quest4 che avrà un bel soc ARM con npu 😊!!
se ho ben capito nello spazio dei concetti le due frasi:
- oggi è una bella giornata
- oggi non è una bella giornata
sono molto distanti essendo concetti opposti, a differenza dello spazio semantico degli LLM in cui sono vicinissimi, corretto?
Esiste un sito per provarlo?
Pazzesco🎉🎉
Bellissima novità opensource🎉🎉
grazie
Grazie
Figo! Faresti qualche video dove dimostri matematicamente questi paper?
non esiste una dimostrazione matematica ma bensì è una dimostrazione empirica sui dati
Mi domando se con LCM usando sonar è performante il graphRag o è meglio il classico RAG perché nel primo potrebbe avvenire elaborazioni multiple sempre sullo stesso concetto.
ottimo!!!
Siamo d'accordo, però perderà di efficacia rispetto LLM? Che ne pensi^
molto interessante
Che sito hai usato per mostrare come la frase viene trasformata in token?
Credo usi quello presente sul sito di openai
@sandro9070 grazie mille
Confermo @@sandro9070
be ottimo ero arrivato 2 anni fa a questa cosa... usando gli ipervettori. studierò questo modello per vedere a livello di codice come l'hanno costruito
il prox step sul quale sto lavorando è cognitivo, associativo...
hai pubblicato qualche paper? Sarei interessato a leggerlo
Se il mio ragionamento non è errato, LA LINGUA CINESE non si espreime in parole (Token) ma in CONCETTI per cui sarebbe la più favorita ad essere adottata nel LCA, anzi si presterebbe molto ad addestrare lo stesso LCA
ho letto il paper 3 giorni fa: la portata della loro idea è semplicemente rivoluzionaria. Se riescono a scalarla Meta diventerà irraggiungibile
Non è così rivoluzionario perché negli strati più interni gli LLM sviluppano già una sorta di predizione di concetti. Però rendere questa architettura esplicita può sicuramente ottimizzare
Uscirà un nuovo modello o dobbiamo addestrarcelo soli?
Se costringiamo la AI a ragionare come gli umani, la limitiamo, se poi pensiamo che la macchina più efficiente per ragionare come gli umani esiste già ed è la macchina biologica umana, allora sappiamo che non possiamo andare molto lontano
Quando è stato dimostrato tutto questo?
mah, siccome la differenza tra macchine biologiche umane è mostruosa, per esempio tra la nonna pina ed einstein, mi aspetto che si possa artificialmente in qualche modo scalare verso l'alto questa differenza, equiparando per esempio la capacità di ragionamento di einstein alla nonna pina, e quella di una macchhina pensante non biologica ad einstein, pur utilizzando entrambe le stesse modalità logiche; a quel punto non è detto che la macchina pensante non possa anche evolversi autonomamente al di là di quella logica