Ci sono riuscito! Ottime e chiare istruzioni anche per un non esperto come me. Sono partito dall'inizio ed ho installato Ollama e sono arrivato fino a fare girare in locale il tutto. Devo studiare meglio Colab, che mi ha creato i maggiori problemi. Grazie Simone!!
@@simone_rizzo98 😉 Grazie a te per l'ottima guida. Faccio notare a tutti quelli che ci proveranno, che servirebbero oltre 6gb liberi sul Google Drive. Nell'account che ho usato per Colab non li avevo e quindi ho salvato manualmente sul pc i due file menzionati "Modelfil" (da editare come indicato nel video) e unsloth.F16.gguf (di circa 6gb che con calma verrà scaricato in locale). In ogni caso tutto liscio fino a "Esporto in GGUF per Ollama" e ottime istruzioni!!
Bellissimo video! Bravissimo! Ho provato anche io! Il problema è stato con quel dannato llama.ccp che pare sia stato aggiornato con un certo CMake... E poi, nel Terminale di Colab non trovava le Directory giuste quando faceva la conversione... Vabbè, alla fine ne sono venuto a capo 😁
Video super completo e dritto al punto, sarebbe molto bello lo stesso tipo di contenuto su modelli multimodali (ex. llama 3.2 11b) e di come si crea un set di immagini su cui addestrarli e dell'addestramento effettivo.
Il 18 faccio una lezione sull'AI per degli studenti della triennale. Metterò il tuo video tra le risorse come esempio per il training di un AI. Va bene come uso?
Grazie Simone per il tuo video! A quando un video dove mostri anche come fare lo split del dataset nelle tre diverse fasi e l'esplorazione degli iper parametri? Saluti e buona giornata.
Wow lo aspettavo questo video. Grazie. Volevo chiederti se dopo l'addestramento, a parte il RAG anche quello molto interessante, se si può far in modo che il modello "impari" da ogni interazione con l'utente attraverso i prompt?
Questo purtroppo non si può fare poiché troppo costoso addestrarlo ad ogni nuovo messaggio. Questo che vuoi fare te si chiama Continual Learning e gli llm non sono adatti a questo
Buongiorno e grazie moltissimo per i tuoi contributi. Non vedo l'ora di provare a replicare quello che hai fatto. Una curiosità : per fare questo tipo di lavoro è sempre conveniente appoggiarsi a servizi che offrono gratuitamente schede per l'elaborazione o in alcuni casi potrebbe essere conveniente costruirsi un pc con una Nvidia adeguata? Grazie
Conviene sempre utilizzare servizi che offrono la computazione di GPU che siano gratuite come Colab o a pagamento come RunPod per poi scaricare il modello es utilizzarlo
Non si fanno queste cose... Video di sabato sera... Io sono seduto al ristorante tanti invitati e mi fai venire la "scimmia" di programmazione.😅. Non vedo l'ora di testare... Grazie
@@simone_rizzo98 Non so se hai sentito parlare di BrainGPT: si tratta di un LLM addestrato sulla letteratura scientifica nel campo delle neuroscienze. Hanno anche pubblicato un articolo recentemente, su Nature, intitolato "Large language models surpass human experts in predicting neuroscience results". In sostanza, è un LLM pensato per supportare la ricerca nelle neuroscienze. Io lavoro in campo delle neuroscienze e non vedo l'ora di testarlo.
ni, l'ho preso da una lista più grande di prompt per flux e con un prompt specifico ho fatto scrivere laparte a sinistra semplificata in modo da avere i due prompt: quello dell'utente e quello risultante per flux.
Molto bello e interessante, ma se al posto di avere domanda e risposta da fare il training, ho dei PDF, mail o note generiche di Obsidian, come li trasformo in un dataset per LLama?
Ciao Simone, non mi è chiara una cosa… le answer devono essere esplicative o devono contenere snippet? Io ho fatto un dataset di sole risposte esplicative su una specie di json schema form ma a fine addestramento il modello sembrava come non aver appreso nulla ( ho ripetuto domande del dataset al modello ma la risposta fornita era completamente diverse), forse le answer devono essere solo snippet? Ho circa 600 domande e la trainin loss alla fine era circa 1,6 dopo 60 iterazioni
@ si scusami mi sono espresso male. Il mio intento è fare generare dei codici json (basati sullo standard json schema form) ma nel dataset ho per lo piu domande che spiegano come funzionano i componenti e gli attributi che hanno (es: che componente usare per rappresentare un range di numeri? La risposta è descrittiva come se fosse una FAQ) . Dopo aver trainato il modello non riusciva fare nulla. Forse dovevo focalizzarmi su mettere nella answer solo il codice atteso? Un po’ come l’approccio che hai avuto tu per flux dove nelle answer c’era un prompt pronto per flux ma effettivamente non c’erano domande dove veniva spiegati i parametri e come utilizzare e a cosa servivano
Un vantaggio di LoRA è che è hot-swappabile, sarebbe bello vedere come farlo (spunto per un video). Il vantaggio sarebbe avere un modello base (es. LLAMA3.2) e poi tanti piccoli LoRA per task specifici che vengono attivati alla bisogna
@@simone_rizzo98 Piu' o meno... Quesa e' una oversemplificazione, il fine tuning e' un subset di azioni e modifiche che avvengono sul modello. Normalmente per fine tuning con LoRA si tocca il 2% dei pesi, ma ad esempio si cambia poco e niente a livello delle matrici sui transformers. Capisco la divulgazione, e capisco il voler semplificare i concetti, ma io avrei specificato che questo e' fine tuning e non training. Altrimenti diventa disinformazione.
@@AlexTheAncient Io ho usato questo video per imparare (a livello amatoriale, solo perchè sono curioso), ma guarda che viene detto in maniera esplicita che è solo divulgativo. In più, l'impiego del LoRA già di per sè specifica che non è un Training vero e proprio. D'altro canto, non è che puoi metterti su TH-cam a fare cose troppe tecniche, altrimenti chi ti segue?
Ciao, gran bel video! Ho provato ad eseguirlo con un mio dataset, ma quando arrivo al penultimo passaggio, ovvero l'esportazione in GGUF per Ollama ottengo questo errore: RuntimeError: Unsloth: The file 'llama.cpp/llama-quantize' or 'llama.cpp/quantize' does not exist. But we expect this file to exist! Maybe the llama.cpp developers changed the name? Ho provato a far ricompilare Colab, ma non genera proprio il file "quantize": mi potete dare una mano? Grazie ancora, stai facendo un lavoro fantastico!
OTTIMO stile: conciso, dritto al punto, senza sacrificare la spiegazione quando necessaria. Continua così!
certamente, avanti tutta!
Molto interessante, utile e facile da capire...👍
dajee
Gran bel video complimenti. Sarebbe interessante un video sui data set. Dove trovarli....Come crearli.... buona domenica a tutti
Va bene posso prepararne uno!
@simone_rizzo98 grandioso! Grazie mille
bravo bravo bravo, chiaro, conciso, utile. Inoltre tutto gratis. Veramente bravo.
graziee!
Ci sono riuscito! Ottime e chiare istruzioni anche per un non esperto come me. Sono partito dall'inizio ed ho installato Ollama e sono arrivato fino a fare girare in locale il tutto.
Devo studiare meglio Colab, che mi ha creato i maggiori problemi. Grazie Simone!!
Grande Stefano! Evvaii aspettavo un commento del genere di qualcuno che effettivamente provasse tutto il flusso!
@@simone_rizzo98 😉 Grazie a te per l'ottima guida. Faccio notare a tutti quelli che ci proveranno, che servirebbero oltre 6gb liberi sul Google Drive. Nell'account che ho usato per Colab non li avevo e quindi ho salvato manualmente sul pc i due file menzionati "Modelfil" (da editare come indicato nel video) e unsloth.F16.gguf (di circa 6gb che con calma verrà scaricato in locale). In ogni caso tutto liscio fino a "Esporto in GGUF per Ollama" e ottime istruzioni!!
grazie, molto interessante e pratico, dritto al punto senza fronzoli
Esattamente non voglio farvi perdere tempo, solo informazioni di alta qualità!
Finalmente qualcosa di super concreto e nuovo... bravo davvero.
Solo fatti! Fanne buon uso🙌
Bellissimo video! Bravissimo! Ho provato anche io! Il problema è stato con quel dannato llama.ccp che pare sia stato aggiornato con un certo CMake... E poi, nel Terminale di Colab non trovava le Directory giuste quando faceva la conversione... Vabbè, alla fine ne sono venuto a capo 😁
bravo un bel video per dare un'idea concreta del lavoro che c'è dietro questa tecnologia
Esattamente ma soprattutto che la parte principale è la preparazione del dataset, i dati sono tutto!
Un gran bel video e soprattutto concreto. Complimenti.
Solo fatti ✅
Video super completo e dritto al punto, sarebbe molto bello lo stesso tipo di contenuto su modelli multimodali (ex. llama 3.2 11b) e di come si crea un set di immagini su cui addestrarli e dell'addestramento effettivo.
Bellissimo commento grazie vedo di proporre un video come riesco!
Video utilissimo. Complimenti Simone!
graziee
Video utilissimo!
Fatene buon uso!
Grazie tantissime, video utile e semplice, E poi grazie per lo script!
Di nulla, fanne buon uso!
Il 18 faccio una lezione sull'AI per degli studenti della triennale. Metterò il tuo video tra le risorse come esempio per il training di un AI. Va bene come uso?
Sei bravissimo. Complimenti. Nuovo iscritto :)
Grazie e benvenuto 🙌
Grazie Simone per il tuo video! A quando un video dove mostri anche come fare lo split del dataset nelle tre diverse fasi e l'esplorazione degli iper parametri? Saluti e buona giornata.
pregoo lo preparo
Grazie mille Simone, lo proverò sicuramente!
grande fammi sapere poi!
Ottimo video informativo!
grazie, sono contento che ti sia piaciuto!
Grande, molto prezioso, grazie
Prego di nulla!
Top, adoro, top, adoro🙏❤️💪👏
🙏🏼
Wow lo aspettavo questo video. Grazie. Volevo chiederti se dopo l'addestramento, a parte il RAG anche quello molto interessante, se si può far in modo che il modello "impari" da ogni interazione con l'utente attraverso i prompt?
Questo purtroppo non si può fare poiché troppo costoso addestrarlo ad ogni nuovo messaggio. Questo che vuoi fare te si chiama Continual Learning e gli llm non sono adatti a questo
Ok, capito. Gentilissimo 😊
Grande!
Pazzesco non sapevo esistesse una facoltà con indirizzo intelligenza artificiale, figo!
Yess c’è da almeno 4 anni la prima d’Italia é stata proprio a Pisa !
Buongiorno e grazie moltissimo per i tuoi contributi. Non vedo l'ora di provare a replicare quello che hai fatto.
Una curiosità :
per fare questo tipo di lavoro è sempre conveniente appoggiarsi a servizi che offrono gratuitamente schede per l'elaborazione o in alcuni casi potrebbe essere conveniente costruirsi un pc con una Nvidia adeguata? Grazie
Conviene sempre utilizzare servizi che offrono la computazione di GPU che siano gratuite come Colab o a pagamento come RunPod per poi scaricare il modello es utilizzarlo
Non si fanno queste cose... Video di sabato sera... Io sono seduto al ristorante tanti invitati e mi fai venire la "scimmia" di programmazione.😅. Non vedo l'ora di testare... Grazie
Ahahaha ops fantastico questo commento Alessandro, Buona cena !
SUPERRR!!! Grazie!!!
Pregoo fanne buon uso!
@@simone_rizzo98 Non so se hai sentito parlare di BrainGPT: si tratta di un LLM addestrato sulla letteratura scientifica nel campo delle neuroscienze. Hanno anche pubblicato un articolo recentemente, su Nature, intitolato "Large language models surpass human experts in predicting neuroscience results". In sostanza, è un LLM pensato per supportare la ricerca nelle neuroscienze. Io lavoro in campo delle neuroscienze e non vedo l'ora di testarlo.
Simone, sei sempre il migliore. Una domanda. Il dataset con cui hai addestrato il modello, l’hai creato manualmente?
ni, l'ho preso da una lista più grande di prompt per flux e con un prompt specifico ho fatto scrivere laparte a sinistra semplificata in modo da avere i due prompt: quello dell'utente e quello risultante per flux.
Complimenti, gran bel video didattico e molto esplicativo!
Una curiosità: su che hardware hai fatto girare ollama?
Grazie, l’ho fatto girare solo su CPU Intel i7-7700k
@@simone_rizzo98 Un i7 di settima generazione ??? Diciamo 7 anni fa, corretto ?
Il video che cercavo 😭
dajee sono contento!
Molto bello e interessante, ma se al posto di avere domanda e risposta da fare il training, ho dei PDF, mail o note generiche di Obsidian, come li trasformo in un dataset per LLama?
In quel caso devi costruirti il dataset con domande e risposte e per farlo puoi usare un’altra AI
Ciao Simone, non mi è chiara una cosa… le answer devono essere esplicative o devono contenere snippet? Io ho fatto un dataset di sole risposte esplicative su una specie di json schema form ma a fine addestramento il modello sembrava come non aver appreso nulla ( ho ripetuto domande del dataset al modello ma la risposta fornita era completamente diverse), forse le answer devono essere solo snippet? Ho circa 600 domande e la trainin loss alla fine era circa 1,6 dopo 60 iterazioni
che intendi per esplicative e snippet? snippet di codice non ho ben capito. Il dataset di cosa parla?
@ si scusami mi sono espresso male. Il mio intento è fare generare dei codici json (basati sullo standard json schema form) ma nel dataset ho per lo piu domande che spiegano come funzionano i componenti e gli attributi che hanno (es: che componente usare per rappresentare un range di numeri? La risposta è descrittiva come se fosse una FAQ) . Dopo aver trainato il modello non riusciva fare nulla. Forse dovevo focalizzarmi su mettere nella answer solo il codice atteso? Un po’ come l’approccio che hai avuto tu per flux dove nelle answer c’era un prompt pronto per flux ma effettivamente non c’erano domande dove veniva spiegati i parametri e come utilizzare e a cosa servivano
Ciao, complimenti per il video. Ho una domanda: come si fa a capire la grandezza ottimale del dataset per effettuare un buon finetuning?
purtroppo non si può sapere a priori è un progetto di ricerca e sviluppo, bisogna fare degli esperimenti e nel caso aumentare i dati
Grandeeeee
avanti tutta!
una domanda: se ho fatto il training di un modello e volessi aggiungere un nuovo train come faccio a passare alla procedura un modello già "trainato"?
non ho capito, lo hai già addestrato e lo vuoi riaddestrare?
@@simone_rizzo98 si, ho fatto un test e vorrei aggiungere un nuovo dataset.
Bravo
grazie Simone, bel video !! Mangari un giorno si potrebbe collaborare
a te, certamente contattami pure alla seguente mail contact@inferentia.xyz
Questo è il fine tuning?
Esattamente il famoso finetuning 🙌
Top🔥
Avanti tutta!! Ad un mondo migliore con l’IA
Mi sembra un'attività per AI Engineer, non alla portata di tutti. E poi come si crea un dataset?
Sì devi saper almeno programma in Python, il dataset puoi crearlo in modo sintetico usando un AI ed i documenti che desideri
Un vantaggio di LoRA è che è hot-swappabile, sarebbe bello vedere come farlo (spunto per un video). Il vantaggio sarebbe avere un modello base (es. LLAMA3.2) e poi tanti piccoli LoRA per task specifici che vengono attivati alla bisogna
vuoi fare un MoE quindi, si potrebbe fare!
Toma tu Like buon uomo 😂
grazie uomo!
a viking with a blade
🫡
@ la spada si chiama sword lmao
Questo e' fine tuning, non training.
fa sempre parte del training. O parti da zero o parti con dei pesi già pre addestrati sempre addestramento è
@@simone_rizzo98 Piu' o meno... Quesa e' una oversemplificazione, il fine tuning e' un subset di azioni e modifiche che avvengono sul modello. Normalmente per fine tuning con LoRA si tocca il 2% dei pesi, ma ad esempio si cambia poco e niente a livello delle matrici sui transformers. Capisco la divulgazione, e capisco il voler semplificare i concetti, ma io avrei specificato che questo e' fine tuning e non training. Altrimenti diventa disinformazione.
@@AlexTheAncient Io ho usato questo video per imparare (a livello amatoriale, solo perchè sono curioso), ma guarda che viene detto in maniera esplicita che è solo divulgativo. In più, l'impiego del LoRA già di per sè specifica che non è un Training vero e proprio. D'altro canto, non è che puoi metterti su TH-cam a fare cose troppe tecniche, altrimenti chi ti segue?
Ciao, gran bel video! Ho provato ad eseguirlo con un mio dataset, ma quando arrivo al penultimo passaggio, ovvero l'esportazione in GGUF per Ollama ottengo questo errore:
RuntimeError: Unsloth: The file 'llama.cpp/llama-quantize' or 'llama.cpp/quantize' does not exist.
But we expect this file to exist! Maybe the llama.cpp developers changed the name?
Ho provato a far ricompilare Colab, ma non genera proprio il file "quantize": mi potete dare una mano?
Grazie ancora, stai facendo un lavoro fantastico!
prova a generare il file GGUF in locale nel path della root del progetto quindi ./