Ciao, una volta che hai installato il modello per la prima volta, dopo aver spento il pc puoi semplicemente usare il comando ollama run gemma2 e ti viene recuperato il modello che hai già installato in precedenza. Spero di esserti stato utile. Grazie per il commento. Ciao
Ciao, purtroppo le risorse richieste non sono poche, ma soprattutto riguardano le GPU. Chiaramente quello che si può fare con le normali risorse di un laptop è il minimo, giusto per sviluppi e test. Ci vorrebbe poi un hardware dedicato (e quindi un investimento per un'azienda che ad esempio vuole un server dedicato dove tenere il proprio modello nella propria rete locale) calibrato a dovere per il modello scelto, soprattutto in base a quanti miliardi di parametri esso ha. Cercando su internet ho trovato le GPU consigliate per il numero di parametri dell'LLM scelto (da prendere ovviamente con le pinze, perché andrebbero fatti dei test, probabilmente possono andare bene anche con qualcosa di meno): 7B (GPU con 10 GB di VRAM), 13B (Nvidia RTX 3090 o RTX 4090 con 24 GB VRAM), 70B (Nvidia A 100 con 80 GB VRAM). Spero di aver risposto alla tua domanda. Grazie mille. Ciao!
Salve,scusami,ma una volta istallato gemma2,dopo che spengo il pc,come posso aprire nuovamente gemma2?Che comando devo dare e dove?
Ciao, una volta che hai installato il modello per la prima volta, dopo aver spento il pc puoi semplicemente usare il comando ollama run gemma2 e ti viene recuperato il modello che hai già installato in precedenza. Spero di esserti stato utile. Grazie per il commento. Ciao
Scusa la domanda, ma di che hardware si ha bisogno per far girare bene queste AI ???
Ciao, purtroppo le risorse richieste non sono poche, ma soprattutto riguardano le GPU. Chiaramente quello che si può fare con le normali risorse di un laptop è il minimo, giusto per sviluppi e test. Ci vorrebbe poi un hardware dedicato (e quindi un investimento per un'azienda che ad esempio vuole un server dedicato dove tenere il proprio modello nella propria rete locale) calibrato a dovere per il modello scelto, soprattutto in base a quanti miliardi di parametri esso ha.
Cercando su internet ho trovato le GPU consigliate per il numero di parametri dell'LLM scelto (da prendere ovviamente con le pinze, perché andrebbero fatti dei test, probabilmente possono andare bene anche con qualcosa di meno):
7B (GPU con 10 GB di VRAM), 13B (Nvidia RTX 3090 o RTX 4090 con 24 GB VRAM), 70B (Nvidia A 100 con 80 GB VRAM).
Spero di aver risposto alla tua domanda. Grazie mille. Ciao!