Comme d'hab imple et claire. Idée: Exemple d'interfacer llama3 avec des commandes système par exemple surveille le ping vers un site, analyser un log...
Si tu veux pas l'installer tu peux le déployer sous forme de container il existe un image ollama. Sinon tu peux aussi passer par l'application gpt4all qui propose une interface graphique et qui est dispo en flatpak
Le problème avec le local est la date de son entraînement du modèle. Par exemple, ne posez pas une question sur un événement qui s'est passé il y a deux semaines à un modèle de juin 2024. J'avais installé LM Studio au printemps dernier, mais je ne l'utilise que très rarement. J'utilise plutôt Perplexity. En général, le modèle 70B donnera une réponse plus réfléchie et plus détaillée pour des questions qui ne dépassent pas la date de son entraînement. Pour le 8B, la réponse sera plus basique (plus bête) , et si tu le corriges, il s'excusera. C'est une des faiblesses du local : ils passent leur temps à s'excuser.
Perplexity est en effet en "temps réel". Mais l'avantage du local c'est que tu peux modeler le modèle à ta façon, je le montrerai dans une prochaine vidéo. Mais tu n'as pas besoin de connexion à Internet, tu peux l'héberger toi même et l'intégrer à tes applications sans frais d'API.
Bonjour, ça me tenterai bien de l'installer sur mon laptop... Est-ce que les 4 Go de données peuvent être mises dans la partition /home ? Il ne me reste que 22 Go à la racine et je voudrais éviter de la remplir complètement, sinon faudrait que je m'amuse à redimensionner mais peur de casser LUKS...
Oui, tu peux installer dans le home. par défaut c'est dans /usr/share/ollama/.ollama/models mais on peut changer l'emplacement , je vais prévoir une vidéo spécifique sur ce point
cool! je suis curieux de savoir quelle différence de résultat il y a entre le modèle 8b et le 70b.. quelle ressources pour le 405b? ça me donne envie de tester! merci pour cette vidéo!
👍 Je n'ai plus de machine avec suffisemment de RAM pour tester. La version 70b donnait des résultats déjà très intéressants et plus précis que 8b. Pour le 405b, il suffit de la récupérer, et de tester de la lancer, il dira ce qu'il est nécessaire d'avoir (c'est peut être indiqué dans une doc aussi)
Salut Adrien, merci pour ta vidéo. Juste une petite question stp. Je sais que tu es actuellement focalisé sur Ollama, mais penses tu pouvoir faire vite fait un petit comparatif avec Pinokio si jamais tu en as le temps et l'envie bien entendu. Je te remercie d'avance.
Bonjour Adrien, j'ai peut-être raté un truc mais il m'a semblé que tu allais montrer la charge processeur quand ollama est en train de répondre puisque tu la montres avant. Ça aurait été intéressant de voir la charge processeur sur ce "petit" modèle.
Intéressant!!! Juste une remarque, j'ai, par réflexe lorsque j'installe un serveur, choisi l'installation en English. Quand llama tourne et que je lui pose une question en français, il me répond en anglais.
Sur les modèles de petite taille, il peut en effet ne pas répondre en français. Cela dépend aussi du nombre de mots dans la question. Plus il y en a et plus il saura détecter le français
Salut, je préfère montrer toutes les étapes d'installation et de traiter le sujet de façon complète. On a ainsi la connaissance du fonctionnement, rendant plus facile le "debug" en cas de soucis. Dans la plupart des cas, je préfère cette approche, sans être spécialement réfractaire à docker (ou podman)
Excellente vidéo et explications. Est-ce possible de faire tourner ollama sur WSL2 sous Windows 11 64 bits pro (64 Go RAM, 6 To SSD) en utilisant votre tuto ?
A tester, je ne sais pas, je n'ai pas de machine Windows pour faire le test. De plus je ne sais pas comment le calcul GPU se fait. Mais il existe une version Windows de Ollama
Oh que la série qui s'annonce va être intéressante surtout que je viens de changer mon poste pro .... 🙂. Par curiosité tu utilises quoi comme distrib linux pour faire tourner tout le reste ?
Comme indiqué dans le descriptif, Fedora Workstation sur mon PC Fixe (idem sur le PC portable où je fais mes formations Linux) Le serveur à la maison qui fait tout est sous Gentoo
Ah zut j'avais pas vu que tu avais mis cette info dans la description. Est ce que tu pense faire une vidéo sur l'installation de cuda ? Sur mon poste fixe de boulot j'ai une carte NVIDIA et j'aimerais bien l'utiliser pour faire un peu d'IA.
Salut, j'espère que tu montrera comment connecter cette LLM à une interface graphique du type web comme Open-webui, et même des applications desktop !!!
Cela s'appelle un RAG (Retrieval augmented generation) Tu peux utiliser ollama en mode server et une interface qui se connectera à ollama. Exemple d'interface : Openwebui (interface web) ou lmstudio, tu fourniras les documents dans l'UI que tu as choisis et le LLM analysera tes documents.
yo, super video comme dab, je sais pas si tu connais ,pour ce qui sont allergique a la ligne de cmd il existe un flatpak Alpaca l'appli desktop de ollama
Salut Adrien . Avec casa OS y’a des module pour l’intelligence artificielle. Une plate-forme qui ressemble à ChatGPT et qui utilise le GPU et CPU de ton PC. Il y a d’autres trucs que je n’ai jamais exploré. Pourrais-tu en faire une vidéo ?😂
Question de noob ... j'ai plutôt apprécié le llm "aya" mais , passons. Comment faire pour que l'ia puisse bosser sur un fichier local , c'est le truc que je n'ai pas trouvé. Si tu as des llm à recommander selon ce qu'on veut faire, comme par exemple , travailler sur un fichier de tableur... je suis preneur aussi d'une vidéo explicative .
Tien il faut que je teste ça sur mon pc Linux. Jje viens juste d,installer sur mon pc de boulot sous Windows LM Studio + AnythingLLM pour essayer d,avoir un chat AI que j'enrichis avec des tas de docs professionnelles (pdf, Word) que jui fait ingurgiter.
Merci !
Merci beaucoup pour le don !
Comme d'hab imple et claire. Idée: Exemple d'interfacer llama3 avec des commandes système par exemple surveille le ping vers un site, analyser un log...
Merci pour cette vidéo , j espère que vous ferez une vidéo sur les RAG utilisant ollama , bravo
Ce n'est pas prévu, mais je note l'idée.
Il t'as saucé dans le descriptif du site. ^^
Très intéressant. Merci.
haha
Salut Adrien, j'espère que tu prévois de parler de Open-webui, l'interface Web pour Olama. 😉
Oui c'est prévu
Tu es merveilles ma curiosité, je vais regarder. Merci David et merci Adrien
Merci Adrien. Hate de découvrir les fonctions avancées de Ollama
Oui !
bonjour ou bonsoir, après installation, peut-on le désinstaller proprement?
intéressé aussi par cette question!
Si tu veux pas l'installer tu peux le déployer sous forme de container il existe un image ollama. Sinon tu peux aussi passer par l'application gpt4all qui propose une interface graphique et qui est dispo en flatpak
@@Darktreize déjà installé mais j'aimerais le désinstaller proprement car je préfère pinokio
@@deadman5714 ah ok. du coup faut suivre le process dans l'autre sens, supprimer le user puis les libs et le binaire associé
Oui tu peux, je n'ai pas prévu d'en parler mais je me le note
je cherche a mettre l'ia au commande mon pc mes a chaque fois je fait planté le systeme probléme sudo , tu c'est comment je pourrais faire
Le problème avec le local est la date de son entraînement du modèle. Par exemple, ne posez pas une question sur un événement qui s'est passé il y a deux semaines à un modèle de juin 2024.
J'avais installé LM Studio au printemps dernier, mais je ne l'utilise que très rarement.
J'utilise plutôt Perplexity.
En général, le modèle 70B donnera une réponse plus réfléchie et plus détaillée pour des questions qui ne dépassent pas la date de son entraînement.
Pour le 8B, la réponse sera plus basique (plus bête) , et si tu le corriges, il s'excusera. C'est une des faiblesses du local : ils passent leur temps à s'excuser.
Perplexity est en effet en "temps réel".
Mais l'avantage du local c'est que tu peux modeler le modèle à ta façon, je le montrerai dans une prochaine vidéo. Mais tu n'as pas besoin de connexion à Internet, tu peux l'héberger toi même et l'intégrer à tes applications sans frais d'API.
Merci pour cette vidéo. Quelle est la configuration minimale pour le matériel ?
Pour Ollama, très peu. Cela va dépendre en fonctio n des modèles qui seront utilisés.
Bonjour, ça me tenterai bien de l'installer sur mon laptop... Est-ce que les 4 Go de données peuvent être mises dans la partition /home ? Il ne me reste que 22 Go à la racine et je voudrais éviter de la remplir complètement, sinon faudrait que je m'amuse à redimensionner mais peur de casser LUKS...
Oui, tu peux installer dans le home.
par défaut c'est dans /usr/share/ollama/.ollama/models mais on peut changer l'emplacement , je vais prévoir une vidéo spécifique sur ce point
@ merci beaucoup, j’ai vu que la vidéo est sortie, je regarderai cela la semaine prochaine.
cool! je suis curieux de savoir quelle différence de résultat il y a entre le modèle 8b et le 70b.. quelle ressources pour le 405b? ça me donne envie de tester! merci pour cette vidéo!
Au dessus de 8B, il faut un GPU. le CPU est trop lent pour les gros modèle de LLM
👍
Je n'ai plus de machine avec suffisemment de RAM pour tester.
La version 70b donnait des résultats déjà très intéressants et plus précis que 8b.
Pour le 405b, il suffit de la récupérer, et de tester de la lancer, il dira ce qu'il est nécessaire d'avoir (c'est peut être indiqué dans une doc aussi)
-Salut adrien, stp je peux savoir c'est quel distribution Linux tu utilises sur ton ordi j'aime bien l'interface. Merci. 👍🏾
Il s'agir de Fedora Workstation :)
Salut Adrien, merci pour ta vidéo.
Juste une petite question stp. Je sais que tu es actuellement focalisé sur Ollama, mais penses tu pouvoir faire vite fait un petit comparatif avec Pinokio si jamais tu en as le temps et l'envie bien entendu.
Je te remercie d'avance.
Je vais déjà finir les petits trucs sur Ollama.
Il faut que je regarde aussi llamacpp, je note aussi dans la liste pinokio
@@AdrienLinuxtricks Merci 👍
Tres intéressant, un petit tuto sur comment le faire fonctionner avec letta en parallèle de prévu ?
Je note la suggestion
Bonne vidéo!
Par docker, c'est rapide aussi!
Aussi, ici, je souhaite comme d'hab montrer toutes les étapes pour comprendre comment ça fonctionne ;)
tuto tres bien expliqué, le prochain pourrait etre axé sur open webui ?
Bonjour Adrien, j'ai peut-être raté un truc mais il m'a semblé que tu allais montrer la charge processeur quand ollama est en train de répondre puisque tu la montres avant. Ça aurait été intéressant de voir la charge processeur sur ce "petit" modèle.
Ah oui, j'ai loupé, c'est 100% sur tous les coeurs !
@AdrienLinuxtricks merci !!
Intéressant!!!
Juste une remarque, j'ai, par réflexe lorsque j'installe un serveur, choisi l'installation en English.
Quand llama tourne et que je lui pose une question en français, il me répond en anglais.
Pas dépendant de la langue du système: j'ai fait un reinstall en Français, cette fois, et il me répond toujours en anglais.
Strange.
Je lui ai demandé pourquoi elle me répond en anglais et depuis elle répond en français... Trop drôle.
Sur les modèles de petite taille, il peut en effet ne pas répondre en français. Cela dépend aussi du nombre de mots dans la question. Plus il y en a et plus il saura détecter le français
Très intéressant Merci et bravo ! j'attends la suite avec impatience
Très bientôt, je vais essayer d'alterner Linux et IA dans les prochaines vidéos
Super intéressant, une video qui ouvre des horizons ... vivement la suite BRAVO
Oui bientôt ! je vais essayer d'alterner Linux et IA dans les prochaines vidéos
Salut et merci pour ta vidéo, pourquoi ne pas l’installer avec Docker?
Salut, je préfère montrer toutes les étapes d'installation et de traiter le sujet de façon complète.
On a ainsi la connaissance du fonctionnement, rendant plus facile le "debug" en cas de soucis.
Dans la plupart des cas, je préfère cette approche, sans être spécialement réfractaire à docker (ou podman)
@@AdrienLinuxtricks Merci de ta réponse. Donc dans un premier temps tu me conseille de l'installer comme toi sans Docker ou autre?
Merci pour cette vidéo, comme toujours détaillée et claire.
Merci !
Excellente vidéo et explications. Est-ce possible de faire tourner ollama sur WSL2 sous Windows 11 64 bits pro (64 Go RAM, 6 To SSD) en utilisant votre tuto ?
A tester, je ne sais pas, je n'ai pas de machine Windows pour faire le test.
De plus je ne sais pas comment le calcul GPU se fait.
Mais il existe une version Windows de Ollama
Très intéressant, merci.
Avec plaisir
Oh que la série qui s'annonce va être intéressante surtout que je viens de changer mon poste pro .... 🙂. Par curiosité tu utilises quoi comme distrib linux pour faire tourner tout le reste ?
Fedora Server et Fedora Workstation 😉
Comme indiqué dans le descriptif, Fedora Workstation sur mon PC Fixe (idem sur le PC portable où je fais mes formations Linux)
Le serveur à la maison qui fait tout est sous Gentoo
Ah zut j'avais pas vu que tu avais mis cette info dans la description. Est ce que tu pense faire une vidéo sur l'installation de cuda ? Sur mon poste fixe de boulot j'ai une carte NVIDIA et j'aimerais bien l'utiliser pour faire un peu d'IA.
Salut, j'espère que tu montrera comment connecter cette LLM à une interface graphique du type web comme Open-webui, et même des applications desktop !!!
Oui, c'est prévu
malade merci beaucoup pour ce beau tuto
Merci !
j'ai rocm 6.1.1 sous gentoo, tout le reconnais bien sauf ollama qui veut un clef spécifique dans /sys... domage
Vraiment sympa tes vidéos, très clair.
Merci !
Est-ce que cest possible de lui faire apprendre des documents interne specifique?
Cela s'appelle un RAG (Retrieval augmented generation)
Tu peux utiliser ollama en mode server et une interface qui se connectera à ollama.
Exemple d'interface : Openwebui (interface web) ou lmstudio, tu fourniras les documents dans l'UI que tu as choisis et le LLM analysera tes documents.
On va en parler, c'est prévu !
yo,
super video comme dab,
je sais pas si tu connais ,pour ce qui sont allergique a la ligne de cmd il existe un flatpak Alpaca l'appli desktop de ollama
Oui, je connais, c'est dans la liste des thèmes à aborder
Très intéressant😄:)
Merci
L'idée est excellente et m'a donné envie de faire une installation mais avec mes 8go de ram je ne vais pas aller loin 🤣🤣
Tu peux tester avec un petit LLM, cela permet de s'amuser quand même un peu (mais moins précis)
Ce qui serait utile, c'est de pouvoir fournir des documents au modèle et de pouvoir l'interroger ensuite sur ces documents.
On va voir jusqu'où on peut aller ;)
Merci.
:)
Salut Adrien .
Avec casa OS y’a des module pour l’intelligence artificielle. Une plate-forme qui ressemble à ChatGPT et qui utilise le GPU et CPU de ton PC. Il y a d’autres trucs que je n’ai jamais exploré. Pourrais-tu en faire une vidéo ?😂
On a parlé de casaOS il y a un moment, mais il n'y avais pas de module IA (on n'avait pas exploré le sujet)
♥
top merci
De rien
merci adrien!
;)
@@AdrienLinuxtricks heureusement que tes videos sont là, c est vraiment trop cool
Merci beaucoup pour la vidéo 🤩
De rien :)
Trop cool! Hate de voir la suite 🙂 Merci pour le partage 🙂
ça va arriver, je vais essayer d'alterner Linux et IA dans les prochaines vidéos
Top… comme d'hab…
Merci
Toujours super bien expliqué, bravo.👍
Merci à toi 😊
Au top, comme toujours, merci 👍
Merci à toi 👍
Intéressant 👍!
Merci !
Une présentation de clear linux est-elle prévue prochainement ? J'ai des problèmes pour installer la version desktop en vm personnelement ^^.
Ce n'est pas prévu pour le moment, mais j'avais noté il y a 2 ans de la tester, ce que je n'ai jamais fait
Un peu d'IA, cool !
Question de noob ... j'ai plutôt apprécié le llm "aya" mais , passons. Comment faire pour que l'ia puisse bosser sur un fichier local , c'est le truc que je n'ai pas trouvé. Si tu as des llm à recommander selon ce qu'on veut faire, comme par exemple , travailler sur un fichier de tableur... je suis preneur aussi d'une vidéo explicative .
C'est un peu plus compliqué que ça, je vais voir comment faire une vidéo sur le sujet ou un tuto, en fonction de la machine que j'ai à ma disposition
Tien il faut que je teste ça sur mon pc Linux. Jje viens juste d,installer sur mon pc de boulot sous Windows LM Studio + AnythingLLM pour essayer d,avoir un chat AI que j'enrichis avec des tas de docs professionnelles (pdf, Word) que jui fait ingurgiter.
regarde la vitesse de ta connexion. je n'arrive meme pas a avoir 5MB/s
+1
:)
First 🤗:)
héhé
Vraiment sympa tes vidéos, très clair.
Merci !