@@Raynoxis J'ai fais l'installe en 1h avec ton tuto en back et sur le proc et la ram c'est tout pourri il hallucine beaucoup et sur le gpu CUDA 33couches (j'ai une 4060) c'est mieux mais très lent quand tu es habitué a l'expérience GPT4
@@Risbo__ ah ouais 33 couches ! J’ai pas essayé autant ! Et ouai c’est plus lent c’est sure mais le fait de l’avoir en local , c’est vraiment dingo , n’importe quel entreprise peut y injecter ses données même confidentielles et l’utiliser pour coder ou faire du document je sent que ça va pas rester gratuit longtemps tout ça haha
@@Raynoxis j'en discutais avec un pote qui bosse dans une Banque ou justement l'importance des non fuites de données est importante et ils ont quand meme du investir dans des : PNY NVIDIA A100 80 GB ~20K pour avoir des resultats probants donc est ce qu'une solution API openai ne reste toujours pas pour le moment la solution la plus pertinente pour des boites ayant moins de souci avec le partage de données ?
@@Risbo__ Si tu as raison une entreprise qui ne travaille pas avec des données privées pourra partir sur une solution openai .. après faut voir le nombre d’utilisateurs , les modèles à abonnement peuvent vite monter les prix ou faire des licences par utilisateur et la facture peut grimper je pense…
Les ordinateurs utilisent différents types de mémoire afin d'optimiser la rapidité d'accès aux données et la quantité de stockage disponible. Par exemple, si ta VRAM est pleine, les données excédentaires seront déplacées vers la RAM, et si ta RAM est également pleine, elles seront alors transférées vers ton disque dur. Donc pas besoins d'avoir 100Go de VRAM.
Oui tu as raison , mais pour l IA si je dis pas de betise les calculs sont souvent des calculs parallèles comme pour de la génération graphique, donc le gpu est censé être plus fortement utilisé et sa VRAM également , que le CPU et sa RAM c’est ça qui m’a rendu perplexe… Je pense qu’on peut faire de nombreuses optimisations c’est certain ☺️
Hello, merci pour ce tuto de qualité, j'ai une erreur lors de l'exécution du script convert.py qui ne reconnais pas l'extension safetensors de mistral, j'ai été regardé dans le code, et au vue de ce qui y est indiqué il y a une vérification des premiers octets du fichier pour en déterminé si il s'agit d'un torch, d'un safetensors, ou si inconnu (ln 888 convert.py) Loading model file ../Mistral-7B-Instruct-v0.2/model-00001-of-00003.safetensors Traceback (most recent call last): File "/home/***/Mistral/llama.cpp/convert.py", line 1474, in main() File "/home/***/Mistral/llama.cpp/convert.py", line 1410, in main model_plus = load_some_model(args.model) File "/home/***/Mistral/llama.cpp/convert.py", line 1270, in load_some_model models_plus.append(lazy_load_file(path)) File "/home/***/Mistral/llama.cpp/convert.py", line 888, in lazy_load_file raise ValueError(f"unknown format: {path}") ValueError: unknown format: ../Mistral-7B-Instruct-v0.2/model-00001-of-00003.safetensors une idée ?
@@Raynoxis j'ai un peu essayé dans tout les sens en suivant très exactement tes indications, et je me retrouve toujours devant le même soucis, au final après un peu de recherche je suis passé par Ollama une librairie de linux qui permet directement d'installer Mistral dans sa dernière version sans passer par toutes les commandes et installations. ça permet aussi d'exposer une api local pour pouvoir jumeler la session terminal avec un frontend pour avoir une meilleure lisibilité
![เปิดบ้าน พี่ตูน Bodyslam หลังใหม่คนแรก ที่ภูเก็ต l [Nickynachat]](http://i.ytimg.com/vi/flFwcmyDQSk/mqdefault.jpg)
J'ai vu l'info dans underscore il y a quelques mois et je voulais me pencher sur le sujet mtn, tu tombe à pic !
Purée mais tout les sujets que tu traitent sont vraiment ceux qui m'interrogent à l'instant T ! encore un tuto au top ! merci !
Haha excellent 👌🏻 ! Tu me diras ce que ça donne ! Merci beaucoup ☺️
@@Raynoxis J'ai fais l'installe en 1h avec ton tuto en back et sur le proc et la ram c'est tout pourri il hallucine beaucoup et sur le gpu CUDA 33couches (j'ai une 4060) c'est mieux mais très lent quand tu es habitué a l'expérience GPT4
@@Risbo__ ah ouais 33 couches ! J’ai pas essayé autant ! Et ouai c’est plus lent c’est sure mais le fait de l’avoir en local , c’est vraiment dingo , n’importe quel entreprise peut y injecter ses données même confidentielles et l’utiliser pour coder ou faire du document je sent que ça va pas rester gratuit longtemps tout ça haha
@@Raynoxis j'en discutais avec un pote qui bosse dans une Banque ou justement l'importance des non fuites de données est importante et ils ont quand meme du investir dans des : PNY NVIDIA A100 80 GB ~20K pour avoir des resultats probants donc est ce qu'une solution API openai ne reste toujours pas pour le moment la solution la plus pertinente pour des boites ayant moins de souci avec le partage de données ?
@@Risbo__ Si tu as raison une entreprise qui ne travaille pas avec des données privées pourra partir sur une solution openai .. après faut voir le nombre d’utilisateurs , les modèles à abonnement peuvent vite monter les prix ou faire des licences par utilisateur et la facture peut grimper je pense…
Les ordinateurs utilisent différents types de mémoire afin d'optimiser la rapidité d'accès aux données et la quantité de stockage disponible.
Par exemple, si ta VRAM est pleine, les données excédentaires seront déplacées vers la RAM, et si ta RAM est également pleine, elles seront alors transférées vers ton disque dur.
Donc pas besoins d'avoir 100Go de VRAM.
Oui tu as raison , mais pour l IA si je dis pas de betise les calculs sont souvent des calculs parallèles comme pour de la génération graphique, donc le
gpu est censé être plus fortement utilisé et sa VRAM également , que le CPU et sa RAM c’est ça qui m’a rendu perplexe… Je pense qu’on peut faire de nombreuses optimisations c’est certain ☺️
pourquoi pas juste installer LM Studio ?
Je ne connaissais pas je vais y jeter un coup d’œil ! Llama.cpp est un peu plus brute c’est vrai haha mais ça reste fonctionnel 😁
Géant. Quel est la procédure pour entraîner ton IA perso, avec tes données (PDF, fichiers textes Questions/ Réponses, ...) ? Merci.
Salut C'est assez compliqué pour le moment, mais c'est la prochaine étape, et les choses vont très vite en ce sens !
Est qu'il peut fonctionner sans des GPU?
Yess
Hello, merci pour ce tuto de qualité, j'ai une erreur lors de l'exécution du script convert.py qui ne reconnais pas l'extension safetensors de mistral, j'ai été regardé dans le code, et au vue de ce qui y est indiqué il y a une vérification des premiers octets du fichier pour en déterminé si il s'agit d'un torch, d'un safetensors, ou si inconnu (ln 888 convert.py)
Loading model file ../Mistral-7B-Instruct-v0.2/model-00001-of-00003.safetensors
Traceback (most recent call last):
File "/home/***/Mistral/llama.cpp/convert.py", line 1474, in
main()
File "/home/***/Mistral/llama.cpp/convert.py", line 1410, in main
model_plus = load_some_model(args.model)
File "/home/***/Mistral/llama.cpp/convert.py", line 1270, in load_some_model
models_plus.append(lazy_load_file(path))
File "/home/***/Mistral/llama.cpp/convert.py", line 888, in lazy_load_file
raise ValueError(f"unknown format: {path}")
ValueError: unknown format: ../Mistral-7B-Instruct-v0.2/model-00001-of-00003.safetensors
une idée ?
Salut merci beaucoup pour ton retour ! ☺️ Tu as bien fait les petites commande python venv ?
@@Raynoxis je t'en prie ^^, oui j'ai bien activé l'environnement python en terminal
Soumets le a chatGPT, la réponse pourrait être intéressante 😂
@@VikInks c’est étonnant avec le petit fichier à sourcer normalement ça devrait te donner tout le nécessaire 😕
@@Raynoxis j'ai un peu essayé dans tout les sens en suivant très exactement tes indications, et je me retrouve toujours devant le même soucis, au final après un peu de recherche je suis passé par Ollama une librairie de linux qui permet directement d'installer Mistral dans sa dernière version sans passer par toutes les commandes et installations. ça permet aussi d'exposer une api local pour pouvoir jumeler la session terminal avec un frontend pour avoir une meilleure lisibilité