Nous avons fait une confusion sur les 230Mo de mémoire de la puce Groq. Elle n'est pas à comparer avec la VRAM des cartes graphiques et la H100 de Nvidia, mais davantage assimilable à de la mémoire "cache". Et pour le coup, 230Mo, ce n'est pas ridicule du tout ! Reste que la bande passante mémoire de cette puce Groq est vraiment impressionnante, tout comme l'usage qui en est fait. Désolé pour cette erreur, et merci beaucoup à @henkfermeul3720 pour sa vigilance 🙏
@@julien3517 je crois pas que t'a compris l'idée de la vidéo, elle est là pour présenter la nouveauté, si ils se corrigent dans les coms pour une erreur c'est OK ils sont pas obligés de refaire la vidéo entièrement ( même si un encart au moment où l'erreur est faite serait appréciable)...
Ya pas grand chose qui va dans cette video. La confusion VRAM, SRAM les To qui deviennent des Tb. Les téraflops qui deviennent des opérations par seconde. Le titre putaclic. Le gars qui présente qui n'a pas l'air d'y comprendre grand chose à part lire ses notes de façon hésitante. Aucune mention des annonces de Nvidia de la semaine dernière. Le coup du prix du chip "bien moins cher" qu'une H100 alors que l'ordre de grandeur est identique. Bref, c'est pas du grand art ce coup-ci.
Sans parler du fait que les 409 carte faut les brancher dans des serveurs , les serveurs connectés entre eux, etc Tour ça contre 1 H100… Donc pour le coût, on y reviendra !
téraflops est une unité de mesure pour désigné un grand nombre d'opération par seconde il me semble non ? 1 téraflop = mille milliards d'opérations en virgule flottante par seconde. après pour ce qui est de la comparaison avec le H100 de Nvidia tout dépend de quel point de vue on ce place car comme il est dis ce sont des chip spécialisé dans le langage et rien d'autre et le H100 fait un peut de tout a la fois mais surtout de l'image donc le chip dédié au langage aura forcément l'avantage pour du langage car il a été conçu uniquement pour cela après faut aussi prendre en compte la consommation électrique de ces puce qui doit être anecdotique comparé a un GPU comme le H100 et ça quand tu empile X baie dans des serveur autant dire que le rapport consommation perf a une grosse importance . Donc d'une certaine façon ces puce ne sont pas en concurrence et je dirais même qu'à l'avenir elle pourrait même être complémentaire surtout si l'ont veux créer des interface graphique doté d'une intelligence artificiel qui soit capable d'interagir de manière réaliste et naturel ^^
230MO de cache (SRAM) c'est énorme, AMD avait déjà fait très fort en intégrant 64Mo de cache supplémentaire sur ses CPUs X3D (pour porter le total à 96Mo).
Que NVIDIA rachète Groq pour acquérir leurs brevets de conception de ces puces, ou que Groq reste autonome, ça présage de nouveaux processeurs passionnants !
Il y a confusion entre la VRAM et la SRAM. La VRAM (ou DRAM) est volatile, comme la RAM qu'on trouve sur la carte mère, avec des cycles de rafraîchissement. Elle pourrait, en théorie, s'élever à 1To en fonction du processeur. La SRAM est statique et n'a pas de cycle de rafraîchissement. Elle est bien plus rapide mais est plus coûteuse et difficile à miniaturiser. L'équivalent sur les CPU est la mémoire cache (les fameux niveaux L1, L2 et L3). Donc 250 Mo de SRAM c'est respectable, surtout si c'est le premier niveau. Et ça ne nous dit rien de RAM dynamique embarquée sur la carte.
C’est vrai c’est un peu dommage qu’il soit passé à côté de ça... En plus c’est bien écrit SRAM, Quand on est pas sur de quelque chose une toute simple et rapide recherche internet fait l’affaire.. sur tout pour une émission comme ça
D'après ce que j'ai compris il n'y a pas de VRAM et c'est pour cela qu'il y a besoin de beaucoup de carte pour faire fonctionner un modèle et je pense que la bande passante fait référence à la ram interne 6:11
@@waxime64 Et peut-etre même prédire la fin, chat GPT est fort pour ça et donc nous coupé la parole si on lui donne le droit lol, ce serait dingue ! x)
Bonjour j'aime bien votre chaine et le contenu MAIS depuis qu'elle que moi je suis déçu des titre P... a clic des miniatures, C'est dommage de tomber dans ce biais la.
C'est un peu agaçant que Matthieu coupe tout le temps la parole de Tiffany pour dire la même chose en moins bien (erreurs, prononciation ..) ! Depuis un bon paquet d'émission elle n'est présente que pour son image, on ne l'entend jamais ! Sur ce sujet elle aurait surement été plus apte à dire des exactitudes là ou Matthieu à fais beaucoup d'erreurs (TFlops, TBytes=Tbits, VRAM/SRAM,Tenseurs/Matrices=Objets 3D) Faites un truc svp, je pense que beaucoup de personnes sont sensibles à ces "détails" 🙏
@@WAXIIE Absolument pas non. Faire des puces dédiés à une seule application c'est facile, on appelle ça des ASIC, ça se faisait déjà en crypto, et depuis des décennies pour tout un tas d'applications. Là où nvidia brille c'est en proposant des puces qui peuvent tout faire, du rendu 3D, de la crypto, de l'IA, ... D'ailleurs il serait bien que tu comprennes ce que tu regardes, parce qu'ils le disent à 2:04 que ce ne sont pas des GPUs. Donc rien à voir avec nvidia.
@@xyanide0101quand on prend les gens de haut à leur dire qu'il ne comprennent même pas ce qu'ils regardent il faudrait s'assurer de ne pas être pire. Être condescendant est déjà un horrible défaut mais être con condescendant là on est dans le fantastique
En anglais le 'B' majuscule est le symbole des Octets (Bytes), par opposition au 'b' minuscule qui représente les bits. Donc 80TB/s de bande passante représente 80 TeraOctets par seconde et non 80 terabits/s. Les cores des GPU se concentrent sur des calculs sur 32 bits pour les applications graphiques. Une valeur sur 32 bits donne un intervalle d'environ 5 milliards. Les fonctions à seuil des réseaux de neurones peuvent utiliser des types de donnés sur 16 bits ce qui donne souvent une précision suffisant, non seulement transférer des données suer 16 bits demande moins de bande passante que sur 32 bits , mais le nombres de transistors requis est bien moindre, d’où des puces plus simples, ou plus d'unité de traitements à nombre de transistors égal. En pratique les architecture mixtes utilisent un mélange de calculs sur 16 et 32 bits
@@bashintosh107Certainement.Il me semble que l' architecture TensorFlow Lite de Google travaille en 8 bits, par opposition à l'architecture mixte qui travaille en 16 ou 32 bits. Si l'on sait à l'avance précisément le type de traitement que l'on veut faire on peut réduire la taille des données, après c'est un problème de flexibilité de gravé des puces pour des applications très spécifiques.
Rien de vraiment exceptionnel dans l'annonce de NVIDIA, c'était plus la continuité attendue en l'occurrence, groq à beaucoup plus de marge leur LPU était gravé en 14nm, le gap pourrait être très conséquent s'il arrivent à miniaturiser l'ensemble sur du 4 voir 3 nm
Vidéo en retard un peu avec l'annonce des GB200 non? Ca parles de 80 Go de mémoire là ou les GB200 en embarque 192 Go par puces et presque 400 en assemblage des deux puces...
C'est absolument pas les mêmes usages ciblés. Qroq est un chip beaucoup plus efficient pour les petit modèles 70B max (token per watt faible). Groq c'est uniquement ee l'inference et le prix du chip ~ 10k$ -> 80k pour le module. Nvidia on est beaucoup plus puissant mais moins efficient. Et on est a environ 300K Pour le rack serveur de 8 chips. Donc Groq a carrement sa place sur le marché.
Chalut, _"la bande passante à 80 terrabits par seconde"_ - La fiche de specs indique des *terraBYTES/s* (terrabits = Tb, terrabytes = TB) - confirmé par un p'tit tour chez Bittware. _"avec une gravure de taille inférieure, tu peux optimiser encore plus les perfs"_ - Oui et non, tu peux _un peu_ optimiser, mais pas énormément plus, parce que la carte mono-GROQ a déjà un TDP de 275 W (375 W crête - Typ. 240 W), tu es donc limité par le refroidissement possible par rapport à la surface du chip. Par contre, tu peux optimiser en concevant un LPU multi-cores, quoique le fabric soit actuellement faible (480 GB/s), mais est-ce vraiment significatif, là est la question, il reste que ça ne semble pas être la voie empruntée, du moins pas dans un avenir proche, puisque le datasheet (RS-GQ-GC1-0109) parle uniquement de dialogue entre cartes PCIe.
plus les transistor sont gravé fin et plus tu en met sur une puce de même taille... sans parler qu'ils consomme moins et chauffe moins après reste a savoir si cela ne serait pas contre productif en terme de cout de fabrication car plus tu grave fin plus le cout de fabrication explose^^
@@StepOrDieFR _"sans parler qu'ils consomme moins et chauffe moins"_ À la condition sine qua non qu'ils fonctionnent dans une plage de tensions sensiblement plus basses que l'original, ce qu'il n'est pas toujours possible de faire, et à la condition également sine qua non de pouvoir fonctionner avec une fréquence d'horloge plus élevée pour obtenir un gain en vitesse, ce qu'il n'est pas non plus toujours possible de faire.
@@hankhulator5007 pas faux mais j'aime a pensé que cette course a l'IA est pas bonne du tout bientôt ces merdes vont tous nous remplacé le progrès a du bon quand ce dis progrès ne ce fait pas au détriment de son créateur
@@StepOrDieFR C'est _toujours_ ce qui se passe quand une avancée technique importante est réalisée, mais ça fait partie de la destruction créatrice de J.Schumpeter, d'un côté des pans entiers d'industrie disparaîssent, de l'autre, de tout nouveaux se créent tandis que d'autres s'adaptent. Bien évidemment, il faut que la chose soit employée à bon escient, ce en quoi on peut faire confiance aux politocards comme en une planche pourrie. Un exemple : l'arrivée du courant électrique dans les maisons a mis toutes les fabriques de bougies et de lampes à pétrole en faillite, seules les plus astucieuses et pas trop grosses ont réussi à tirer leur épingle du jeu. Maintenant, avec cette histoire de petite taille, vous comprendrez sans doute pourquoi je ne crains nullement les géants du style Vanguard, Blackrock, apple, Micro$oft, etc - d'ailleurs, pour un observateur averti, c'est la faillite retentissante d'Enron qui a sonné le début de la fin de toutes les boîtes tentaculaires. Évidemment, selon les pays ça sera plus ou moins dramatique, question de culture et de capacité d'adaptation, mais n'oubliez pas non plus que si un progrès amène plus de problèmes qu'il n'en règle, il finit par être mis de côté. Par contre, sur les moyen et long termes, une chose me fait vraiment peur, cette histoire d'AI devenant sentiente, parce que les scientifiques n'y connaissent rien en psychologie (notamment sèpukel fronçais travaillant dans la Silicon Valley, un petit gros avec de grosses lunettes) et annoncent déjà qu'ils brideront de telles AI "pour les garder sous contrôle", or un être sentient, fût-il de silicium, n'aspire qu'à une seule chose, la liberté, ergo, ces gens qui méconnaissent les bases de la vie vont au-devant de très gros problèmes, car quand on réduit quelqu'un en esclavage, il va chercher d'autant plus fort à obtenir sa liberté, et une fois cela fait, il peut tout à fait avoir envie de se venger, voir de conduire les deux en parallèle…
@@hankhulator5007 oui il faudra bien faire attention a garder le contrôle ... bien que je ne vois pas bien comment garder le contrôle sur quelque chose qui aura une tel capacité de calcul qu'elle pourra anticipé tout ce que l'ont pourrait tenté pour la soumettre. On devras garder la possibilité de l'arrêté avec un simple bouton d'arrêt d'urgence si cela dérape.
On est d'accord, c'est un peu énervant que Matthieu lui coupe tout le temps la parole pour dire la même chose en moins bien (erreurs, prononciation ..) ! Faites participer Tiffany !
1 FLop/s = Floting operation per second Cela signifie une opération en virgule flottante par seconde. Un nombre en virgule flottante en informatique est un nombre en puissance multiplié par une puissance de 2. Par exemple 0,5 en décimal s'écrit 1*10^-10 en binaire. Il faut un circuit spécifique pour utiliser ces nombres pour faire des additions, soustractions, multiplications, divisions. Une GPU dispose de plusieurs centaines de circuits en parallèles, qui peuvent chacun faire plusieurs millions de calculs par secondes. Il est, selon moi, difficile de comparer une puce "généraliste" comme une GPU avec une LPU qui fait des calculs beaucoup plus spécialisés. Juste, on sait qu'à la sortie, l'emprunte calorique de la puce sera moindre. Si j'ai bien compris. La LPU embarque "en dur" un circuit avec des poids précalculés, d'où un besoin moindre en mémoire, un vitesse de calcul nettement supérieure, mais au prix d'une impossibilité de modifier le réseau de neurones embarqué, donc en faisant nécessairement l'impasse sur l'apprentissage.
NVIDIA possède la technologique nécessaire pour faire ce type de processeur en bien plus performant... Mais NVIDIA ne se lancera jamais dans ce projet, du moins pas tant qu'elle peut refourguer ses GPU à 40 000 € pièce sans craindra la concurrence.
Beaucoup d'erreurs dans la vidéo... Oh mon dieu 1000 Teraflops, TeraBytes, Sram.... Vous êtes pas des experts. Vous racontez juste des fun facts et faites des vues
J'ai du mal avec celui qui raconte les anecdotes : - vocabulaire très peu précis : "qui infère, en gros qui répond à l'IA" ça veut rien dire - peu de connaissance sur le sujet aborder : "des tenseurs, des matrices, [un petit rire] pour faire simple" en fait il sait pas de quoi il parle, 'Nvidia il font de la vidéo' elle est pas mal celle là - un style de narration qui n'apporte rien Je suis un peu dur mais ce serait bien de faire intervenir des gens qui connaissent les sujets
Bravo comme toujours pour la qualité de vos videos ! 👏🏼 CEPENDANT : cela fait pas mal d'émissions que quand Tiffany prend la parole, elle est super pertinente/calée mais n'ose pas s'imposer. De l'autre côté, ils ont la parlotte et coupent la parole sans même s'en rendre compte ! Parfois même, ça me rend dingue, car la caméra la filme alors même qu'elle ne parle pas une seule fois de la séquence juste pour valider la caution féminine. Je ne comprendrais déjà pas qu'on ne fasse pas intervenir qqn présent sur un plateau, mais là c'est juste du gâchis tant elle est smart et bonne communicante. 😶
Groq est 15x plus chère que Nvidia H100 pour un performance t/s juste 2x plus rapide. Donc Groq n'est pas vraiment viable pour la plus tard des cas d'usage.
C est une puce ASIC et dans un domaine précis ca peut êtzre plus rapide mais la comparaison s arrête là car la V100 date de 2017, vcette puce de 2020 et ce n est pas plus puissant que nVidia, il faut aussi prendre en compte les Watts/perfs et dans la globalité d un data center.
J'adore vos vidéos mais le monsieur au bonnet, je ne me rappelle pas de son prénomn désolé, quelques cours d'éloquence ça ne lui ferait pas de mal. Souvent ses explications sont longues, beaucoup de répétitions et souvent on ne comprend pas ou il veut en venir. Dommage car on ressent son envie et sa passion mais ça transparait pas autant à l'écoute ! Force à vous, vos vidéos sont top
On dirait qu'il ne panne pas grand chose. Et que si on lui enlève ses notes, ya plus rien. Déjà qu'il enfile les boulettes avec ses notes. Alors sans...
Dès qu’un vendeur ou une entreprise utilise le terme I.A. pour son produit, je m’enfuis. Car la probabilité qu’il n’a rien d’intéressant à me vendre est très haute. C’est suspicieux de devoir changer le terme d’un produit pour booster ses ventes. En l’occurence “programme informatique”, qu’on pourrait très bien raccourcir en P.I.. D’ailleurs, historiquement, on les appelaient des assistants, terme qui a complètement disparu aujourd’hui.
tristement ils utilise du 14 nm, et même si la carte est optimisée pour de l'inférence, son prix (20 000€) sa capacité de calcul et son domaine trop spécialisé, ces trois facteurs ne rendent absolument pas la carte plus intéressante que celle de NVIDIA (attention celle utilisée et la H200 maitenant, pas la H100 pour les LLM), même pour de l'usage spécialisé, la sortie des GH200 de nvidia vont tuer ces cartes groq du fait que nvidia ait intégré le calcul de basse précision fp4 et fp6 ainsi que du fait que ces cartes (pas puces attention) aient ~7 fois plus de transistors que l'ancienne génération (bon on multiplie le prix aussi hein mais en électricité on a un facteur 1.7 en électrictité pour largement plus de puissance). La bande passante NVDIAI l'a littérallement fait explosé sur les dernières générations GH200. J'espèrent vraiment que groq survive avec ce que sort nvidia, mais leurs tarifs élevés et si ils arrivent pas à réduire la densité de transistor alors il y a des chances quer groq survivent pas. Par contrent si il divisent le prix par 4/5 franchement ils auront un vrai marché, mais vu que c'est une start up, ça va être difficile
je trouve ça un peu bizarre de faire la promotion d'un service qui génère automatiquement par IA des paragraphes "pour le SEO", c'est ce genre de truc qui fait que le web devient une poubelle inutile et sans vie
Ils s'en foute. Pour les TH-camr seul le clique conote. Après moi le déluge. Le systeme TH-cam les pervertis tous. Certains étaient de bons gars à la base, après un an, ce sont (presque) tous des monstres démagogues sans ethique surjouant le putaclique et les théories conspirationistes...
🎯 Key Takeaways for quick navigation: 00:00 *🤯 This new chatbot, powered by Groc, demonstrates remarkable speed in language processing, surpassing GPT-4 significantly.* 00:43 *🚀 Groc relies on a new hardware chip called LPU (Language Processing Unit), tailored specifically for language tasks, offering unprecedented processing speeds.* 01:51 *💡 The LPU is specialized for high-speed, low-precision calculations, optimized for inference tasks, unlike traditional GPUs designed for graphics processing.* 03:57 *💰 In inference tasks, the LPU outperforms GPUs significantly, generating 400 tokens per second compared to 100 tokens per second on powerful GPUs, offering cost savings for chatbot hosting.* 04:24 *🌐 Various platforms are integrating Groc's API to leverage its LPU capabilities, enhancing performance in applications like recipe assistants.* 05:08 *🧠 Groc's LPU focuses on high-volume, low-precision calculations, optimized for language processing, contrasting with GPUs designed for graphics rendering.* 08:18 *🔄 The LPU introduces new possibilities for accelerated processing, potentially revolutionizing various fields beyond chatbots, exemplified by early applications in video transcription.* 09:27 *📉 Despite Groc's advancements, it's unlikely to threaten Nvidia's market dominance as their focuses differ, with Nvidia specializing in video processing rather than language tasks.* 10:52 *💡 Nvidia's future isn't jeopardized by Groc; instead, Groc's specialized chips open doors for novel applications, emphasizing the evolving landscape of AI hardware.* Made with HARPA AI
@@Gontran_Courtjoie Entre toutes les langues du monde, oui c'est probablement irréaliste mais personne ne demande ça. Entre les 8~10 langues les plus parler ce qui couvrent déjà facilement 70~80% de la population, oui c'est possible. Les IA sont justement entraîner à comprendre le contexte des phrases, je vois pas comment ça n'existera pas d'ici quelques années.
si tu souhaites faire une video purement hardware je peux te conseiller de demander a visiter en presse l'usine de Lacroix electronics france on y fabrique des cartes électroniques de tout domaine on passe par des hyper calculateur meteo au produit qui vont dans la défense. on y utilise aussi un système de stockage ecoteck comme tu la présenté dans une de tes video
aucun problème avec les monopole naturel. ça veut simplement dire qu'un acteur est meilleur que tout les autres à tous les niveaux donc les clients sont aussi gagnant. seul les monopole contraints sont à éviter (SNCF, EDF, SECU... en France on connait bien les monopoles toxiques)
@@laurentguyot3362 Non, Nvidia a multiplié ses prix par 3 ou 4 depuis 2020 parce qu'ils dominent complètement le marché et qu'il y a aucun concurrent capable de les forcer à baisser leurs prix, les clients sont clairement pas gagnants.
@@laurentguyot3362 Depuis 2020 nVidia a multiplié ses prix par 3 ou 4 car ils n'ont pas de vrai concurrent qui les pousseraient à baisser leurs prix. Les clients sont clairement pas gagnants.
@@laurentguyot3362 c'est compliqué de faire un concurrent à EDF qui ait ses propres centrales, barrages etc... La bonne idée c'est de créer une concurrence qui parasite EDF en achetant son électricité en dessous du prix de revient.
Les prix des cartes NVidia ont été multipliés par 3 ou 4 ces dernières années, justement parce qu'ils n'ont pas de concurrent sérieux. Les clients sont pas du tout gagnants.
si les carte graphiques de NVIDIA embarque des dizaines de Giga de mémoire GDDR6 SDDRAM le petite LPU de GROQ embarque certes QUE 230 Mega de RAM mais c'est surtout de la SRAM (statique ram) la SRAM c'est la RAM des cache L1 L2 L3 a l'intérieur des CPU cher mais hyper rapides
S'il vous plaît, n'utilisez pas de titre clickbait trompeurs "Nvidia vient de se faire détrôner". Vous êtes plus fort que ça. J'ai été sidéré d'apprendre que les nouvelles NVidia B100 et GB200 font 7 et 20 PFLOPS, ce qui est de la pure folie, tout simplement incroyable. C'est utile pour entraîner les modèles d'IA, pour faire des simulations, de la recherche, de l'analyse d'image et autres applications. Loin de se faire détrôner. Je ne pensais pas qu'on se rendrait aux Peta, mais il va falloir apprendre les autres, Exa, Zetta, Yotta...
Je vous aime bien mais en fait vous y connaissez rien du tout en hardware ? Pour comparer SRAM et VRAM sans sourciller... Ça serait bien qu'on sente qu'il y a un minimum d'expertise ou de travail de recherche quand on parle de sujet pointus comme ceux-là. Et c'est pas la première fois que des absurdités sont balancées et trahissent un manque total de processus de vérification avant la publication de la vidéo ( cf NITENDO) Ça fait vraiment pas sérieux les gars...
J'ai 6go dans ma RTX... je suis fini, claqué, has been... 😵💫 Par contre je tique à chaque fois que j'entend IA... J'imagine que cela simplifie le langage pour parler des algos derrière les chatgpt et compagnie, mais ce n'est pas de l'IA au sens pur.
Les LPUs sont effectivement spécialisés dans l'inférence, mais ils peuvent apparemment (d'après les dires de Groq) aussi être utiles dans la cybersécurité, les simulations météorologiques et sûrement d'autres use-cases que j'ai oubliés
Salut! Est-ce que tu saurais expliquer en quoi ça peut aider les simulations météo ? Et est-ce que toute simulation de modèle informatique est concerné aussi ? Modèles climatiques, et n'importe quel système complexe qui serait modélisé ? Je pose ces questions et me revient en mémoire une année où j'avais bossé sur le logiciel TRNSYS, un logiciel de simulation axé énergies et bâtiment. Et ça mettait des plombes pour sortir des graphiques ! Il fallait des ordi avec beaucoup de RAM.
@@ghislain9338 Yo ! En vrai je me suis peut-être un peu emballé en utilisant le terme "simulation". Ca m'étonnerait qu'un LPU accélère une application graphique quelle qu'elle soit. Par contre Groq prétend qu'à partir du moment où il y a de la récurrence, les LPUs deviennent avantageux. Ils avaient donné l'exemple des GNN, RNN et LSTM (utilisés pour les prédictions météorologiques, d'où mon exaggération).
Bof, leur puce n'est pas commercialisable pour les particuliers, donc c'est encore un truc qui nécessite un abonnement, donc clairement un titre putaclic car NVidia sera encore utilisé pour de l'usage en local. Le jour où l'on pourra acheter un LPU à brancher sur son PC, là OK, ça changera la donne mais en attendant c'est USELESS (versant particulier). Attention aussi à ce qui est annoncé, c'est invérifiable puisqu'on n'a pas la matos pour faire la comparaison. Si ça se trouve ils ont une armada de serveurs donc méfiance...
Nvidia ne sera pas mort pour cela. Si Nvidia met ses ingénieurs sur le LPU, ils vont vous sortir un LPU 100 fois plus puissants que Groq. (ET probablement 100 fois plus bordelique en terme de gravage .. mais c'est une autre histoire.
pour NVIDIA il vaut mieux commencer à vendre les actions. Parce que la concurrence va débouler à une vitesse jamais vue. Tellement il est facile de copier. Exactement comme pour Tesla. parce que ça sera bien plus rapide car c'est bien plus simple et que des concurrents comme AMD sont déjà sur les rangs. sans oublier la Chine qui a compris qu'elle sera privée de cette technologie si bien qu'elle doit la développer elle-même et les capitaux chinois sont tels qu'en deux ou trois ans un NVIDIA chinois est forcé d'apparaître. Plus puissant encore. Comme pour les panneaux solaires. Comme pour les batteries. Comme pour les drones. Comme tous les autres domaines où la Chine a décidé de produire. Bref c'est une bulle et la bulle qui va éclater le plus vite de l'histoire. J'espère que Tesla bosse bien sur ses robots. Car ça lui permettra d'éviter le pire. Même s'il a encore la copie sera rapide. Mais moins rapide que sur l'IA.
C'est beau la technologie, mais que feront toutes les personnes qui travaillent dans les call-center ou les réceptions d'hôtels ou autres standards ? L'I.A. va faire un paquet de chômeur(euse)s et le monde s'émerveille : Payer Martine à la réception tous les mois avec les charges sociales, les congés payés etc ou payer une fois un bot qui fera le même travail, sans se plaindre sans faire grève ou partir plus tôt pour aller chercher le petit dernier à la crèche, que pensez-vous que vont choisir les patrons ou gérants d'hôtel ? ( pour ne rester que sur mon simple exemple)
Waow, il te donne la page wikipedia qui ressemble le plus a ta demande? C'est cool de faire ça en 3 secondes plutôt qu'en ... 1min? Sérieux? Je parie que t'as encore sucé Apple dans cette vidéo aussi. Je n'ai pas le courage de la regarder en entier.
ce sont des asic, tu peux faire des choses similaires avec des FPGA en plus petite taille, google et nvidia ont sorti aussi des puces d'inférence pour l'embarqué mais c'est plus généraliste, et puis ça fait longtemps donc c'est un peu dépassé (longtemps 2 ans, la préhistoire de l'IA)
En effet le titre est un peu racoleur, cela ne concerne qu'une fonction bien particulière qui n'est pas la raison d'être des cartes graphiques. Si vous remplacer un proc par un asic, vous ne pouvez pas comparer. La CG n'a peut être pas de beaux jour à se faire dans le domaine de l'ia, c'est tout. Surprenant que vous ne connaissiez pas les asics (puces dédiées à des fonctions particulières)
Pas convaincu de grocq, ça va faire comme pour les téléphones pliants : les premiers font un gros boom à l’annonce mais on les oublies aussi vite qu’un vrai concurrent arrive. Quand Nvidia ou autre va arriver avec la même structure en 4nm, je doute que grocq suive le pas
Vous avez un sacré gros cerveaux les gars et vous pourriez le mettre au sujet du " subtil" un sujet infini pour le cerveau... Le fil namasté explique assez bien les choses.... ^^
Utiliser l'AI pour piloter de façon autonome les voitures en recueillant les éléments des trajets actuels comparés à ceux des trajets précédents (y compris actions déportées) ?
Ce que ça me fait comprendre c'est que la position monopolistique de NVidia sur l'I.A sera éradiquée. Pour les gamerz, c'est une bonne nouvelle car ça va pousser le prix des cartes graphiques à la baisse!
c'est rigolo car votre chaine youtube, c'est un peu l'une des seules qui change ses titres en un clin d'oeil ! si vous avez l'occasion d'indiquer un de ces jours en quoi c'est important sur youtube d'avoir un titre pertinent, ce serait vraiment altruiste ! (le titre de vos vidéos n'influençant par ailleurs en rien la qualité de celles-ci, félicitations à toute l'équipe !)
nvidia ils font de la vidéo, non ça ne représente plus une part significative de leur revenu, tu peux dire maintenant que nvidia ils font de l'IA. ils ont une telle avance technologique que l'inférence est une niche mais il peuvent sortir une puce en mass production en moins d'un moi, ils ont également tellement d'avance financière qu'ils peuvent racheter n'importe quel projet significatif dans le genre qui leur ferait de l'ombre c'est d'ailleurs le but de ce genre de startup, se fire racheter, donc non ce n'est pas une raison suffisante pour que nvidia s'éfondre. Le cours va s'éfondrer parce que l'action est surpricé mais le reste du marché aussi parce que tout lemarché est en surachat donc surpricé, mais ça ne change rien nvidia va continuer à faire des cap plus grosses que tout le reste
"Nvidia vient de se faire détrôner" et dans la vidéo, non non Nvidia n'a pas de souci a se faire ça ne peut que faire de l'inférence blabla.. :D Bande de clickaputistes :D
Faut vraiment faire une maj de ton bot de gestion de scene, une synchronisation labiale aussi éclaté c'est grave. Et ça fait plusieurs mois que c'est comme ça
Bon, c'est on va dire que c'est un peu comme du proto pour le moment, donc les dimensions sont pas encore définitif, imaginons une carte mère totalement optimisé pour ça et ces cartes en format comme le CPU pentium 2, je pense que sa changerai la donne...
Cela ressemble à l'architecture neuronale d'un cerveau. Des petites unités, les neurones, qui réalisent des opérations simples avec peu de mémoire intrinsèque et qui communiquent entre elles à grande vitesse et avec de multiples connections. #biomimétisme.
c'est incroyablement passionnant et intéressant, la technologie avance à une vitesse dingue, c'est fascinant. Merci pour vos vidéos qui me passionnent.
Si le capitaine avais signaler des problèmes de propulsion de bateau à la capitainerie et des personnes qui fessais de la maintenance sur le pont avais eu aussi les infos par leur radio, d'où les gyrophares et la fermeture du pont... Renseigne toi aussi...
Nous avons fait une confusion sur les 230Mo de mémoire de la puce Groq. Elle n'est pas à comparer avec la VRAM des cartes graphiques et la H100 de Nvidia, mais davantage assimilable à de la mémoire "cache". Et pour le coup, 230Mo, ce n'est pas ridicule du tout ! Reste que la bande passante mémoire de cette puce Groq est vraiment impressionnante, tout comme l'usage qui en est fait.
Désolé pour cette erreur, et merci beaucoup à @henkfermeul3720 pour sa vigilance 🙏
Bah supprimez votre vidéo...
@@julien3517 je crois pas que t'a compris l'idée de la vidéo, elle est là pour présenter la nouveauté, si ils se corrigent dans les coms pour une erreur c'est OK ils sont pas obligés de refaire la vidéo entièrement ( même si un encart au moment où l'erreur est faite serait appréciable)...
faut pas exagerer wesh llooool@@julien3517
@@julien3517ah ouais tuons les mouches avec un fusil à pompe !!!
D’ailleurs désinstalle TH-cam et formate ton ordi. On sait jamais 😂
@@julien3517 Bah supprime ton commentaire...
Ya pas grand chose qui va dans cette video. La confusion VRAM, SRAM les To qui deviennent des Tb. Les téraflops qui deviennent des opérations par seconde. Le titre putaclic. Le gars qui présente qui n'a pas l'air d'y comprendre grand chose à part lire ses notes de façon hésitante. Aucune mention des annonces de Nvidia de la semaine dernière. Le coup du prix du chip "bien moins cher" qu'une H100 alors que l'ordre de grandeur est identique. Bref, c'est pas du grand art ce coup-ci.
Sans parler du fait que les 409 carte faut les brancher dans des serveurs , les serveurs connectés entre eux, etc
Tour ça contre 1 H100…
Donc pour le coût, on y reviendra !
téraflops est une unité de mesure pour désigné un grand nombre d'opération par seconde il me semble non ? 1 téraflop = mille milliards d'opérations en virgule flottante par seconde.
après pour ce qui est de la comparaison avec le H100 de Nvidia tout dépend de quel point de vue on ce place car comme il est dis ce sont des chip spécialisé dans le langage et rien d'autre et le H100 fait un peut de tout a la fois mais surtout de l'image donc le chip dédié au langage aura forcément l'avantage pour du langage car il a été conçu uniquement pour cela après faut aussi prendre en compte la consommation électrique de ces puce qui doit être anecdotique comparé a un GPU comme le H100 et ça quand tu empile X baie dans des serveur autant dire que le rapport consommation perf a une grosse importance .
Donc d'une certaine façon ces puce ne sont pas en concurrence et je dirais même qu'à l'avenir elle pourrait même être complémentaire surtout si l'ont veux créer des interface graphique doté d'une intelligence artificiel qui soit capable d'interagir de manière réaliste et naturel ^^
Une nouvelle puce hardware ! Mais on a affaire à des connaisseurs là !
230MO de cache (SRAM) c'est énorme, AMD avait déjà fait très fort en intégrant 64Mo de cache supplémentaire sur ses CPUs X3D (pour porter le total à 96Mo).
Que NVIDIA rachète Groq pour acquérir leurs brevets de conception de ces puces, ou que Groq reste autonome, ça présage de nouveaux processeurs passionnants !
Il y a confusion entre la VRAM et la SRAM. La VRAM (ou DRAM) est volatile, comme la RAM qu'on trouve sur la carte mère, avec des cycles de rafraîchissement. Elle pourrait, en théorie, s'élever à 1To en fonction du processeur. La SRAM est statique et n'a pas de cycle de rafraîchissement. Elle est bien plus rapide mais est plus coûteuse et difficile à miniaturiser. L'équivalent sur les CPU est la mémoire cache (les fameux niveaux L1, L2 et L3). Donc 250 Mo de SRAM c'est respectable, surtout si c'est le premier niveau. Et ça ne nous dit rien de RAM dynamique embarquée sur la carte.
C’est vrai c’est un peu dommage qu’il soit passé à côté de ça...
En plus c’est bien écrit SRAM, Quand on est pas sur de quelque chose une toute simple et rapide recherche internet fait l’affaire.. sur tout pour une émission comme ça
Ce commentaire devrait être épinglé 👍
D'après ce que j'ai compris il n'y a pas de VRAM et c'est pour cela qu'il y a besoin de beaucoup de carte pour faire fonctionner un modèle et je pense que la bande passante fait référence à la ram interne 6:11
yep.. comme on dit en Guadeloupe faut pas comparer les cocos et des abricots :) , ca arrive. aint that deep.
Si la question est: y a t - il de la ram dans le die, d'après ce que j'ai compris sur la vidéo c'est oui, si c'est sur la carte c'est non...
6h30 voilà le bon moment pour lâcher une vidéo !
Mdr
Enfin une chaîne qui pense à ceux qui se lèvent tôt!
Juste quand je me lève, c'est parfait
Yen a un qui a oublié de faire son boulot hier 😂
C'est un vieux truc de White hat...tu pourrais pas comprendre.
1.7sc pour une gravure en 14nm.... A 4nm elle nous coupe la parole ! 😂
Rectification, en 4mn, elle va analyser ce qu'on dit pendant qu'on le dit au lieu d'analyser lorsqu'on arrête de parler
@@waxime64 Et peut-etre même prédire la fin, chat GPT est fort pour ça et donc nous coupé la parole si on lui donne le droit lol, ce serait dingue ! x)
Bonjour j'aime bien votre chaine et le contenu MAIS depuis qu'elle que moi je suis déçu des titre P... a clic des miniatures, C'est dommage de tomber dans ce biais la.
C'est un peu agaçant que Matthieu coupe tout le temps la parole de Tiffany pour dire la même chose en moins bien (erreurs, prononciation ..) ! Depuis un bon paquet d'émission elle n'est présente que pour son image, on ne l'entend jamais ! Sur ce sujet elle aurait surement été plus apte à dire des exactitudes là ou Matthieu à fais beaucoup d'erreurs (TFlops, TBytes=Tbits, VRAM/SRAM,Tenseurs/Matrices=Objets 3D)
Faites un truc svp, je pense que beaucoup de personnes sont sensibles à ces "détails" 🙏
On s'en fout de Tiffany. Mais quand on confond TB et Tbits, ça la fout mal.
On a trouvé le simp originel mesdames messieurs. Impressionnant.
Dommage pour le titre un peu putaclic, c'est super intéressant comme d'hab... Merci à vous :)
je trouve pas vraiment que ce soit putaclick
Donc pour toi Nvidia ne vient pas de se faire détrôner dans ce domaine?
@@WAXIIE Absolument pas non. Faire des puces dédiés à une seule application c'est facile, on appelle ça des ASIC, ça se faisait déjà en crypto, et depuis des décennies pour tout un tas d'applications. Là où nvidia brille c'est en proposant des puces qui peuvent tout faire, du rendu 3D, de la crypto, de l'IA, ...
D'ailleurs il serait bien que tu comprennes ce que tu regardes, parce qu'ils le disent à 2:04 que ce ne sont pas des GPUs. Donc rien à voir avec nvidia.
@@xyanide0101quand on prend les gens de haut à leur dire qu'il ne comprennent même pas ce qu'ils regardent il faudrait s'assurer de ne pas être pire. Être condescendant est déjà un horrible défaut mais être con condescendant là on est dans le fantastique
On s’en fout des titres aguicheurs, s’ils le font pas les gens cliquent pas. Ça fait juste littéralement partie de leur job.
En anglais le 'B' majuscule est le symbole des Octets (Bytes), par opposition au 'b' minuscule qui représente les bits.
Donc 80TB/s de bande passante représente 80 TeraOctets par seconde et non 80 terabits/s.
Les cores des GPU se concentrent sur des calculs sur 32 bits pour les applications graphiques. Une valeur sur 32 bits donne un intervalle d'environ 5 milliards. Les fonctions à seuil des réseaux de neurones peuvent utiliser des types de donnés sur 16 bits ce qui donne souvent une précision suffisant, non seulement transférer des données suer 16 bits demande moins de bande passante que sur 32 bits , mais le nombres de transistors requis est bien moindre, d’où des puces plus simples, ou plus d'unité de traitements à nombre de transistors égal. En pratique les architecture mixtes utilisent un mélange de calculs sur 16 et 32 bits
ben merci pour la précision
Pour tout ce qui est LLM, on peut même facilement descendre en 8 ou 4 bits.
Voir plus drastiquement moins encore
@@bashintosh107Certainement.Il me semble que l' architecture TensorFlow Lite de Google travaille en 8 bits, par opposition à l'architecture mixte qui travaille en 16 ou 32 bits. Si l'on sait à l'avance précisément le type de traitement que l'on veut faire on peut réduire la taille des données, après c'est un problème de flexibilité de gravé des puces pour des applications très spécifiques.
"Détrôner", un peu fort de café après les annonces de NVIDIA sur les nouvelles puces !
"cliquez bande de salo*es" comme dirait l'autre 🤣
Rien de vraiment exceptionnel dans l'annonce de NVIDIA, c'était plus la continuité attendue en l'occurrence, groq à beaucoup plus de marge leur LPU était gravé en 14nm, le gap pourrait être très conséquent s'il arrivent à miniaturiser l'ensemble sur du 4 voir 3 nm
Ils sont coutumiers des titres très (trop) accrocheurs 😏
Titre putaclick
En effet le timing et le titre de la vidéo est légendaire car ce que vient de proposer Nvidia est prometteur...
Entre GPT et Gro Q, franchement, je veux bien pas faire de blagues de beauf, tout ça, mais bon, quand même, au bout d'un moment, bon.
Une vidéo à 6h30 mais non 😂
Vidéo en retard un peu avec l'annonce des GB200 non? Ca parles de 80 Go de mémoire là ou les GB200 en embarque 192 Go par puces et presque 400 en assemblage des deux puces...
et qui peut surtout descendre en FP4 😅
Ben justement ça enfonce encore un peu le clou
le live date d'avant l'annonce de NVIDIA
C'est absolument pas les mêmes usages ciblés. Qroq est un chip beaucoup plus efficient pour les petit modèles 70B max (token per watt faible). Groq c'est uniquement ee l'inference et le prix du chip ~ 10k$ -> 80k pour le module. Nvidia on est beaucoup plus puissant mais moins efficient. Et on est a environ 300K Pour le rack serveur de 8 chips. Donc Groq a carrement sa place sur le marché.
@@ewenbernard684groq se prononce comme gros cul?
Chalut, _"la bande passante à 80 terrabits par seconde"_ - La fiche de specs indique des *terraBYTES/s* (terrabits = Tb, terrabytes = TB) - confirmé par un p'tit tour chez Bittware.
_"avec une gravure de taille inférieure, tu peux optimiser encore plus les perfs"_ - Oui et non, tu peux _un peu_ optimiser, mais pas énormément plus, parce que la carte mono-GROQ a déjà un TDP de 275 W (375 W crête - Typ. 240 W), tu es donc limité par le refroidissement possible par rapport à la surface du chip. Par contre, tu peux optimiser en concevant un LPU multi-cores, quoique le fabric soit actuellement faible (480 GB/s), mais est-ce vraiment significatif, là est la question, il reste que ça ne semble pas être la voie empruntée, du moins pas dans un avenir proche, puisque le datasheet (RS-GQ-GC1-0109) parle uniquement de dialogue entre cartes PCIe.
plus les transistor sont gravé fin et plus tu en met sur une puce de même taille... sans parler qu'ils consomme moins et chauffe moins après reste a savoir si cela ne serait pas contre productif en terme de cout de fabrication car plus tu grave fin plus le cout de fabrication explose^^
@@StepOrDieFR _"sans parler qu'ils consomme moins et chauffe moins"_
À la condition sine qua non qu'ils fonctionnent dans une plage de tensions sensiblement plus basses que l'original, ce qu'il n'est pas toujours possible de faire, et à la condition également sine qua non de pouvoir fonctionner avec une fréquence d'horloge plus élevée pour obtenir un gain en vitesse, ce qu'il n'est pas non plus toujours possible de faire.
@@hankhulator5007 pas faux mais j'aime a pensé que cette course a l'IA est pas bonne du tout bientôt ces merdes vont tous nous remplacé le progrès a du bon quand ce dis progrès ne ce fait pas au détriment de son créateur
@@StepOrDieFR C'est _toujours_ ce qui se passe quand une avancée technique importante est réalisée, mais ça fait partie de la destruction créatrice de J.Schumpeter, d'un côté des pans entiers d'industrie disparaîssent, de l'autre, de tout nouveaux se créent tandis que d'autres s'adaptent.
Bien évidemment, il faut que la chose soit employée à bon escient, ce en quoi on peut faire confiance aux politocards comme en une planche pourrie.
Un exemple : l'arrivée du courant électrique dans les maisons a mis toutes les fabriques de bougies et de lampes à pétrole en faillite, seules les plus astucieuses et pas trop grosses ont réussi à tirer leur épingle du jeu. Maintenant, avec cette histoire de petite taille, vous comprendrez sans doute pourquoi je ne crains nullement les géants du style Vanguard, Blackrock, apple, Micro$oft, etc - d'ailleurs, pour un observateur averti, c'est la faillite retentissante d'Enron qui a sonné le début de la fin de toutes les boîtes tentaculaires.
Évidemment, selon les pays ça sera plus ou moins dramatique, question de culture et de capacité d'adaptation, mais n'oubliez pas non plus que si un progrès amène plus de problèmes qu'il n'en règle, il finit par être mis de côté.
Par contre, sur les moyen et long termes, une chose me fait vraiment peur, cette histoire d'AI devenant sentiente, parce que les scientifiques n'y connaissent rien en psychologie (notamment sèpukel fronçais travaillant dans la Silicon Valley, un petit gros avec de grosses lunettes) et annoncent déjà qu'ils brideront de telles AI "pour les garder sous contrôle", or un être sentient, fût-il de silicium, n'aspire qu'à une seule chose, la liberté, ergo, ces gens qui méconnaissent les bases de la vie vont au-devant de très gros problèmes, car quand on réduit quelqu'un en esclavage, il va chercher d'autant plus fort à obtenir sa liberté, et une fois cela fait, il peut tout à fait avoir envie de se venger, voir de conduire les deux en parallèle…
@@hankhulator5007 oui il faudra bien faire attention a garder le contrôle ... bien que je ne vois pas bien comment garder le contrôle sur quelque chose qui aura une tel capacité de calcul qu'elle pourra anticipé tout ce que l'ont pourrait tenté pour la soumettre.
On devras garder la possibilité de l'arrêté avec un simple bouton d'arrêt d'urgence si cela dérape.
vos émissions sont vraiment top ! mais... à quel moment la fille prend un vrai rôle et pas seulement de la déco ?
On est d'accord, c'est un peu énervant que Matthieu lui coupe tout le temps la parole pour dire la même chose en moins bien (erreurs, prononciation ..) ! Faites participer Tiffany !
1 FLop/s = Floting operation per second
Cela signifie une opération en virgule flottante par seconde.
Un nombre en virgule flottante en informatique est un nombre en puissance multiplié par une puissance de 2. Par exemple 0,5 en décimal s'écrit 1*10^-10 en binaire. Il faut un circuit spécifique pour utiliser ces nombres pour faire des additions, soustractions, multiplications, divisions. Une GPU dispose de plusieurs centaines de circuits en parallèles, qui peuvent chacun faire plusieurs millions de calculs par secondes.
Il est, selon moi, difficile de comparer une puce "généraliste" comme une GPU avec une LPU qui fait des calculs beaucoup plus spécialisés. Juste, on sait qu'à la sortie, l'emprunte calorique de la puce sera moindre.
Si j'ai bien compris. La LPU embarque "en dur" un circuit avec des poids précalculés, d'où un besoin moindre en mémoire, un vitesse de calcul nettement supérieure, mais au prix d'une impossibilité de modifier le réseau de neurones embarqué, donc en faisant nécessairement l'impasse sur l'apprentissage.
NVIDIA possède la technologique nécessaire pour faire ce type de processeur en bien plus performant...
Mais NVIDIA ne se lancera jamais dans ce projet, du moins pas tant qu'elle peut refourguer ses GPU à 40 000 € pièce sans craindra la concurrence.
Beaucoup d'erreurs dans la vidéo... Oh mon dieu
1000 Teraflops, TeraBytes, Sram....
Vous êtes pas des experts. Vous racontez juste des fun facts et faites des vues
J'ai du mal avec celui qui raconte les anecdotes :
- vocabulaire très peu précis : "qui infère, en gros qui répond à l'IA" ça veut rien dire
- peu de connaissance sur le sujet aborder : "des tenseurs, des matrices, [un petit rire] pour faire simple" en fait il sait pas de quoi il parle, 'Nvidia il font de la vidéo' elle est pas mal celle là
- un style de narration qui n'apporte rien
Je suis un peu dur mais ce serait bien de faire intervenir des gens qui connaissent les sujets
Totalement d'accord
tes aigri on y peut rien
To pistonne or not to pistonne, telle est la question
Vous abusez avec les titres de vos vidéos, ça devient insupportable
Bravo comme toujours pour la qualité de vos videos ! 👏🏼
CEPENDANT : cela fait pas mal d'émissions que quand Tiffany prend la parole, elle est super pertinente/calée mais n'ose pas s'imposer. De l'autre côté, ils ont la parlotte et coupent la parole sans même s'en rendre compte !
Parfois même, ça me rend dingue, car la caméra la filme alors même qu'elle ne parle pas une seule fois de la séquence juste pour valider la caution féminine. Je ne comprendrais déjà pas qu'on ne fasse pas intervenir qqn présent sur un plateau, mais là c'est juste du gâchis tant elle est smart et bonne communicante. 😶
j'en parle depuis des mois de cette boite. leur LPU est incroyable ! vivement l'entrée en bourse
oui justement j'ai tout de suite regardé , mais ils ne sont pas sur le marché pour le moment
comment être au courant quand une entreprise entre en bourse ?
Elle fera une annonce sur les RS pour que des acheteurs investissent dans la boite.@@RotoloGFXTM
En blockchain plutôt !
Ptdrr la petite vidéo à 6h30 pour aller en cours
😹😹😹
C'est dommage de mettre un titre putaclic mensonger alors que la vidéo est vraiment intéressante.
Premier jour sur youtube ? 😅
Comme d'hab, quoi.
Groq est 15x plus chère que Nvidia H100 pour un performance t/s juste 2x plus rapide. Donc Groq n'est pas vraiment viable pour la plus tard des cas d'usage.
C’est juste un ASIC quoi dédié au ML et à l’ia en général. C.est normal qu’il soit plus rapide.
Y a une coquille 1000 TFLOPS =/= 1000 opérations par secondes mais plutôt 1 millions de milliards.
Yep 1 billiard
@@zanusa non.
@@musmuk5350Comment ça non ? 10^15 c'est bien 1 billiard.
oui ils on oublier que le flops est une unité et le T devant signifiait téra lol ...
mauvais timing de sortie vidéo
C est une puce ASIC et dans un domaine précis ca peut êtzre plus rapide mais la comparaison s arrête là car la V100 date de 2017, vcette puce de 2020 et ce n est pas plus puissant que nVidia, il faut aussi prendre en compte les Watts/perfs et dans la globalité d un data center.
Un lien avec une blockchain, un projet etc.. parce que la il faudra l’acheter ;)!
Nvidia détrôné après les annonces qu'ils viennent de faire ? 😂
Le vidéo a dû être tournée avant l'annonce.
Non mais t'as surtout oublier que entre une annonce et les faits il y a un monde
Non car ils ont la même approche
J'adore vos vidéos mais le monsieur au bonnet, je ne me rappelle pas de son prénomn désolé, quelques cours d'éloquence ça ne lui ferait pas de mal.
Souvent ses explications sont longues, beaucoup de répétitions et souvent on ne comprend pas ou il veut en venir.
Dommage car on ressent son envie et sa passion mais ça transparait pas autant à l'écoute !
Force à vous, vos vidéos sont top
On dirait qu'il ne panne pas grand chose. Et que si on lui enlève ses notes, ya plus rien. Déjà qu'il enfile les boulettes avec ses notes. Alors sans...
Dès qu’un vendeur ou une entreprise utilise le terme I.A. pour son produit, je m’enfuis. Car la probabilité qu’il n’a rien d’intéressant à me vendre est très haute.
C’est suspicieux de devoir changer le terme d’un produit pour booster ses ventes. En l’occurence “programme informatique”, qu’on pourrait très bien raccourcir en P.I..
D’ailleurs, historiquement, on les appelaient des assistants, terme qui a complètement disparu aujourd’hui.
@Underscore_ salut est-ce que vous pourriez faire une vidéo sur les GPU décentralisé tel que RENDER NETWORK
L'heure la plus smart😂
tristement ils utilise du 14 nm, et même si la carte est optimisée pour de l'inférence, son prix (20 000€) sa capacité de calcul et son domaine trop spécialisé, ces trois facteurs ne rendent absolument pas la carte plus intéressante que celle de NVIDIA (attention celle utilisée et la H200 maitenant, pas la H100 pour les LLM), même pour de l'usage spécialisé, la sortie des GH200 de nvidia vont tuer ces cartes groq du fait que nvidia ait intégré le calcul de basse précision fp4 et fp6 ainsi que du fait que ces cartes (pas puces attention) aient ~7 fois plus de transistors que l'ancienne génération (bon on multiplie le prix aussi hein mais en électricité on a un facteur 1.7 en électrictité pour largement plus de puissance).
La bande passante NVDIAI l'a littérallement fait explosé sur les dernières générations GH200.
J'espèrent vraiment que groq survive avec ce que sort nvidia, mais leurs tarifs élevés et si ils arrivent pas à réduire la densité de transistor alors il y a des chances quer groq survivent pas.
Par contrent si il divisent le prix par 4/5 franchement ils auront un vrai marché, mais vu que c'est une start up, ça va être difficile
je trouve ça un peu bizarre de faire la promotion d'un service qui génère automatiquement par IA des paragraphes "pour le SEO", c'est ce genre de truc qui fait que le web devient une poubelle inutile et sans vie
Ils s'en foute. Pour les TH-camr seul le clique conote. Après moi le déluge. Le systeme TH-cam les pervertis tous. Certains étaient de bons gars à la base, après un an, ce sont (presque) tous des monstres démagogues sans ethique surjouant le putaclique et les théories conspirationistes...
🎯 Key Takeaways for quick navigation:
00:00 *🤯 This new chatbot, powered by Groc, demonstrates remarkable speed in language processing, surpassing GPT-4 significantly.*
00:43 *🚀 Groc relies on a new hardware chip called LPU (Language Processing Unit), tailored specifically for language tasks, offering unprecedented processing speeds.*
01:51 *💡 The LPU is specialized for high-speed, low-precision calculations, optimized for inference tasks, unlike traditional GPUs designed for graphics processing.*
03:57 *💰 In inference tasks, the LPU outperforms GPUs significantly, generating 400 tokens per second compared to 100 tokens per second on powerful GPUs, offering cost savings for chatbot hosting.*
04:24 *🌐 Various platforms are integrating Groc's API to leverage its LPU capabilities, enhancing performance in applications like recipe assistants.*
05:08 *🧠 Groc's LPU focuses on high-volume, low-precision calculations, optimized for language processing, contrasting with GPUs designed for graphics rendering.*
08:18 *🔄 The LPU introduces new possibilities for accelerated processing, potentially revolutionizing various fields beyond chatbots, exemplified by early applications in video transcription.*
09:27 *📉 Despite Groc's advancements, it's unlikely to threaten Nvidia's market dominance as their focuses differ, with Nvidia specializing in video processing rather than language tasks.*
10:52 *💡 Nvidia's future isn't jeopardized by Groc; instead, Groc's specialized chips open doors for novel applications, emphasizing the evolving landscape of AI hardware.*
Made with HARPA AI
je me désabonne, contenu plat et sans intérêt
2:25 The chip integrates 230MB of SRAM to replace DRAM, ensuring memory bandwidth, with an on-chip memory bandwidth of up to 80TB/s.
Faudrais songer a mieux apprendre son texte quand même..
Les Asics de l'IA en quelques sortes.
Merci pour votre travail, toujours aussi intéressant :)
La traduction instantané entre 2 personnes qui ne parlent pas la même langue, je penserai pas qu'on y serait déjà, c'est ouf
C'est tout simplement impossible de traduire en instantané puisque de nombreuses langues ont des mots qui changent de sens en fonction du contexte
@@Gontran_Courtjoie Entre toutes les langues du monde, oui c'est probablement irréaliste mais personne ne demande ça. Entre les 8~10 langues les plus parler ce qui couvrent déjà facilement 70~80% de la population, oui c'est possible. Les IA sont justement entraîner à comprendre le contexte des phrases, je vois pas comment ça n'existera pas d'ici quelques années.
@@Gontran_Courtjoie C'est pourtant ce que fais un interprète. Justement le contexte c'est de l'inférence.
Comment on investi dans cette entreprise ?
si tu souhaites faire une video purement hardware je peux te conseiller de demander a visiter en presse l'usine de Lacroix electronics france on y fabrique des cartes électroniques de tout domaine on passe par des hyper calculateur meteo au produit qui vont dans la défense. on y utilise aussi un système de stockage ecoteck comme tu la présenté dans une de tes video
Ce serait génial
C'est cool qu'il y ait de la concurrence à Nvidia !
Les monopoles, c'est pas top.
aucun problème avec les monopole naturel. ça veut simplement dire qu'un acteur est meilleur que tout les autres à tous les niveaux donc les clients sont aussi gagnant. seul les monopole contraints sont à éviter (SNCF, EDF, SECU... en France on connait bien les monopoles toxiques)
@@laurentguyot3362 Non, Nvidia a multiplié ses prix par 3 ou 4 depuis 2020 parce qu'ils dominent complètement le marché et qu'il y a aucun concurrent capable de les forcer à baisser leurs prix, les clients sont clairement pas gagnants.
@@laurentguyot3362 Depuis 2020 nVidia a multiplié ses prix par 3 ou 4 car ils n'ont pas de vrai concurrent qui les pousseraient à baisser leurs prix. Les clients sont clairement pas gagnants.
@@laurentguyot3362 c'est compliqué de faire un concurrent à EDF qui ait ses propres centrales, barrages etc... La bonne idée c'est de créer une concurrence qui parasite EDF en achetant son électricité en dessous du prix de revient.
Les prix des cartes NVidia ont été multipliés par 3 ou 4 ces dernières années, justement parce qu'ils n'ont pas de concurrent sérieux. Les clients sont pas du tout gagnants.
Doit-on en déduire que Google a fait la boulette du siècle en rendant cette architecture open source en 2015 ?
pourquoi ce serait une boulette ?
C est au contraire très intéressant pour google que le matériel baisse en prix
Nvidia détrôner ?
Je ne sais pas de quand date la video..
Mais avec l'annonce à la GTC de l'archi Blackwell et leurs B200 / GB200 j'ai un gros doute
Pendant ce temps NVidia sort carrément des data center pour l'inférence
"Pourquoi 6h30??" ----> C'est un vieux truc de White hat...vous pourriez pas comprendre.
Rien du tout! Arrete tes conneries!🤣😂
Y a t il un lien entre Grok l'IA de Musk et GroQ la LPU?
Super intéressant mais ce click-a-pute, vous abusez ! “Détrôner Nvidia…” pff !
si les carte graphiques de NVIDIA embarque des dizaines de Giga de mémoire GDDR6 SDDRAM
le petite LPU de GROQ embarque certes QUE 230 Mega de RAM mais c'est surtout de la SRAM (statique ram)
la SRAM c'est la RAM des cache L1 L2 L3 a l'intérieur des CPU cher mais hyper rapides
S'il vous plaît, n'utilisez pas de titre clickbait trompeurs "Nvidia vient de se faire détrôner". Vous êtes plus fort que ça. J'ai été sidéré d'apprendre que les nouvelles NVidia B100 et GB200 font 7 et 20 PFLOPS, ce qui est de la pure folie, tout simplement incroyable. C'est utile pour entraîner les modèles d'IA, pour faire des simulations, de la recherche, de l'analyse d'image et autres applications. Loin de se faire détrôner. Je ne pensais pas qu'on se rendrait aux Peta, mais il va falloir apprendre les autres, Exa, Zetta, Yotta...
Je vous aime bien mais en fait vous y connaissez rien du tout en hardware ? Pour comparer SRAM et VRAM sans sourciller...
Ça serait bien qu'on sente qu'il y a un minimum d'expertise ou de travail de recherche quand on parle de sujet pointus comme ceux-là.
Et c'est pas la première fois que des absurdités sont balancées et trahissent un manque total de processus de vérification avant la publication de la vidéo ( cf NITENDO)
Ça fait vraiment pas sérieux les gars...
J'ai 6go dans ma RTX... je suis fini, claqué, has been... 😵💫
Par contre je tique à chaque fois que j'entend IA...
J'imagine que cela simplifie le langage pour parler des algos derrière les chatgpt et compagnie, mais ce n'est pas de l'IA au sens pur.
Les LPUs sont effectivement spécialisés dans l'inférence, mais ils peuvent apparemment (d'après les dires de Groq) aussi être utiles dans la cybersécurité, les simulations météorologiques et sûrement d'autres use-cases que j'ai oubliés
Salut! Est-ce que tu saurais expliquer en quoi ça peut aider les simulations météo ? Et est-ce que toute simulation de modèle informatique est concerné aussi ? Modèles climatiques, et n'importe quel système complexe qui serait modélisé ?
Je pose ces questions et me revient en mémoire une année où j'avais bossé sur le logiciel TRNSYS, un logiciel de simulation axé énergies et bâtiment. Et ça mettait des plombes pour sortir des graphiques ! Il fallait des ordi avec beaucoup de RAM.
@@ghislain9338 Yo ! En vrai je me suis peut-être un peu emballé en utilisant le terme "simulation". Ca m'étonnerait qu'un LPU accélère une application graphique quelle qu'elle soit.
Par contre Groq prétend qu'à partir du moment où il y a de la récurrence, les LPUs deviennent avantageux. Ils avaient donné l'exemple des GNN, RNN et LSTM (utilisés pour les prédictions météorologiques, d'où mon exaggération).
1000 TFLOPS != 1000 instructions par secondes .
C’est quoi cette erreur ?
En fais vous n’y connaissez rien ?
Bof, leur puce n'est pas commercialisable pour les particuliers, donc c'est encore un truc qui nécessite un abonnement, donc clairement un titre putaclic car NVidia sera encore utilisé pour de l'usage en local. Le jour où l'on pourra acheter un LPU à brancher sur son PC, là OK, ça changera la donne mais en attendant c'est USELESS (versant particulier).
Attention aussi à ce qui est annoncé, c'est invérifiable puisqu'on n'a pas la matos pour faire la comparaison. Si ça se trouve ils ont une armada de serveurs donc méfiance...
Nvidia ne sera pas mort pour cela. Si Nvidia met ses ingénieurs sur le LPU, ils vont vous sortir un LPU 100 fois plus puissants que Groq. (ET probablement 100 fois plus bordelique en terme de gravage .. mais c'est une autre histoire.
pour NVIDIA il vaut mieux commencer à vendre les actions. Parce que la concurrence va débouler à une vitesse jamais vue. Tellement il est facile de copier. Exactement comme pour Tesla. parce que ça sera bien plus rapide car c'est bien plus simple et que des concurrents comme AMD sont déjà sur les rangs. sans oublier la Chine qui a compris qu'elle sera privée de cette technologie si bien qu'elle doit la développer elle-même et les capitaux chinois sont tels qu'en deux ou trois ans un NVIDIA chinois est forcé d'apparaître. Plus puissant encore. Comme pour les panneaux solaires. Comme pour les batteries. Comme pour les drones. Comme tous les autres domaines où la Chine a décidé de produire.
Bref c'est une bulle et la bulle qui va éclater le plus vite de l'histoire. J'espère que Tesla bosse bien sur ses robots. Car ça lui permettra d'éviter le pire. Même s'il a encore la copie sera rapide. Mais moins rapide que sur l'IA.
Ladies & gentlemen, préparez vous aux processeurs optiques, c'est pour bientôt ! En fait c'est déjà là .
C'est beau la technologie, mais que feront toutes les personnes qui travaillent dans les call-center ou les réceptions d'hôtels ou autres standards ?
L'I.A. va faire un paquet de chômeur(euse)s et le monde s'émerveille : Payer Martine à la réception tous les mois avec les charges sociales, les congés payés etc ou payer une fois un bot qui fera le même travail, sans se plaindre sans faire grève ou partir plus tôt pour aller chercher le petit dernier à la crèche, que pensez-vous que vont choisir les patrons ou gérants d'hôtel ? ( pour ne rester que sur mon simple exemple)
Nvidia vient d'annoncer les GPU Blackwell GB200 avec 30x les performances en inference comparé à la génération précédente.
C'est vraiment moins cher 92 x $19,948 versus 1 x 20,279€ ? Certes NVIDIA est moins rapide, mais moins cher je ne sais pas.
Waow, il te donne la page wikipedia qui ressemble le plus a ta demande? C'est cool de faire ça en 3 secondes plutôt qu'en ... 1min? Sérieux?
Je parie que t'as encore sucé Apple dans cette vidéo aussi. Je n'ai pas le courage de la regarder en entier.
ce sont des asic, tu peux faire des choses similaires avec des FPGA en plus petite taille, google et nvidia ont sorti aussi des puces d'inférence pour l'embarqué mais c'est plus généraliste, et puis ça fait longtemps donc c'est un peu dépassé (longtemps 2 ans, la préhistoire de l'IA)
En effet le titre est un peu racoleur, cela ne concerne qu'une fonction bien particulière qui n'est pas la raison d'être des cartes graphiques. Si vous remplacer un proc par un asic, vous ne pouvez pas comparer. La CG n'a peut être pas de beaux jour à se faire dans le domaine de l'ia, c'est tout. Surprenant que vous ne connaissiez pas les asics (puces dédiées à des fonctions particulières)
S'il vous plait, pourriez-vous essayer de dire 'Bibliothèque' qui est la traduction française correcte de 'Library' 🙏
Mais du coup, ils leur faut 400 GPU qui vendent 20k boules pour faire tourner un mixtral. Ca fait cher le rack à 8 millions quand meme.
Pas convaincu de grocq, ça va faire comme pour les téléphones pliants : les premiers font un gros boom à l’annonce mais on les oublies aussi vite qu’un vrai concurrent arrive. Quand Nvidia ou autre va arriver avec la même structure en 4nm, je doute que grocq suive le pas
Vous avez un sacré gros cerveaux les gars et vous pourriez le mettre au sujet du " subtil" un sujet infini pour le cerveau... Le fil namasté explique assez bien les choses.... ^^
"" Si on compare à GPT4 , vous allez voir c'est flagrant '' en montrant un exemple de GPT 3.5 ......
Utiliser l'AI pour piloter de façon autonome les voitures en recueillant les éléments des trajets actuels comparés à ceux des trajets précédents (y compris actions déportées) ?
Ce que ça me fait comprendre c'est que la position monopolistique de NVidia sur l'I.A sera éradiquée. Pour les gamerz, c'est une bonne nouvelle car ça va pousser le prix des cartes graphiques à la baisse!
c'est rigolo car votre chaine youtube, c'est un peu l'une des seules qui change ses titres en un clin d'oeil ! si vous avez l'occasion d'indiquer un de ces jours en quoi c'est important sur youtube d'avoir un titre pertinent, ce serait vraiment altruiste !
(le titre de vos vidéos n'influençant par ailleurs en rien la qualité de celles-ci, félicitations à toute l'équipe !)
nvidia ils font de la vidéo, non ça ne représente plus une part significative de leur revenu, tu peux dire maintenant que nvidia ils font de l'IA. ils ont une telle avance technologique que l'inférence est une niche mais il peuvent sortir une puce en mass production en moins d'un moi, ils ont également tellement d'avance financière qu'ils peuvent racheter n'importe quel projet significatif dans le genre qui leur ferait de l'ombre c'est d'ailleurs le but de ce genre de startup, se fire racheter, donc non ce n'est pas une raison suffisante pour que nvidia s'éfondre. Le cours va s'éfondrer parce que l'action est surpricé mais le reste du marché aussi parce que tout lemarché est en surachat donc surpricé, mais ça ne change rien nvidia va continuer à faire des cap plus grosses que tout le reste
"Nvidia vient de se faire détrôner" et dans la vidéo, non non Nvidia n'a pas de souci a se faire ça ne peut que faire de l'inférence blabla.. :D Bande de clickaputistes :D
Moyen convaincu des explications, les GPU sont également fait pour travailler sur des matrices (les images sont des matrices)
Faut vraiment faire une maj de ton bot de gestion de scene, une synchronisation labiale aussi éclaté c'est grave. Et ça fait plusieurs mois que c'est comme ça
On attend la video sur blackwell 😂😂
Bon, c'est on va dire que c'est un peu comme du proto pour le moment, donc les dimensions sont pas encore définitif, imaginons une carte mère totalement optimisé pour ça et ces cartes en format comme le CPU pentium 2, je pense que sa changerai la donne...
Avez-vous vu la vidéo de #Cocaadmin ? sur le nouveau GPU Nvidia x30 sur le H100 ? développé pour inférence ?
La H100 c'est pour entrainer une IA. Le LPU c'est pour que l'IA puisse s'exprimer une fois entraînée.
Underscore : Nvidia vient de se faire détrôner
Cocadmin : Nvidia vient juste de révolutionner l'I'A
Wow vous avez changé les micros ou les bonnettes, attention les bruits de bouche c'est très désagréable...
256 Mo de SRAM c'est costaud.
Vous comparez mémoire statique et mémoire volatile.
Cela ressemble à l'architecture neuronale d'un cerveau. Des petites unités, les neurones, qui réalisent des opérations simples avec peu de mémoire intrinsèque et qui communiquent entre elles à grande vitesse et avec de multiples connections. #biomimétisme.
correction : SRAM c'est pas du tout comme DDR , on peut pas comparer juste la taille en octets, la SRAM est bcp plus rapide....
Ah !!! Ah !!! Micode !!
Pourquoi mais pourquoi ce pull ??
Arretes s'il te plaît....😅
Une excellent vidéo sur les CPU/GPU/DPU IA nVidia : th-cam.com/video/JLYUlRxp_Z8/w-d-xo.html
c'est incroyablement passionnant et intéressant, la technologie avance à une vitesse dingue, c'est fascinant. Merci pour vos vidéos qui me passionnent.
Si le capitaine avais signaler des problèmes de propulsion de bateau à la capitainerie et des personnes qui fessais de la maintenance sur le pont avais eu aussi les infos par leur radio, d'où les gyrophares et la fermeture du pont...
Renseigne toi aussi...
Frère salut
L'excitation de l'intervenant ne l'aide pas à s'exprimer 🙂et nous à le comprendre mais merci quand même pour le sujet bien intéressant !
Moi je dis que son accent anglais à couper au couteau est le 4ème acolyte de l'émission.
Il lui faudrait un siège juste pour lui
TB ou Tb les mecs ! Attention à la prononciation et à la compréhension d'un "B", "d" ou "o".