LLama 2: Best Open Source Chatbot in GPT4All
ฝัง
- เผยแพร่เมื่อ 4 ต.ค. 2024
- Was nutzt ihr? LLama oder ChatGPT?
Hier ist die Linksammlung:
ai.meta.com/ll...
economictimes....
Papier: arxiv.org/pdf/...
huggingface.co...
huggingface.co...
huggingface.co...
github.com/oob...
Selbst kostenlos Informatik lernen auf meiner Website: bootstrap.acad...
Alle meine Social Media Portale *:
bio.link/themo...
Discord:
the-morpheus.d...
Unterstützt mich - Danke!:
www.patreon.co...
www.paypal.me/...
![The Wall Song ร้องข้ามกำแพง | EP.213 | กรีน อัษฎาพร | 3 ต.ค. 67 [1/5]](http://i.ytimg.com/vi/3KrlLbCsadI/mqdefault.jpg)
du machst die umfänglichsten aktuellsten videos, und dazu holst du noch so ziemlich jeden ab. tiptop!
Toll! Mich interessieren solche Videos mit Ai! Kannst du auch noch ein Video für finetuning machen?
Kleine Korrektur: es sind nicht Milliarden Neuronen, sondern Milliarden Parameter. Jedes Neuron hat ja sehr viele Gewichte, dazu kommen noch die Gewichte der Attention Layer.
nunja... hier wird ganz viel halbwissen vermittelt. bspw ist ggml das bereits fertig errechnete sprachmodell in der jeweiligen ausprägung. gpt4all hat derzeit nicht die aktualisierte llama.cpp um ein llama2-70b sprachmodell zu laden. auf die jeweilige quantirisierung und was K_S oder K_M angeht auch nicht. schade eigentlich, das hier nur so oberflächlich an dem thema "drüber gerutscht" wird.
Ich bin ein Fan von dir von der ersten Stunde. Deine Videos sind echt stark!
Das ist so crazy, dass das alles open source ist. Sobald 70B nutzbar wird für den einfachen user wird das mega!
Tolles video, gefällt mir!
Auf das Video habe ich gewartet :) Danke
Hammer Tutorial und sehr verständlich erklärt 😄👍
... habe allerdings das gefühl, dass man mit der unzenierten version pandoras box geöffnet hat. Wenn man die richtigen fragen stelöt bekommt man informationen, die nicht umbedingt jedem in die Hände fallen sollte 😅
aber was könnte man den fragen? die texte sind ja eh alle aus dem internet (open source)
"The best offering in the game Dead by Daylight would be a character with a unique personality, such as a ghost or an angel. The best offering in the game Dead by Daylight would also depend on the player's preferences and playstyle." (13b)
Danke für das Tutorial 🤗
5:20 das ist doch ein Thema für dich. Gpt-engineer mit llama2 und fine tuned coding Modellen. Jetzt die spannende frage: wo?
Das Lami ist immer noch niedlich und trotzdem sollten wir unser eigenes Ding machen, was allein eine Frage des Prinzips ist.
eine Frage noch: kann ich mit GPT4All auf lokale Dateien zugreifen? Auch auf mehrere gleichzeitig bzw. automatisch nacheinander?
Danke
Wurde vor 13 Minuten bei TheBloke zu den Mode-Downloads hinzugefügt:
Llama 2 70B Instruct v2 - GGML
Wie kann man den zu GPT4All hinzufügen?
Ein Video, wie ich selber ein Modell "fine-tunen" kann, wäre nice.
nunja... hier wird ganz viel halbwissen vermittelt. bspw ist ggml das bereits fertig errechnete sprachmodell in der jeweiligen ausprägung. gpt4all hat derzeit nicht die aktualisierte llama.cpp um ein llama2-70b sprachmodell zu laden. schade eigentlich, das hier nur so oberflächlich an dem thema "drüber gerutscht" wird.
Zumindest nicht so einfach wie Bild KIs alles was ich dazu gesehen habe schaut noch ziemlich kompliziert aus. Ich glaube das schwerste wird die Aufarbeitung der Trainingsdaten sein. Basiert halt alles auf Frage und Antwort. Wüsste nicht wie ich da z.b Wissen aus ein Fachbuch Tranieren könnte.
@@ratside9485 Mhm Lernkarteien sind da nicht schlecht was Fragen + Antworten angeht
@@sovielsand du könntest gerne Videos dazu machen oder Blogbeiträge, ich würde mich über mehr Tiefgang freuen. falls zu aufwändig hier im Kommentarbereich gerne
@@Silberschweifer : ich bin kein content creator wie morpheus. aber die nummer und das video war halt verflucht _niederschwellig_ / diffus / abseits vom thema....
im grunde genommen ist der gesamte fachliche content hier seit wochen unter aller *hütte*, weil es nur um klicks geht. wenn es schön und reich macht? bitte sehr! es gibt halt keinen echten mehrwert.
Dankeschön!
70b GGML sind jetzt auch schon verfügbar 🤩
Was ist dieses "TheBloke/KafkaLM-70B-German-V0.1-AWQ"
Gibt es Erklärungen für all die Modele? Da sind so viele Modelle dabei und kein Mensch weiß, wozu die gut sind?
Issues sind einfach Programmier-Tickets und nicht nur Fehler, sonderm im Allgemeinen Anforderungen und Tasks an die Entwicklung 😁
Hi, was hältst du von LM Studio als Programm?
Kriege ich das auf nem Notebook mit Ryzen 7 5700U ohne GPU bertieben ?
Gibt auch ein LLama 2 das auf ein paar deutsche Datensätze verfeinert wurde. Funktioniert nur noch nicht so gut. Fantasiert bei mir nur ständig und wechselt ins Englische.
Kannst du mal was zu Leonardo AI machen und ein Vergleich zu anderen AI Image Generatoren ziehen?
Kannst du mal ein Video über das falcon llm machen? Denke das könnte auch interessant werden.
Gibt auch ein colab notebook in dem man das llama2-13b model ausprobieren kann ohne was zu installieren
Könntest du bitte zeigen ob es Opensource Alternativen zu RunwayML gibt. Also videogenerierung mittels KI.
Ich will Datenbanken verbinden wie geht das?
Da sind ja nun auch einige 70b Modelle - keines von denen hat bei mir funktioniert (RAM müsste ich ausreichend haben). Hat jemand einen Hinweis parat?
Gibt es auch eine Lokale Version mit Upload von PDF Dateien zum Auswerten ?
Kann die Weboberfläche auch als API genutzt werden wie bei StableDeffusion?
guck dir oobabooga an, das hat ein webui wie a1111 und weniger bugs als gpt4all
Danke für das Tutorial ich habe, aber noch ein paar Probleme damit. Llama2 70B GGML funktioniert bei mir nicht mit GPT4All und die 7B braucht einfach fast eine Minute um zu antworten. Was für ein paar Usecases wie zum Beispiel eine realistische NPC-Dialoge Mod, Contraproduktiv ist. Kann mir vielleicht jemand in den Kommentaren helfen, wie ich das Problem lössen kann.
kannst du ein Video machen wie man wie man ein Modell mit seinen eigenen Daten füttert ?
ich bin gespannt wann die 13b Chat Version unzensiert kommt 😁
gibt es schon
Graucht man ne heftige Grafikkarte für
Was für Hardware sollte man denn für die jeweiligen Modelle im Rechner haben?
Reicht ne 4090 schon für das 70B Modell? :D
Grafikkarte weiß ich nicht, beim Ram Verbrauch per CPU siehts so aus mit dem llama-2-70b.ggmlv3.q5_0.bin Modell:
llama_model_load_internal: mem required = 45827,21 MB (+ 160,00 MB per state)
Ist aber von der Quantisierungsmethode abhängig, auf den Modellseiten stehen oft so Tabellen.
Mit GPT4All reicht ein Laptop ohne Grafikkarte mit einer 4-Kern CPU und 8 GB RAM für 7B oder 16 GB RAM für 23B, wenn du nicht allzu viel Geschwindigkeit erwartest.
@@supportend Wird ziemlich langsam sein ^^ mit PC Arbeitspeicher
Ist relativ, ich hab große Modelle so laufen und warte halt bisschen. :-)
@@supportend Wieviel RAM brauchst du zum ausführen? Glaube die Geduld habe ich nicht. 😀 Und wüsste auch nicht was ich fragen sollte was mir das 13b oder demnächst das 32b Modell nicht auch beantworten kann.
Ich hab eine Idee für ein Video, das wir alle sicher brauchen würden: Wie kann ich mir die neueste Nvidia-Grafikkarte für 50€ kaufen?
😂😂😂 oder gar die neuste Server Karte für 10€ statt 30000€
Hi, danke für das Video.
Ich habe eine Bitte. Ich würde das Video gerne einer Bekannten empfehlen, aber sie kann kein Deutsch. Kannst Du das automatische Erzeugen des Tra nsskripts und das automatische Übersetzen ins Englische einstellen. Dann kann sie sich das Video mit englischen Untertiteln ansehen. Das wäre super. Danke schon mal.
PS: was (oder wer) ist TheBloke?
Oh ja natürlich, ich erstelle direkt welche mit whisper, Gib mir ne Stunde 👍
@@TheMorpheusTutorials Danke, kein Stress, ich erreich sie eh erst heute Abend. Und wg. Whisper: Ich dachte, das macht TH-cam selbst, aber vielleicht ist Whisper besser.
Eine Stunde für 17 Minuten Audio sind aber flott. Mit dem größten Modell brauchts bei mir ca. 16 mal solange wie das Original, läuft allerdings per CPU. Vielleicht deshalb.
@@supportend danke
@@supportend warum audio? er fragte nach untertitel :D
Könnte man lama2 auch dazu verwenden bestimmte Töne in Audio Dateien zu erkennen? Also zb einen Frosch.
Wenn ja wie würde man das Finetuning machen?
Nein dafür gibt es z.B. für Sprache Whisper, ein audio zu text model. Für deinen anwendungszweck müsste man das finetunen oder vielleicht gibt es bereits ähnliche modelle
erster
kann ich auch irgendwie in python drauf zugreifen wie bei der chatgpt api nur ohne api
Ja, Pythonbindings für llama.cpp und GPT4All gibts.
Jap, gpt4all hat sogar einen eingebauten openai api server!
bitte Video zu top_p/top_k, thx :D
Vielen Dank. llama-2-13b-chat.ggmlv3.q4_K_M.bin ist interessant, schreibt auch auf Deutsch.
Nachtrag: Sehr spannend, der Test mit einer kleinen Geschichte und Fragen dazu läuft interessant ab. :-)
Wäre mal interessant zu wissen/sehen, wie man einen Fehler korrigieren kann. Also, wie das bei diesem Sprachmodell funkioniert und man die "Inteligenz" trainiert. Vielen Dank.
Q4_K_M ist eine viel bessere Wahl als Q2_K wie im Video! Wenn nicht sogar die beste, da es wohl den besten Ausgleich zwischen Qualität und Größe hergibt. Unter Q4_x sollte man eigentlich gar nicht gehen.
@@realtuxi Ich hatte das "einfach so" ausgewählt. Heute sieht es anscheinend anders aus, LLAMA 2 kann sich kaum an das "Gespräch" von gestern "erinnern".
Mich würde mal interessieren, wie ein LLM z.B. Namen und Orte "erkennt". Kann mir das Anhang einer "Statistik" nicht so wirklich vorstellen. Sind jedenfalls heute nur fehlerhafte Antworten. GPT4All hat seit heute die Version 2.4.14. Bleibt spannend!
@@aketo8082 Ja, moeglicherweise ist bei der neuen Version etwas im Zusammenhang mit LLaMA 2 kaputt gegangen. Danke fuer den ganz inoffiziellen Report.