Richtig gut, danke für das Video Interessant finde ich wenn das Modell eigene Daten durchsuchen kann ähnlich wie die NVIDIA Lösung, aber eben mit mehr Datentypen
Du meinst ChatRTX, oder? Muss ich mir auch mal anschauen. Sieht spannend aus. Die benutzen LLAMA und Mistral als LLM, zumindest in dem Video auf deren Webpage.
Eigenes Modell trainieren interessiert mich auch. Ich möchte am liebsten einfach zB ein Fachbuch als PDF übergeben und dann passiert die Magie, ohne dass ich noch viel machen muss. Idealerweise werden auch Grafiken mit einbezogen. Ansatzweise ist das ja schon mit PrivateGPT möglich. Oder ist das etwas anderes? Das habe ich noch nicht verstanden.
Ich kenne PrivateGPT nicht wirklich; ich habe nur kurz die Webseite angeschaut. Sie nutzen anscheinend die OpenAI-Schnittstelle und bauen darauf ihr eigenes System. Das bedeutet, sie müssen ebenfalls das Problem lösen, das Kontextfenster bei großen PDFs effektiv zu nutzen. Es gibt jedoch auch das sogenannte Fine-Tuning, bei dem man Modelle mit eigenen Daten trainieren kann. Das heißt, das LLM bringt Daten direkt mit. Man nimmt also ein vortrainiertes Modell und fügt eigene Daten hinzu. Deshalb sind die Open-Source-Modelle auch so interessant, weil man sie selbst noch verändern kann. Allerdings ist das Ganze nicht komplett trivial, sodass man gute Ergebnisse erzielt. Das ist aber, was ich als Nächstes probieren möchte.
Da Empfehle ich auf RAG Ansätze zurückzugreifen. Damit machst du deinen Text linguistisch semantisch durchsuchbar. Ist die schnellste und stabilste Lösung
Richtig gut, danke für das Video
Interessant finde ich wenn das Modell eigene Daten durchsuchen kann ähnlich wie die NVIDIA Lösung, aber eben mit mehr Datentypen
Du meinst ChatRTX, oder? Muss ich mir auch mal anschauen. Sieht spannend aus. Die benutzen LLAMA und Mistral als LLM, zumindest in dem Video auf deren Webpage.
Eigenes Modell trainieren interessiert mich auch. Ich möchte am liebsten einfach zB ein Fachbuch als PDF übergeben und dann passiert die Magie, ohne dass ich noch viel machen muss. Idealerweise werden auch Grafiken mit einbezogen.
Ansatzweise ist das ja schon mit PrivateGPT möglich.
Oder ist das etwas anderes? Das habe ich noch nicht verstanden.
Ich kenne PrivateGPT nicht wirklich; ich habe nur kurz die Webseite angeschaut. Sie nutzen anscheinend die OpenAI-Schnittstelle und bauen darauf ihr eigenes System. Das bedeutet, sie müssen ebenfalls das Problem lösen, das Kontextfenster bei großen PDFs effektiv zu nutzen. Es gibt jedoch auch das sogenannte Fine-Tuning, bei dem man Modelle mit eigenen Daten trainieren kann. Das heißt, das LLM bringt Daten direkt mit. Man nimmt also ein vortrainiertes Modell und fügt eigene Daten hinzu. Deshalb sind die Open-Source-Modelle auch so interessant, weil man sie selbst noch verändern kann. Allerdings ist das Ganze nicht komplett trivial, sodass man gute Ergebnisse erzielt. Das ist aber, was ich als Nächstes probieren möchte.
Da Empfehle ich auf RAG Ansätze zurückzugreifen. Damit machst du deinen Text linguistisch semantisch durchsuchbar.
Ist die schnellste und stabilste Lösung