ฝัง
- เผยแพร่เมื่อ 25 ก.ค. 2024
- Chat-Support und mehr exklusive Inhalte auf Patreon: / apfelcast
Netmountains - der Sponsor des heutigen Videos: netmountains-datacenter.de/gp...
In diesem Video stelle ich euch vor, wie ihr euch euren eigenen KI Server mit Hilfe von OpenSource Software aufbauen könnt und darauf chatbasierte KI Funktionen nutzen könnt. Auch die Installation unterschiedlichster LLMs ist Dank OLLAMA kein Problem. Aber auchZusatzfunktionen wie Bilderkennung oder Sprache-zu-Text sind mit den Tools, die Ich euch heute vorstelle möglich.
#KI #Self-Hosted #OLLAMA
🛠️ OpenSource IT-Support 🛠️
Du benötigst Unterstützung bei der Installation oder Konfiguration von OpenSource Software? Ich helfe dir gerne weiter! Schreib mir einfach eine Mail an (Daniel): service@apfelcast.com
» Meine Website: apfelcast.com
ℹ️ Links:
Im Video verwendete Befehle: cc.apfelcast.com/uln0c
CPU vs. GPU Vergleichsvideo: www.patreon.com/posts/1066652...
OLLAMA: ollama.com
Open WebUI: openwebui.com
» Abschnitte:
00:00 Begrüßung
01:26 Zielsetzung
02:55 Verwendete Software
05:00 Verwendete Hardware
10:25 Installation OLLAMA
12:37 KI Anfragen via CLI
15:17 Installation Open WebUI
17:53 KI Anfragen via Chat im Browser
19:19 Zusatzfunktionen Open WebUI
20:54 Dokumenete verarbeiten
22:40 Zusätzliche KI Modelle herunterladen
24:13 Web-Suche integrieren
24:49 Bildverarbeitung via KI
26:02 Benutzer- und Rechteverwaltung
28:54 Fazit
Mein Equipment:
» Kamera: amzn.to/2M4fQuL
» Objektiv: amzn.to/2M13bsA
» Ton: amzn.to/2M1EBHX
» Recorder: amzn.to/2QhsnJC
» Beleuchtung: amzn.to/2JxF96e
Hinweis:
Alle Links beginnend mit „amzn.to“ sind Affiliate Links. Wenn du über einen dieser Links ein Produkt kaufst, bekomme ich einen kleinen Anteil des Kaufpreises gutgeschrieben. - วิทยาศาสตร์และเทคโนโลยี
Wäre cool wenn du das, wie im Video von dir Angeboten, ein Video zum Thema fürs Homelab machen könntest 👍😁
@@Leak-ec5gb ja gibt es, aber mir, und so habe ich es im Video verstanden, geht es mehr um die Kombi Hardware + AI und nicht wie installiert man LlamaGPT auf einen PC.
Hier im Video ist die Hardware für mich "zu teuer" und ein Normaler PC zu schwach, ich bin auf die Homelab Variante von Apfelcast gespannt.
Ein schöner Nebeneffekt, das Video wird in Deutsch sein, für mich deutlich verständlicher 😂😂
@@Leak-ec5gb japp 🙂
Homelab bitte
Wie immer ein top Video! Bitte für homelab ein Video produzieren ❤️
Gerne weitere Videos dazu für's Homelab.
Ja, die Homelab-Variante würde mich auch interessieren...wobei ich bei mir eh schauen müsste, wie ich das realisiere. hab die Wahl das in meinem eh schon recht belegten Storage-Server oder im Proxmoxcluster zu machen....da bräuchte es halt gleich drei Karten, und dann noch Low Profile, was auch wieder zum Problem werden könnte.
Klasse Video! Ohne größere Probleme konnte ich eine kleine KI-Test-VM dank deiner Anleitung in meinem Proxmox-Homelab aufsetzen! :-) Gut, es ist nicht so schnell wie ChatGPT oder mit NVidia-Grafikkarte, aber auf meinem Mini-PC braucht es mit 8 Kernen, 10 GB RAM auch nicht so wahnsinnig lange um Antworten zu bekommen, und der Stromverbrauch ist auch sehr gering.
Sicher, das ist nichts für produktive Umgebungen, aber um sich dem Thema mal in den eigenen vier Wänden zu widmen ist das schon OK...
Besten Dank!
Bin aber auch auf eine Homelab-Variante von Dir gespannt... Vielleicht kommt da noch mal was wirklich günstiges bei raus... ?! 🙂
Eine schöne Sache zur Fortführung des Themas wäre ein Video zur Software - Flowise. Die Möglichkeiten, die diese Software im Zusammenarbeit mit z.B. OLLAMA bietet sind sehr beeindruckend.
Ein Video fürs Homelab wäre top 👍
Spricht was gegen die Installation auf einem Proxmox Server?
Homelab wäre super. Tolles Video. Danke!
Super Video! Bitte auch fürs homelab ein Video anbieten!
Toll, so ein Video habe ich schon immer gesucht!
Wie zuverlässig ist die KI?
In meinen Tests was das reine Hosting angeht läuft das ganze absolut solide. Die Qualität der Antworten variiert natürlich je nach LLM. Ist aber unterm Strich vergleichbar mit ChatGPT.
@@apfelcast Gibt es einen bestimmten Server, den du dafür speziell dafür empfehlen würdest?
Was muss man in der webui einstellen dass alle cpu's genutzt werden?
Danke.
Mich interessiert wie ich das auf einem Heimserver umsetzen kann und welche Hardware da Sinn macht.
Mich würde am meisten interessieren, wie es mit eigenen Dokumenten aussieht. Nicht als Prompt zu einer Anfrage, sondern Global hinterlegt, sodass jeder User zB. fragen kann ' gibt es ein Dokument zu XYZ' oder 'gibt es ein Dokument zum Thema xxx und kannst Du es erläutern' .... Das wäre ein Game changer für jeden Paranoiker im Bezug auf seine Daten.
Coole Idee, wenn ich mir vorstelle, die Ki kennt den Inhalt, oder nur das es die Angefragte Datei in meiner "Paperless" Datenbank gibt..... 👍
Ein KI Server für Homelab mit verbindung zum Homeassitant wäre sehr interesant.
In diesem Video wird ein großer Nachteil dieses Setups nicht erwähnt. Die RTX 3090 hat nur 24 GB RAM. Damit lassen sich nur die kleinsten Versionen der LLMs betreiben und diese sind stark eingeschränkt, also kein Vergleich mit einem ChatGPT. Außerdem hat die Karte auch nicht genügend RAM, um mehrere der kleineren Modelle gleichzeitig zu laden. Das bedeutet, wenn der eine Benutzer mit Modell X unter der andere Benutzer gleichzeitig mit Modell Y arbeiten will, dann geht das schon nicht mehr.
Hammer Video 🎉 Aber eine Frage hab ich : Wie hast du die Grafikarte in den Dell EMC Server eingebaut ? Über ein Zusatz Modul ? Gruß
Super Sache 😀 geht damit auch eine Anbindung an die Nextcloud oder Odoo?
OLLAMA bietet dafür eine API. Allerdings supporten diese leider noch nicht alle Dienste. Nextcloud bietet dazu noch keine Anbindung.
Ich möchte mit zwei Benutzern an einem Chat teilnehmen. Im Grunde also die Funktion für den Admin einen Chat eines Mitarbeiter zu joinen und gemeinsam mit der KI zu schreiben.
Die RTX 4000 ada wäre interessant gewesen oder eine andere für Ai spezifische Karte, NVIDIA hat doch eine Handvoll und diese sind alle über ihre Tensor Cores für diese Prozesse optimiert und deutlich Spätsommer als eine RTX 3090, meiner Meinung nach eignet sich eine 3090 für ein Server nicht.
Bitte auch ein Video fürs HomeLab😊
Würde das auch auf einen laufenden Server gehen, der bereits benutzt wird für Nextcloud, yourls &Co oder muss es ein komplett neuer Server sein?
Theoretisch kannst du das auch auf einem laufenden Server installieren. Allerdings sollte dieser genügend Leistung und am besten auch eine GPU haben, damit du das Tool sinnvoll nutzen kannst.
KI Lösung für das Homelab wäre super 😀
Danke für das Video! Wie viel RAM hat denn dein Mac mini? Ich dachte Lama 3 braucht mindestens 16 GB. Von daher wird es mit den 700 € Mac mini knapp, oder? Und warum muss man sich einen Account machen, wenn das ganze lokal läuft? Oder ist das ein lokaler Account?
Homelab bitte :)
Gibt es einen Grund warum Ollama nicht auch via Docker installiert wurde ?
Vielen Dank für das informative Video.
Mir wäre ein Video zum Thema KI und Nextcloud wichtig.
Ich finde leider wenig zu diesem Thema.
Das Ganze als Homelab wäre interessant.
Wenn man eine starke GPU hat, ist die CPU nicht so wichtig, oder? So wie ich das verstanden habe ist Datentransfer HDD zu Speicher und GPU wichtig für Geschwindigkeit, und das wird über DMA Kanäle kopiert ohne CPU beteiligung. Oder irre ich mich?
Die Idee eines eigenen KI Server begeistert mich ja schon, jetzt wäre es ja noch perfekt, die KI auf meine belange zu trainieren. Gibt es hier etwas, mit dem man „seine Fragen“ beantwortet bekommt ? Vereinfacht dargestellt, ich stelle 1000 PDF Dateien mit meinen Supportfällen bereit und die KI lernt daraus und gibt die Antwort
Besteht die Möglichkeit das man auch Webseiten einbindet sodass er wissen aus einer Webseite ziehen kann? Bzw. Anfragen speziell zu einer Webseite
Du machst das alles unter root;-) geht das auch mit normalem Benutzer?
Ich habe mal ein paar Tests mit meiner Grafikkarte gemacht. Für ein Homlab reicht meiner Meinung auch eine Nvidia 4070 was Preislich deutlich besser ist. Ja, es gibt mal ein paar Verzögerungen, aber ich glaube, das ist vertretbar. Von einer 30xx bzw. 20xx würde ich wegen Stromverbrauch absehen. Ich werde demnächst noch ein Versuch mit einer 1060 durchführen, mal sehen, ob das auch reicht.
Homelab bitte und danke für das Video.
Wie das wohl auf einer Proxmox VM mit 6 Kernen und 8GB RAM, 256GB NVME ohne GPU Passthru laufen würde?
Langsam. Ich habe 32GB + 40 Kerne (vCPU), ohne GPU - manchmal muss man bis zu 10s auf die Antwort warten.
@@ferdynand40 10 Sekunden ist doch okay für eine reine CPU basierende Lösung.
Ich habe die Sache bei mir auf einer Proxmox Node mit 8 Kernen vom EPYC und 16GB RAM allerdings ohne GPU passthrough installiert und 7 Modelle heruntergeladen.
Performance geht eigentlich, allerdings frage ich mich ob so eine kleine Quadro P400 schneller wäre.
@@RoyHess666Hier ist auch VRAM entscheidend... Die Modelle lieber RAM/VRAM - bei z.B. 4GB VRAM kannst du sinnvoll auch so "kleine" Modelle nutzen.
Zu ergänzen wäre vielleicht, das zumindest bei meiner Installation die Verbindung zur Open AI API standardmäßig aktiviert war. Was bei dem ganzen Projekt vielleicht nicht gewünscht ist …
Homelab 👍
Hübsch wäre ein Video, wie man die WEB-UI in Proxmox als Container laufen lass kann
Was wäre LLama auf nen Raspberry pi?👀😂
Homelab RTX3060 12GB
Ein Mac als Server sollte noch erwähnt werden. Ein aktuelles MacBook M1/2/3 mit 32+ GB RAM ist dank unified Memory ggfls sogar günstiger und bei vielen Entwicklern eh schon vorhanden. Mein M2 max mit 64GB lutscht alle genannten Modell auf 'ne halben A*schbacke durch und fungiert gleichzeitig als Entwicklermaschine. Ich denke der Stromverbrauch ist auch deutlich geringer.
Geschichten aus dem Paulanergarten
@@loomi28 "Was muss bei der buchhalterischen Verarbeitung bei der Anschaffung eines neuen gebäudes beachtet werden?" wird lokal mit llama3 auf meinem MacBook genau so schnell beantwortet wie im Video gezeigt.
Kann ich nur bestätigen. Ein Video zu Mac mit Apple Silicon als KI Server ist schon in der Produktion :-)