Steht in der KI der nächste Durchbruch bevor, Sepp Hochreiter? - FAZ D:ECONOMY

Sepp Hochreiter hat in seiner Diplomarbeit zu Beginn der neunziger Jahre eine kleine KI-Revolution erdacht. Sein Lernalgorithmus verbarg sich hinter dem Kürzel LSTM, das steht für Long-Short-Term-Memory. Er verlieh der KI so etwas wie ein brauchbares Gedächtnis - Computer können seither besser mit Sequenzen umgehen. Als er die Idee zusammen mit Jürgen Schmidhuber verbreitete und weiterentwickelte, erkannten zunächst nicht einmal Fachleute, welche Macht sie besaß.
Letztendlich hob LSTM die Sprachverarbeitung auf eine neue Stufe. Von Google bis Microsoft verwendete jeder Tech-Konzern sie, bis zum Jahr 2017 steckte sie sozusagen in jedem Smartphone. Dann veröffentlichten Fachleute von Google einen Aufsatz und stellten darin die Grundlage für jene großen Sprachemodelle vor, die heute so erfolgreich sind und die durch ChatGPT berühmt und ein Massenphänomen wurden.
Doch auch diese KI-Systeme haben Grenzen, scheitern an Aufgaben, die für das Gehirn leicht sind. Nun kommt Hochreiter, der inzwischen im österreichischen Linz lehrt und forscht, seinerseits mit der nächsten womöglich bahnbrechenden Idee um die Ecke: Er stellte unlängst vor, wie er LSTM weiterentwickelt hat - unter dem Kürzel xLSTM, das steht für Extended Long-Short-Term-Memory. Die bisherigen Schwächen will er reduziert und zugleich die Vorteile gegenüber den gegenwärtig angesagten Transformer-Modellen verbessert haben.
Wie funktioniert das? Was steckt dahinter? Wie weit ist sein Unternehmen NXAI? Über all das sprechen wir in dieser Episode.

[@DecayingWave]

Hype!
Herr Hochreiter ist ein Genie. Und er kann unfassbar gut erklären. Ich hab das Gefühl, ich habe mehr verstanden, als ich eigentlich dürfte. 😅

[@ElrondMcBong]

Danke für diesen wunderbaren Gast!
Man kann gespannt bleiben, was XLSTM alles noch leisten wird.

[@geldverdienenmitgeld2663]

Es gibt x Beispiele, bei denen die LLMs nachweislich nie zuvor gesehene Aufgaben bekommen und mit logischen Schlussfolgerungen sie lösen können.
Wir haben es wieder einmal mit einem schönen Beispiel dafür zu tun, dass ein sogennanter Experte eine völlig falsche Vorstellung von Dingen hat, die eigentlich relativ nah zu seinem eigenen Fachbereich gehören.
Natürlich gibt es auch Aufgaben, an denen die LLMs scheitern. Aber das gibt es auch mit Menschen. Ein Mensch kann relativ wenig Planung, Logik und Mathematik, wenn er nicht wenigstens Papier und Bleistift als Hilfsmittel bekommt. Wir dürfen nicht vergessen, dass LLMs in der Regel allein mit ihrem Neuronalen Netz Aufgaben lösen und noch hat das menschliche Gehirn ca. 100 mal so viele Parameter.
Zur Inferenzzeit können die LLMs auch allein von einer neuen Definition oder einem einzigen Beispiel lernen. Umgekehrt kann der Mensch auch oft nur durch viel Training lernen, wie z.B. Klavierspielen.Hier hat der "Experte" die LLMs zu klein und den Menschen zu hoch bewertet.
Es wird natürlich viele anthropozentrische Menschen geben, denen es wie Öl runter geht, wenn jemand sagt, die LLMs seien nicht intelligent und die Menschen seien so viel intelligenter. Damit kann man sich Freunde machen, aber richtig wird es dadurch leider nicht.