Die KI versteht nichts, muss Sie auch nicht - die muss nur berechnen welches Wort am besten hinter das jetzige letzte Wort passt und Sie wird immer besser darin. Die ist im herkömmlichen Sinn strohdumm aber das ist tatsächlich egal in ihrem Feld - kapieren viele nicht.
Das ist zu kurz gegriffen, als Definition zu alt und zu klein (wenn sie jemals richtig war) und damit für moderne Modelle falsch. Es geht darum, dass Modelle Beziehungen zwischen Konzepten in den Gewichten gelernt haben, um damit das nächste Wort vorauszusagen. Sie haben also auch ein Verständnis der Konzepte selbst in ihren Gewichten, unabhängig vom Sprechen darüber. So wie Menschen auch Konzepte im Hirn abgespeichert haben, ob sie gerade drüber reden oder nicht. Zudem sind moderne Modelle schon länger multimodal (Text, Audio, Video etc. als In- und Output), also keine reinen "Wortvorhersager".
Claude beschreibt das treffend so: "„Sagt das nächste Wort voraus“ legt fest, was ausgegeben wird, aber nicht, wie die Verteilung zustande kommt. Wer Text sehr gut vorhersagen will, muss die Strukturen modellieren, die diesen Text erzeugt haben: Grammatik, Fakten, Kausalzusammenhänge, Absichten von Sprechern, Rechenregeln. Um zum Beispiel den nächsten Schritt eines Mathebeweises vorherzusagen, muss das Modell die Mathematik zumindest teilweise nachbilden."
Sein Fazit: "Die treffendere Formulierung wäre: LLMs sind Systeme, die durch Wortvorhersage trainiert wurden und dabei interne Modelle von Sprache, Wissen und Problemlösung entwickelt haben, allerdings lückenhafte und unzuverlässige. Ob man das „Verstehen“ nennt, ist eher eine Definitionsfrage. Offen ist in der Forschung vor allem, wie weit diese internen Modelle reichen und wie robust sie sind."
Die Verbesserung des "lückenhaft und unzuverlässig" ist tägliche Arbeit der AI Labs. Und die Lücken werden mit Lichtgeschwindigkeit immer kleiner und die Zuverlässigkeit immer höher.
