Maximale Entropie

Letzte Woche fiel der Newsletter aus, dafür gehen wir diese Woche in die vollen. New Work, Gesellschaft, künstliche Intelligenz, Systemtheorie, und das Ganze erklären wir bildlich anhand von Physik.

Zu viel? Nein? Noch dabei? Schön.

Fangen wir mal einfach an. Letzte Woche äußerte sich der KI-Forscher (und OpenAI-Urgestein, wenn auch, wie bei vielen anderen Talenten, nicht mehr dort) Andrej Karpathy kritisch zu unserer überzogenen Vorstellung des Wissens, dass durch LLMs repräsentiert wird. Das kam nicht bei jedem gut an; aber es stimmt. Eine kluge Antwort liefert eine KI dann, wenn die Antwort sich als kluge Mittelung aus den Antworten kluger Daten-Labeler ergibt. Das ist stark vereinfacht, aber richtig. So ein LLM schreibt zum Beispiel keinen guten Code, wenn man es einfach auf allem Code trainiert. Guter Code kommt nur heraus, wenn man die LLM auf dem Code guter Programmierer trainiert. Ebenso entstehen nur dann schöne Texte, wenn man das LLM mit guter Literatur füttert. Schulaufsätze und Facebook-Posts schaffen das mit Sicherheit nicht.

Und nicht nur das, da ist ja auch noch die Mittelung. Wir reden ja immer über Statistik, wenn wir über neuronale Netze reden. Selbst, oder vielleicht gerade dann, wenn es um so riesige Modelle wie ein LLM geht. Wir bekommen nicht die richtige Expertenantwort auf eine Frage. Wir bekommen den Mittelwert vieler Expertenantworten. Das ist oft gut genug, wenn wir davon ausgehen, dass unser KI-Modell sauber trainiert worden ist und es um Fragestellungen mit weitestgehendem Konsens geht. Ist das nicht erfüllt, dann haben wir ein Problem. Dann landen wir plötzlich bei einem wilden Gemenge unterschiedlicher Meinungen. Die Verlässlichkeit ist dahin.

 

Vielleicht erinnerst du dich noch an Wahrscheinlichkeitsverteilungen aus der Schule? Aussagekraft über bestimmte Gegebenheiten haben wir dann, wenn es klare Spitzen in der Verteilung gibt. Wenn sich die Antworten mehr oder weniger dicht an einem Punkt sammeln, der optimalerweise unserem Mittelwert entspricht (ein hoch auf die Normalverteilung). Je breiter die Daten streuen, desto weniger sicher können wir uns der Antwort sein. Im schlimmsten Fall gibt es keine erkennbaren Spitzen mehr. Alles ist, wie bei einem Würfelwurf, gleich verteilt. Beliebig. Und damit abseits der Tatsache, dass alles gleich verteilt ist, aussagen- und letztendlich bedeutungslos.

Tja, und da landen wir automatisch, wenn wir unbesehen einfach Daten in statistische Schätzer stopfen. Wir bauen uns früher oder später eine Wahrscheinlichkeitswolke, in der alles möglich, aber nichts wahrscheinlicher als etwas anderes ist. Das ist toll für den echten Zufall. Aber nicht so toll, wenn man verlässliche Antworten auf Fragen erwartet.

Solche Systeme sind belanglos, denn sie können ihren Zweck nicht mehr erfüllen. Handeln auf Basis dieser Daten ist bestenfalls noch erratisch möglich – es wird zum puren Glücksspiel. Und da können wir uns stattdessen auch einfach auf unser Bauchgefühl verlassen oder eine Münze werfen.

Blicken wir mal in die (klassische) Physik, genauer gesagt, in die Thermodynamik. Da haben wir eine wichtige Kenngröße für ein System, nämlich seine Entropie. Solange physikalisch die Luzi abgeht, steigt die Entropie. Aber irgendwann ist Schluss damit. Alles, was interagieren und miteinander reagieren konnte, hat das getan. Unser System erstarrt. Jegliche Dynamik erlischt. Alles ist einheitlich, aber auch statisch. Beliebig. Langweilig. Tot. Auch LLMs, die sich munter im Kreis drehen, weil wir sie immer mehr mit KI-generierten Inhalten füttern, landen irgendwann in diesem Zustand der maximalen Entropie.

Der wiederum, um schnell mal wieder das Thema zu wechseln, schon ein wenig an den störrischen, ewig-gestrigen deutschen Mittelständler erinnert (ich bin da eigentlich zu einschränkend – wir sehen ja gerade wieder, Automobilkonzerne oder angebliche Volksparteien beispielsweise können das ja auch). Vielleicht gibt es dort noch Inseln der Aktivität, Bereiche, in denen die maximale Entropie noch nicht erreicht ist. Wo noch Impulse ankommen. Wo vielleicht noch Systemgrenzen offen sind und damit unser Entropiepotenzial erhöht werden kann. Aber irgendwann erlischt auch das. Wenn alles drumherum erstarrt, hat auch das beweglichste innovative Team irgendwann keinen Spielraum mehr.

Meines Eindrucks nach sind solche Systeme übrigens nicht so einfach zu identifizieren, wenn man nicht genau schaut. Wir reden hier keineswegs über solide, unbewegliche Klötze. Das wäre schön, denn das wären, Gedenksteinen nicht unähnlich, Mahnmale, solche Entwicklungen und die Fehler, die sie provoziert haben, nicht zu wiederholen.

Nein, solche konzeptionell erstarrten Systeme neigen zu Scheinhandlungen. Sie produzieren – allerdings nur heiße Luft. Hier findet keine Wertschöpfung mehr statt. Hier dreht man sich nur noch im Kreis, um den Schein zu waren. Leiert Plattitüden herunter, denen es an Substanz fehlt. Und erinnert daran, wie gut doch alles früher war, ohne Verständnis dafür zu zeigen, dass das eben die Vergangenheit ist und die nun einmal nicht wieder kommt.

Auf kurze Sicht und mit einer gewissen Ignoranz wirken solche Effekte beruhigend. Einschläfernd, weil langweilig. Bedeutungslos, weil beliebig. Einlullend, weil so schön unkompliziert. Aber leider auch falsch. Und damit doch wieder bemerkenswert ähnlich zu den LLMs, womit wir diesen Artikel begonnen haben.