Klarheit ist eine Illusion

Was für eine bedeutungsschwangere Überschrift. Aber irgendwie passend für das, was ich heute mit euch vorhabe. Heute geht es nämlich (wie letztes Mal schon angedroht) ein wenig um die Klarheit von Code, warum die wichtig ist und was das alles mit der Illusion of explanatory depth und irgendwie auch mit KI und AISafety zu tun hat.

Code, das liest man heute häufig, ist eigentlich fast schon überflüssig. Programmierer damit auch. Und das Hauptargument, was in der Softwareentwicklung häufig gebracht wird, dass das ja schon stimmt, aber Code nur so ein verschwindend geringer Teil von Softwareentwicklung ist, dass Softwareentwickler damit noch lange nicht überflüssig sind. Dem schließe ich mich als Mensch, der auch morgen noch Geld verdienen möchte, auch an.

Aber die Prämisse „Code ist überflüssig“ ist falsch. Und diese falsche Prämisse kann durchaus zu Fehlschlüssen führen, die sich potenzieren. Das war schon immer schlecht. Und im KI-Zeitalter ist das noch viel schlechter, weil Software (oder ganz allgemein Produkte) eben nicht mehr über Jahre entstehen, sondern gerne mal an einem langen Wochenende von entsprechenden Enthusiasten aus dem Ärmel gevibed werden.

Warum halte ich diese Prämisse für falsch? Weil Code Klarheit ist. Und das gilt, weil Code deterministisch und mathematisch ist. Entwicklung ist nämlich immer ein Erkenntnisprozess. Kein gutes Produkt (egal wie wir das definieren, also egal ob das jetzt Software, ne Maschine, ein Gesetz oder ein Pudding ist) liegt perfekt, widerspruchsfrei und ohne Denkfehler in reiner Spezifikation vor dir. Klar, man kann das behaupten, das heißt dann Pflichtenheft und ist mitunter einer der Gründe dafür, warum gerade in der öffentlichen Verwaltung so viel Software so schei*e ist. Aber wirklich so abgerundet, so hunderprozentig, das schafft keine Spezfikation. Allein schon deshalb, weil unserer Sprache da Grenzen gesetzt sind. Also harte Grenzen. Für die ganz harten gilt das sogar in der Mathematik selbst, wenn ich da mal so eben mit dem Gödelschen Unvollständigkeitssatz wedeln darf.

Aber was bedeutet das? Naja, um meinen Vater hier mal stolz zu machen zitiere ich die Rolling Stones und sage „You can’t always get what you want“. Das, was du aufschreibst und das, was entsteht, sind zwei paar Schuhe. Produktentwicklung ist wie schon gesagt (und zwar in sehr starken Teilen) immer auch ein Erkenntnisprozess. Auch über uns selbst. Wir lernen, was wir meinen. Wir lernen zu kommunizieren, was wir wollen. Und wir lernen, irgendwann auf der harten Ebene des Codes anzukommen, der definierte Dinge tut, in definierter Reihenfolge. Wir können staunend davor stehen und uns fragen, warum er das tut (was wir vor allem mit wachsenden Frust tun, wenn es nicht das ist, was er unserer Meinung nach tun sollte). Wir müssen aber keine Meinung darüber haben, was er tut. Denn was er tut, ist Fakt. Und wir können ergründen, was er tut, wenn wir fachlich fit genug dafür sind. Wir können (und müssen) darüber diskutieren, ob dass, was da getan wird, das ist, was wir wollen. Aber wir haben (dank der Wissenschaftsdisziplin Informatik übrigens) klare Dinge, an denen wir das messen können. Und über die es müssig wäre, zu diskutieren. Strukturwissenschaften wie Mathematik und Informatik drehen ihr Fähnchen nämlich nicht nach dem Wind. Die untersuchen, ob Dinge (im Rahmen von Axiomensystemen) wahr oder falsch sind. Punkt.

Das wir gegen diese Wand rennen ist gut, denn sonst bauen wir keine Produkte, sondern machen Politik. Das erlaubt uns (um wieder bei den Stones zu landen, Papa) bei den Dingen anzukommen, die wir brauchen: „But if you try sometimes, well, you might find: You get what you need“.

Viel Text, schlagen wir mal den Bogen zurück ins jetzt. Da fangen massiv viele Beiträge in Social Media heutzutage damit an, dass man sagt „Ich kann überhaupt nicht programmieren, aber ich habe gerade mit KI dies, das, Ananas gebaut“. Toll. Nein, wirklich, finde ich gut. Aber bitte tu nicht so, als ob du da ein Produkt gebaut hast. Du hast geheimwerkt. „Ich kann überhaupt nicht programmieren“ ist der neue Partyspaß nach „Ich war schon immer schlecht in Mathematik“. Gesellschaftlich anerkannt, guter Conversation Starter, aber eigentlich ein Eingeständnis daran, dass man hier nicht so wirklich weiß, was man tut. Und das, gemau das schneidet den entscheidenden letzten Schritt des Erkenntnisprozesses plötzlich ab: Erkenntnis.

Als Randnotiz sei dabei erwähnt, dass viele Entwickler hier schon einen gewissen kognitiven Abbau bei sich selbst registrieren. Wenn es mal dazu kommt, selbst Hand am Code anlegen zu müssen, und zwar in größerem Stil, dann stellen viele Kolleg:innen fest, dass sie da sehr viel langsamer voran kommen als früher. Und das hat Implikationen, erst recht, wenn man als Softwareentwickler zum bloßen Schrankenwärter für KI-generierten Code verkommt. Verstehen und Erkenntnis erschließt sich bei so was wie Code nämlich nicht aus stillem betrachten und einfach lesen. Die kommt vom Code schreiben. Die kommt vom Fehler machen. Genauso wie bei der (vermeintlich noch ungeliebteren) Schwester von Code, der Mathematik (Und damit habe ich wahrscheinlich jetzt auch noch zu allem Überfluss meinen Mathelehrer stolz gemacht).

Das kann man ja halten wie man will, Software war schließlich vorher auch schon oft genug irgendwie ein Chaos mit viel Klebeband und Gebeten und oft hatte keiner mehr die Chance die Komplexität des Ganzen zu verstehen. Der Unterschied ist jetzt, wir driften jetzt gerne in eine Richtung ab, wo Verstehen plötzlich angeblich überflüssig wird. Wo es offenbar nicht mehr nötig ist, über Prozesse, die nicht umsonst deutliche Parallelen zu guter wissenschaftlicher Methodik haben, überhaupt nur nachzudenken. Sondern wo stattdessen einfach so lange Wegwerfprodukte an die Wand geschmissen werden bis eins davon mal kleben bleibt.

Das zieht Kreise, auch wenn du dir keine Software zusammenbastelst. Und damit sind wir bei der Illusion of explanatory depth (IOED) angekommmen. Was heißt das? Nun, dass du sehr sicher im Umgang mit DIngen sein kannst, aber trotzdem keinen Plan hast, wie sie funktionieren. Selbst bei so einfachen Dingen wie nem Reißverschluss (es sei denn du hast immer fleißig die Sendung mit der Maus geguckt, du Fuchs!). Für viele Dinge des Alltags ist das gut genug. Wir bauen uns mentale Modelle, wie etwas wohl funktionieren könnte, und so lange die Realität damit nicht kollidiert, ist alles gut (Wenn du jetzt denkst, das kenn ich doch woher? Ach ja, Norman, Design of everyday things. Genau, also eigentlich ein alter Hut.). Oft genug ist es das nicht. Und oft ist das allein auch nicht gut genug.

Und damit kommen wir zum Ende und neben der geäußersten Kritik auch noch zu ein paar warnenden Worten: Generative KI lässt uns offenbar vermehrt denken, dass wir uns ein tiefes Verständnis von Dingen sparen können. Mehr noch, mancher mag sogar dazu tendieren, dass man sich die mentalen Modelle für die einfachereren Dinge des Lebens sparen kann. KI kann einem ja alles erklären.

Das ist falsch. Und da hört’s dann meiner Meinung endgültig auf, noch Spaß zu machen.