Aber sicher doch.
Bevor hier irgendwas falsch ankommt. Ich find Machine Learning und KI großartig. Wirklich. Das ist kein Hype, das ist auch nicht irgendeine Phase. Ich habe das damals an der Uni schon toll gefunden, als das, verglichen mit heute, noch in den Kinderschuhen gesteckt hat. Und jetzt ist es ganz klar mein Tätigkeitsschwerpunkt, solche Systeme strategisch vorzubereiten und in der Praxis ans Rennen zu bekommen.
Ein weiterer Disclaimer vorneweg: Heute gibt es viel Text, und das ohne tl;dr. Ich erkläre auch nicht jede Begrifflichkeit. Wenn du dich komplett hier durcharbeitest, das alles verstehst und im Umgang mit KI in deinem Unternehmen berücksichtigen kannst – perfekt. Wenn nicht, meld´ dich – das ist genau der Job den KI-Consultants in dem Bereich machen sollten, dich dadurch zu führen.
Ja, verlässliche und vertrauenswürdige KI, das ist mein Job. Und genau das ist auch mein Problem. Ich möchte sichere und verlässliche KI-Systeme (und aufgrund der Nachfrage meine ich damit vor allem generative KI-Systeme) bauen. Das erfordert einiges an Hirnschmalz und auch einiges an Ressourcen. Und irgendwie scheint die niemand investieren zu wollen. Und das aus allen Perspektiven.
Da wären zunächst die großen KI-Unternehmen, die Sicherheitstests in Umgebungen fahren, die offensichtlich löchrig sind und aus denen nicht beschränkte Modelle dann wiederholt ausbrechen und Fremdfirmen hacken (erst OpenAI, dann Anthropic, jetzt auch Meta). Das offenbart nicht nur ein bedenkliches Maß an Verantwortlichkeit. Man kommt damit auch durch. Bis jetzt scheinen die Strafverfolger jedenfalls noch nicht da geklingelt zu haben, obwohl auch in den USA das Hacken von Unternehmen mit ziemlicher Sicherheit eine Straftat ist.
Dann sind da die Trailblazer, die zeigen wollen, was mit KI und vor allem agentischer KI alles möglich ist. Erst wurde gevibed, dann geharnessed und jetzt wird geloopt. Der Faktor Mensch zieht sich aus den produktiven Schleifen zu Gunsten der Effizienz zunehmend zurück. Die Überprüfbarkeit, und erst recht die Richtigkeit der Arbeitsergebnisse bleibt dabei auf der Strecke. Und Verantwortung für diese zu übernehmen, wird zum Glückspiel. Deshalb spricht man doch lieber nicht über Konsequenzen.
Und dann sind da noch diejenigen, die von KI profitieren und sie deshalb im eigenen Unternehmen möglichst gewinnbringend zum Einsatz bringen wollen. Für mich die wichtigste Gruppe, denn erstens gehöre ich ihr selbst an, und zweitens ist das auch meine Zielgruppe. Für genau diese Leute arbeite ich.
Auch diese dritte Gruppe möchte gerne um jeden Preis schnell vorankommen. Da gibt es nur ein Problem: die Strategie der Konsequenzlosigkeit der ersten beiden Gruppen greift hier nicht. Was schief geht, geht auf die eigene Rechnung. Also lieber komplett auf Nummer Sicher spielen? Sorry, auch das klappt nicht. Denn KI und absolute Sicherheit, das geht nicht zusammen. Vielleicht tun wir uns auch deshalb in Deutschland mit KI so schwer. Die Technologie verträgt sich nicht mit der deutschen Maxime der Risikoarmut.
Wir müssen uns einige Dinge eingestehen, wenn wir wirklich sicher mit KI arbeiten wollen. Abseits der Tatsache, das sicher in diesem Fall ein sehr relativer Begriff ist, gehört zum Beispiel dazu, dass wir uns hier in vielerlei Hinsicht auf unbekanntem Terrain bewegen und vielleicht auch so ein bisschen vergessen wie man sich auf solchem Terrain am besten verhält.
Aber schauen wir uns das doch mal genauer an.
Die Technologie hat in den letzten Jahren wirklich ganz gewaltige Sprünge gemacht. Wir haben sehr gut verstanden, wie man diese Systeme baut. Und wie man sie kontinuierlich verbessert. Was dabei aber auf der Strecke geblieben ist, ist das Verständnis von dem, was in diesen Systemen wirklich passiert. Wir haben für die praktischen Anwendungsfälle kaum Werkzeuge, die uns genau das vollumfänglich beobachten geschweige denn verstehen lassen. Hypothesen gibt es mittlerweile viele, Theorien weniger, vor allem weil vieles, was postuliert wird, dann doch schnell wieder widerlegt wird.
Im Grunde haben wir mit LLMs ein neues naturwissenschaftliches Feld aufgemacht. Und das versuchen wir jetzt nach und nach zu ergründen, mit wissenschaftlichen Methoden. Das ist gut, hat aber zwei sehr zentrale Probleme. Zum einen kann dieser Erkenntnisprozess natürlich nicht mal ansatzweise mit der Geschwindigkeit des Fortschritts mithalten. Zum anderen kommen wir ob der schieren Komplexität der Gebilde, die wir hier untersuchen, an unsere Grenzen. Vielleicht fehlt uns auch das nötige Handwerkszeug und wir müssen das in den kommenden Jahren erst noch entwickeln.
Mich erinnert das irgendwie so ein bisschen an die Physik des ausgehenden 19. Jahrhunderts. Wir haben ganz viele Ansätze, ein paar sehr schöne grundlegende Theorien, die nur bedingt auf reale Anwendungen skalieren und vor allem jede Menge Widersprüche. Vielleicht kommt in näherer Zukunft das LLM-Theorie-Äquivalent zur Relativitätstheorie oder zur Quantenphysik um die Ecke und führt ganz viel zusammen. Vielleicht aber auch nicht.
So oder so, es bleibt die Tatsache im Raum, dass der Fortschritt dem Wissensstand davon läuft.
Und für die Sicherheit von KI-Systemen ist das nicht gut. Wir bauen hier Technologien, die in der hochdigitalen Welt quasi waffenfähig sind. Das wurde bereits zu Genüge unter Beweis gestellt. Leider befinden sich diese Waffen zum Teil in Privatbesitz (kein Wunder dass man von dieser Seite über die chinesische Konkurrenz auf Augenhöhe nicht glücklich ist) und die Besitzer haben sie, ob aus Nachlässigkeit, Unwissenheit oder Absicht, nicht wirklich unter Kontrolle.
Das kann man alles als Problem von Gesellschaft und Wissenschaft abtun. Ich fände das unverantwortlich, aber Wirtschaftsinteressen gehen ja gerne mal vor. Selbst wenn man sich auf die konzentriert, sollte man aber zumindest das folgende beachten.
Der zweite große Punkt ist, dass moderne KI-Systeme **inhärent unzuverlässig** sind. Unser Automatisierungsbias legt uns nahe, dass wir technischen Systemen trauen können, die machen keine Fehler. Das gilt erst recht in einem Land wie Deutschland, das natürlich noch immer ein Erbe großer Ingenieurskunst mit sich herumträgt. Für deterministische komplizierte Systeme stimmt das, abseits von Programmier- und Konstruktionsfehlern auch im Idealfall, zumindest da, wo noch echte Wertarbeit frei von geplanter Obsoleszenz im Spiel ist.
Für moderne KI-Systeme gilt das aber nicht mehr. Das sind hochkomplexe nichtlineare Systeme, deren Zustand wir weder vollumfassend erklären noch vorhersagen können. Und diese Systeme emulieren stochastische Prozesse. Das heißt wir können, genügend Beobachtung vorausgesetzt, statistisch abschätzen, wie sie sich verhalten. Garantieren können wir das aber nicht. Abstellen können wir das auch nicht, denn genau in diesen Systemeigenschaften liegt ja die ganze Power dieser Systeme.
Wenn man KI zum Einsatz bringen will, muss man genau das auf dem Schirm haben, und zwar immer. Leider vergessen das die meisten. Was mich persönlich wundert, denn genau da drin sollten wir in Deutschland eigentlich wahnsinnig gut sein. Wir kennen diese Problematik nämlich aus der physischen Welt nur allzu gut und haben in den Ingenieurswissenschaften schon lange eine Disziplin am Start die uns hilft, solche Systeme in Zaum zu halten und sauber in Prozesse zu integrieren: Steuerungs- und Regelungstechnik.
Wenn Systeme nicht einfach vorhersagbar sind, dann versuchen wir, sie im Prozess zumindest stabil zu halten. Dazu wird gemessen, gegengesteuert und geprüft. Fortlaufend. Ja, das ist `ne Menge zusätzlicher Aufwand, aber der ist angebracht und notwendig. Denn nur so kann ich den „Standardfall“ irgendwie im Griff behalten. Und vielleicht auch abschätzen, wann wir den verlassen und wann es kritisch wird. Da beginnt dann das andere große Arbeitsfeld: Risikomanagement.
Beide Arbeitsfelder brauchen aber verlässliche Daten, damit wir wissen, was wir tun. Ein Demolauf des KI-Agenten mit drei Angebotsdokumenten reicht da nicht. Du brauchst eine verlässliche Validierung, eine saubere und ausreichend große Testmenge, die auch die weniger schönen Fälle einschließt. Fortlaufende Überwachung und regelmässige Überprüfung und Wartung der Systeme.
Und natürlich Wissen darüber, was systembedingte Schwächen sind. Denn KI-Systeme sind nicht nur unzuverlässig, sie sind auch alles andere als unfehlbar. Es gibt Schwächen in der Datenverarbeitung selbst (Lost in the middle zum Beispiel), es gibt Abnutzungseffekte, die sowohl im LLM (etwa Context rot) oder auch im Agent Harness (Multistep degradation könnte man hier nennen) auftreten können. Und nein, neue Modellgenerationen haben das nicht besser im Griff. Die haben nur Mechanismen (oft mit zusätzlichen Kostenfaktoren) am Start, dass du das weniger merkst.
Und dann gibt es auch noch systembedingte Risiken. Das zum Beispiel jemand dein LLM mittels Prompt Injection auf den Holzweg bringt oder sogar gegen dich wendet. Oder dass Agenten dank Reward Hacking frei drehen und plötzlich sehr kreative, aber zugleich auch sehr destruktive Wege zur Problemlösung einschlagen.
Du siehst schon, auf dem Weg zum stabilen KI-gestützten Prozess kann so einiges schief gehen. Und du kannst noch so sehr der Gott der Prompts sein, wenn du die obigen Sachen nicht berücksichtigst, dann spielst du eigentlich im Sandkasten. Du baust Dinge mit Panzertape, die so lange halten, bis sie dir um die Ohren fliegen. Und schuld bist dann du, wenn das passiert.
KI-Prozesse werden von Menschen gebaut. Es braucht Leute mit Ingenieursdenken und technischer Fachkenntnis, um die Prozesse zu implementieren und robust gegenüber den Eigenheiten von KI-Systemen aufzustellen. Es braucht Menschen mit Fachkenntnis, die die Qualität der Ergebnisse, aber auch der Eingaben, aus denen sie entstehen, sowohl analysieren als auch beurteilen können. Und es braucht Menschen, die für die Prozesse Verantwortung tragen. KI kann nämlich keine Verantwortung übernehmen.
Unternehmen scheitern meiner Meinung nach nicht an ihrer KI-Strategie, sondern daran, dass sie keine echte KI-Strategie haben. Dass sie Punkte wie die oben aufgezählten ignorieren und lieber Narrative von KI-Konzernen und KI-Expert:innen aufgreifen, die gerne so tun, als wäre alles billig, einfach, kosteneffizient und darüber hinaus völlig folgenlos. Mehr noch, das Narrativ des freundlichen Assistenten, der einem so viel Arbeit abnimmt, drängt sich ja geradezu auf. Wenn Chatty dir sonntags ein tolles Rezept für die perfekte Steakmarinade geliefert hat und dich durch die Unwuchten deines sozialen Gefüges coacht, dann kann der auch montags deine Produktionslinie automatisieren.
Wer aber auf diese schönen Geschichten reinfällt, wer denkt die schicke Demo ist gleich nachhaltiger Praxis, der ist natürlich frustriert, wenn es dann in der Praxis schief geht.
Verrückterweise könnten wir hier wunderbar aus der Vergangenheit lernen. Verlässlichkeit, Sicherheit, Nachhaltigkeit, das gibt es alles nicht umsonst. Lass das weg und du baust minderwertige Produkte. Von nix kommt nix.
KI hat das Zeug zum Produktivitätsmultiplikator. Wenn man Zeit, Geld, Wissen und Mühe investiert und sich auch von Rückschlägen im Labor nicht entmutigen lässt und bereit ist, gewisse Risiken auch erst einmal einzugehen, bis alles sauber läuft. Und sofern man nicht bereit ist, total verantwortungslos zu handeln, würde ich aus meiner Erfahrung heraus sogar behaupten:
Nur dann bringt KI dir tatsächlich etwas.
Sie möchten mehr zu diesem Thema wissen?
Kontaktieren Sie uns gerne für ein unverbindliches Gespräch. Wir freuen uns darauf, gemeinsam mit Ihnen die passende Lösung für Ihre Herausforderungen zu entwickeln.
Jetzt Kontakt aufnehmen