Wenn KI-Entscheidungen trifft: Warum die Modellprüfung allein nicht reicht

Im Interview mit dem Versicherungsbote widerspricht Heiko Beier, Gründer und CEO von moresophy, einer verbreiteten Annahme: dass ein sicheres und faires KI-Modell bereits ein sicheres System mache. Ein Modell kann für sich genommen tadellos funktionieren – und die daraus resultierende Geschäftsentscheidung trotzdem nicht standhalten. Genau an diesem blinden Fleck setzt aus seiner Sicht die neue BaFin-Aufsicht an, wenn sie beim einzelnen Modell endet. Zwischen Modell und Entscheidung liegt in der Praxis meist eine mehrstufige Orchestrierung aus Datenquellen, Regeln, Tools und Agenten, in der sich der ursprüngliche Kontext schleichend verschieben kann, ohne dass ein einzelner Schritt für sich genommen auffällig wäre. Jede Zwischenstation wirkt plausibel, das Gesamtergebnis kann trotzdem fachlich nicht mehr belastbar sein – und je mehr Beteiligte jeweils nur einen Ausschnitt verantworten, desto unklarer wird, wer am Ende für die gesamte Wirkungskette geradesteht.

Auch die von der Aufsicht geforderte menschliche Kontrolle bleibt für Beier Formsache, solange der Sachbearbeiter nur das Endergebnis sieht statt der Herleitung dahinter: Wer eine Empfehlung nicht bis zu den zugrundeliegenden Daten zurückverfolgen kann, kann sie auch nicht wirklich korrigieren, sondern nur abnicken. Halluzinationen sind für ihn dabei nur die Spitze des Problems – entscheidend ist nicht, ob ein Ergebnis plausibel klingt, sondern ob es sich lückenlos belegen lässt.

Das vollständige Interview steht beim Versicherungsbote zum Nachlesen bereit.

Wer sich darüber hinaus dafür interessiert, wie sich Nachvollziehbarkeit als Eigenschaft eines gesamten KI-Systems statt nur einzelner Modelle herstellen lässt und was das mit kognitiver Souveränität zu tun hat, findet auf unserer Webseite auch mehr über die Lösungen dahinter.