KI-Aufsicht darf nicht beim Modell enden

Ein Modell zu prüfen, reicht nicht mehr aus, wenn die eigentliche Entscheidung längst nicht mehr von einem einzelnen Modell getroffen wird. In seinem Gastbeitrag bei Tagesspiegel Background nimmt Heiko Beier die jüngste Ankündigung der Bafin zur verstärkten KI-Aufsicht im Finanzsektor zum Anlass für eine grundsätzliche Einordnung.

Sein Ausgangspunkt: Bafin-Präsident Mark Branson fordert sichere und faire Modelle – richtig, aber für die Praxis zu kurz gegriffen. Denn Kreditentscheidungen, Risikobewertungen oder Schadenprüfungen entstehen heute in mehrstufigen Ketten aus verschiedenen Datenquellen, wiederholten Modellaufrufen, fachlichen Regeln und zunehmend auch eigenständig agierenden KI-Agenten.

Jeder einzelne Schritt kann für sich plausibel wirken – und das Gesamtergebnis trotzdem nicht mehr aus der ursprünglichen Datenlage ableitbar sein. Genau zwischen den Gliedern dieser Kette entstehen Risiken, die eine isolierte Modellprüfung gar nicht erfassen kann. Auch das vielzitierte menschliche Vetorecht bleibt wirkungslos, wenn Sachbearbeiter oder Risikomanager nicht nachvollziehen können, wie ein Ergebnis zustande kam – dann wird aus formaler Kontrolle Scheinkontrolle.

Beiers Fazit: Unternehmen müssen ihre gesamte KI-gestützte Entscheidungskette beherrschen und dafür eine explizite, prüfbare Orchestrierungsebene schaffen. Nicht das einzelne Modell, sondern diese orchestrierte Kette wird zur eigentlichen Verantwortungs- und Prüfebene – und damit zur Grundlage einer Form kognitiver Souveränität, die Unternehmen unabhängiger von einzelnen Sprachmodellen macht.