Reliable AI: „Wenn KI entscheiden soll, braucht sie Kontext und Kausalität“

Vergrößern

Medizin, Verkehr, Personalwesen – in vielen sicherheitsrelevanten Feldern werden Entscheidungen heute von Künstlicher Intelligenz (KI) unterstützt. Christoph Kern, Juniorprofessor für Social Data Science und Statistical Learning am Institut für Statistik der LMU, hat diese Entwicklung nun mit Kolleginnen und Kollegen in der Fachzeitschrift Nature Computational Science kritisch beleuchtet.

Algorithmen helfen heute dabei, Entscheidungen über Therapien, Jobs und Verkehrsflüsse zu treffen. Welche Risiken sehen Sie als Statistiker und Sozialwissenschaftler dabei?

Christoph Kern: KI und maschinelles Lernen entwickeln sich rasant – und kommen oft auch bei sensiblen, gesellschaftlich relevanten Entscheidungen zum Einsatz. Unsere Sorge ist, dass sich technische Entwicklungen und konzeptionelles Verständnis auseinanderentwickeln. Denn viele dieser sehr leistungsfähigen Systeme entstehen ohne kausales Denken oder Klarheit über die relevanten Einflussfaktoren. Deshalb plädieren wir – Forschende vom Institut für Statistik und der Munich School of Management der LMU sowie der University of Cambridge und der US-amerikanischen Universitäten Maryland und Carnegie Mellon – dafür, dass algorithmische Berechnungen unter Berücksichtigung von kausalen Konzepten und deren Annahmen angestellt werden.

Können Sie dafür ein Beispiel geben?

Ich erforsche etwa die Frage, wie Arbeitsagenturen besser darüber entscheiden können, welche Arbeitssuchenden sie bei der Jobsuche besonders unterstützen sollten. Naheliegend wäre es, ein Risikomodell zu trainieren, das vorhersagt, ob jemand hinsichtlich Langzeitarbeitslosigkeit gefährdet ist – und ihm in diesem Fall ein Förderprogramm anzubieten. Das klingt vernünftig, ist kausal gesehen aber hochsensibel. Denn eine falsche Modellierung kann schnell zu unfairen Entscheidungen führen. Hinzu kommt: Die Datenlage ist oft sehr komplex – mit Informationen zu Lebensläufen, Berufserfahrung oder verschiedenen Fördermaßnahmen. Wenn dabei wichtige Einflussfaktoren übersehen werden, kann das fatale Folgen haben: Es könnte jemand gefördert werden, der die Unterstützung weniger braucht – während eine andere Person, die dringend Hilfe nötig hätte, leer ausgeht.

Effekte für Hunderttausende Arbeitssuchende

Welche Einflussfaktoren könnten das sein?

Wir sprechen hier von sogenannten Confoundern: Dies sind Faktoren, die sowohl die Entscheidung als auch das Ergebnis beeinflussen. Im Bereich Arbeitsmarkt können neben Bildungsweg und Erwerbsbiografie auch strukturelle Aspekte wie regionale Unterschiede oder institutionelle Vorgaben und Prozesse entscheidend sein. In der Medizin können zum Beispiel Alter, Geschlecht, Vorerkrankungen, Lebensstil oder der Zugang zur Gesundheitsversorgung sowohl Behandlung als auch Ergebnis beeinflussen. Entscheidend ist: Wer solche Mechanismen übersieht, riskiert falsche Schlussfolgerungen. Deshalb muss genau das ganz am Anfang geklärt werden.

Vergrößern

Bevor ein KI-Modell mit Daten gefüttert wird, braucht es also ein sauberes Bleistift-Konzept?

Ganz am Anfang muss die Frage stehen: Was will ich überhaupt wissen? Wie hoch ist das Risiko, dass jemand länger arbeitslos bleibt, wenn er keine Hilfe bekommt? Oder: Was bewirkt eine Maßnahme – im Vergleich dazu, wenn man nicht eingreift? Solche Fragen zielen auf Ursache-Wirkung-Beziehungen – reine Korrelationen reichen da nicht aus. Statistische Konzepte wie kausale Graphen oder der Potential-Outcome-Ansatz helfen, Zusammenhänge von Ursache und Effekt systematisch zu modellieren. Sie liefern ein begriffliches und mathematisches Gerüst, das klärt, unter welchen Bedingungen eine datenbasierte Entscheidung überhaupt sinnvoll ist.

Wenn etwa Arbeitsagenturen entscheiden sollen, wer eine besondere Förderung bekommt, genügt es nicht, einfach das höchste Arbeitslosigkeitsrisiko vorherzusagen. Denn vielleicht wurde jemand in der Vergangenheit bereits besonders gefördert, was in vielen Datenquellen häufig nicht einfach zu erfassen ist. Erst wenn alle relevanten Einflussfaktoren und Zusammenhänge klar sind und das Modell sauber aufgesetzt wurde, kann maschinelles Lernen dabei helfen, die Effekte effizient und großflächig zu berechnen – etwa für Hunderttausende von Arbeitssuchenden.

Chancenabschätzung statt bloßer Verteilung

In welchen anderen sensiblen Bereichen ist das wichtig?

In der Medizin etwa analysiert unsere Kollegin Mihaela van der Schaar von der Universität Cambridge, welche Risiken Patientinnen und Patienten bei unterschiedlichen Behandlungsstrategien haben. Dabei untersucht sie etwa: Was wäre passiert, wenn eine bestimmte Therapie nicht erfolgt wäre? Solche kontrafaktischen Fragen lassen sich nur mit kausalem Denken modellieren. Im Bereich Smart Cities gibt es Beispiele wie adaptive Ampelsysteme, die den Verkehrsfluss durch angepasste Schaltungen verbessern sollen, oder die dynamische Parkpreisgestaltung, bei der sich Gebühren je nach Auslastung und Tageszeit ändern – um das Verhalten der Verkehrsteilnehmenden zu steuern und Emissionen zu reduzieren.

Ein weiteres Beispiel aus unserer Forschung betrifft die Verteilung von Geflüchteten. In Deutschland werden sie bislang meist nach dem sogenannten „Königsteiner Schlüssel“ prozentual auf die Bundesländer verteilt. Doch auch hier könnte man fragen: In welchem Bundesland hätten welche Personen die besten Chancen auf Integration? Um solche Fragen zu beantworten, braucht es sorgfältige Modellierung.

Bei der Entwicklung solcher KI-Systeme fordern Sie auch mehr interdisziplinäres Denken. Welche Fachrichtungen sollten hier zusammenarbeiten?

Wir sehen vor allem einen Dreiklang: Statistik liefert die methodische Basis für kausale Schlussfolgerungen. Informatik sorgt für die technische Umsetzung und Skalierung. Und dazu brauchen wir das Wissen aus der jeweiligen Fachdomäne – etwa von Medizinerinnen, Verkehrsplanern oder Sozialarbeiterinnen. Sie kennen die Praxis und wissen, welche Annahmen realistisch sind. Aber auch die Sozialwissenschaften spielen eine wichtige Rolle – besonders wenn es um den gesellschaftlichen Einsatz algorithmischer Systeme geht: Wer trifft Entscheidungen? Wie transparent sind sie? Welche Rolle spielen Menschen im Zusammenspiel mit Algorithmen? Und nicht zuletzt bringt die Umfrageforschung viel Expertise mit – insbesondere bei Fragen der Datenqualität.

Unsicherheit als notwendige Information

Was macht gute Trainingsdaten für kausale Modelle aus?

Sie müssen erstens die relevanten Einflussfaktoren enthalten – also nicht nur die Eigenschaften der betroffenen Person, sondern auch Kontextinformationen wie frühere Maßnahmen, institutionelle Regeln oder regionale Besonderheiten. Und sie müssen zweitens eine gewisse gesellschaftliche Breite abdecken. Wenn bestimmte Bevölkerungsgruppen – etwa Frauen, ältere Menschen, Menschen mit Behinderungen oder mit Migrationsgeschichte – in den Daten fehlen oder stark unterrepräsentiert sind, können auch die besten Modelle für diese Gruppen keine verlässlichen Aussagen treffen. Das birgt die Gefahr systematischer Benachteiligung.

Laut Ihrem Kommentar sollten KI-Modelle nicht nur Entscheidungen vorschlagen, sondern auch ihre Unsicherheit offenlegen. Was meinen Sie damit?

In der Praxis wird oft nur ein Vorhersagewert präsentiert – etwa: „Diese Person fällt in die höchste Risikokategorie, langfristig ohne Arbeit zu sein.“ Was dabei fehlt, ist, wie sicher oder unsicher diese Vorhersage ist. In der Statistik ist es üblich, Konfidenzintervalle oder Unsicherheitsbereiche mit anzugeben; bei algorithmischen Systemen passiert das bisher selten. Doch gerade in sensiblen Kontexten kann es entscheidend sein zu wissen, wie viel Vertrauen ich in ein Modell setzen darf. Wenn ein System sagen kann: „Hier bin ich mir nicht sicher“, kann das dazu führen, dass Menschen genauer hinschauen. Unsicherheit sollte nicht als Schwäche verstanden werden, sondern als notwendige Information.

Was wünschen Sie sich für den Umgang mit KI-Entscheidungen in sensiblen Bereichen?

Dass algorithmische Entscheidungssysteme immer im Zusammenhang mit ihrer gesellschaftlichen Wirkung betrachtet werden. Es reicht nicht, dass ein Modell eine hohe Vorhersagegüte hat. Entscheidend ist, ob es kausale Schlüsse erlaubt, die in der Realität tragfähig sind. Dafür braucht es mehr als Statistik und Informatik: ein klares Verständnis der Fragestellung, eine gute Datenlage, Transparenz über Annahmen – und einen offenen Umgang mit Unsicherheit. Wir plädieren für eine Forschung und Praxis, die genau das zusammenführen, bevor KI-Modelle in Hochrisikobereichen eingesetzt werden.

Christoph Kern ist Juniorprofessor für Social Data Science und Statistical Learning am Institut für Statistik der LMU. In seiner Forschung beschäftigt er sich mit der Frage, wie algorithmische Entscheidungssysteme verlässlich und verantwortungsvoll eingesetzt werden können – insbesondere in sensiblen Bereichen wie dem Arbeitsmarkt oder der öffentlichen Verwaltung. Ein Schwerpunkt liegt auf den Grenzen datenbasierter Vorhersagen. Kern ist außerdem Projektleiter am Mannheimer Zentrum für Europäische Sozialforschung und war zuvor unter anderem am Joint Program in Survey Methodology der University of Maryland tätig.

Publikation

C. Kern et al.: Algorithms for reliable decision-making need causal reasoning. Nature Computational Science 2025