Forschungsprojekt untersucht Vertrauen in KI-Entscheidungen

Künstliche Intelligenz entwickelt sich zunehmend zu einem festen Bestandteil medizinischer und gesellschaftlicher Entscheidungsprozesse. Während KI-Systeme in vielen Anwendungsbereichen inzwischen Leistungen auf Expertenniveau oder darüber hinaus erreichen, bleibt die Frage offen, wie Menschen mit den Empfehlungen der Technologie umgehen. Ein Forschungsverbund unter dem Namen Ethyde untersucht deshalb, wie sich das Vertrauen in KI so gestalten lässt, dass Mensch und Maschine gemeinsam bessere Entscheidungen treffen, ohne dass Nutzerinnen und Nutzer die Verantwortung aus der Hand geben.

Das vom deutschen Bundesministerium für Bildung und Forschung (BMBF) geförderte Projekt „Ethische Implikationen hybrider Teams aus Mensch und KI-System“ wird gemeinsam vom Bayerischen Forschungsinstitut für Digitale Transformation (bidt) und dem Lehrstuhl für Wirtschafts- und Sozialethik der Universität Hohenheim durchgeführt. Ziel ist es, wissenschaftlich zu untersuchen, wie sich vertrauenswürdige Mensch-KI-Interaktionen gestalten lassen und welche Faktoren die Qualität gemeinsamer Entscheidungen beeinflussen.

KI beeinflusst moralische Urteile

Sprachmodelle und Chatbots werden längst nicht mehr ausschließlich für die Suche nach Informationen genutzt. Immer häufiger wenden sich Menschen mit persönlichen oder moralischen Fragestellungen an KI-Systeme. Obwohl diese Modelle kein eigenes Wertesystem besitzen, sondern ihre Antworten auf Trainingsdaten und Eingabeaufforderungen basieren, messen viele Nutzer den Empfehlungen ein hohes Maß an Glaubwürdigkeit bei.

Nach Einschätzung von Prof. Dr. Matthias Uhl, Leiter des Fachgebiets Wirtschafts- und Sozialethik an der Universität Hohenheim, wird der Einfluss von KI auf die eigene Urteilsbildung häufig unterschätzt. In vielen Fällen seien Anwender nach einer KI-gestützten Entscheidung sogar überzeugt, dieselbe Einschätzung auch ohne Unterstützung getroffen zu haben. Dadurch bleibe unbemerkt, wie stark die Technologie die Meinungsbildung tatsächlich beeinflusst.

Diese Form des übermäßigen Vertrauens könne problematisch werden, wenn KI nicht lediglich als Unterstützung, sondern als moralische Autorität wahrgenommen werde. Uhl sieht deshalb die zentrale Herausforderung darin, Menschen zu einem reflektierten Umgang mit KI zu befähigen und gleichzeitig sicherzustellen, dass die Verantwortung für Entscheidungen beim Menschen verbleibt.

Zwischen Skepsis und blindem Vertrauen

Während Laien KI-Empfehlungen häufig unkritisch übernehmen, zeigt sich bei Fachkräften oftmals das gegenteilige Verhalten. Experten neigen laut den Forschenden mitunter dazu, Empfehlungen von KI-Systemen aus Selbstüberschätzung zu ignorieren, selbst in Bereichen, in denen Algorithmen bereits nachweislich sehr leistungsfähig sind. Gerade in der Medizin könne dies Folgen haben. KI-Systeme unterstützen heute beispielsweise die Analyse radiologischer Bilder und erkennen in bestimmten Anwendungsfällen Tumoren schneller oder mit vergleichbarer beziehungsweise höherer Genauigkeit als medizinisches Fachpersonal. Werden entsprechende Hinweise jedoch grundsätzlich verworfen, bleiben mögliche Vorteile für Diagnostik und Behandlung ungenutzt.

Nach Ansicht der Forschenden besteht die optimale Zusammenarbeit daher weder in blindem Vertrauen noch in pauschaler Ablehnung. Vielmehr müsse Vertrauen situationsabhängig kalibriert werden. Ein möglicher Ansatz orientiert sich an der sokratischen Methode: Statt Antworten vorzugeben, stellen Chatbots gezielte Rückfragen, die Nutzer dabei unterstützen, ihre eigenen Werte und Argumente kritisch zu reflektieren. Auf diese Weise könnte KI weniger als Entscheidungsträger, sondern vielmehr als Gesprächspartner fungieren.

Explainable AI soll Vertrauen fördern

Im Projekt Ethyde untersuchen die Wissenschaftlerinnen und Wissenschaftler verschiedene technische und psychologische Ansätze, um die Zusammenarbeit zwischen Mensch und KI zu verbessern. Ein Schwerpunkt liegt auf Verfahren der sogenannten Explainable AI (XAI). Dabei macht das System nachvollziehbar, wie eine Entscheidung zustande gekommen ist. In der medizinischen Bildanalyse kann dies beispielsweise dadurch erfolgen, dass die KI jene Bildbereiche markiert, die für ihre Diagnose ausschlaggebend waren. Ergänzend arbeiten die Forschenden an Verfahren, mit denen KI-Systeme ihre eigene Unsicherheit quantifizieren und den Nutzenden mitteilen können, wie zuverlässig eine Einschätzung ist.

Diese zusätzlichen Informationen sollen Anwendern helfen, Empfehlungen besser einzuordnen und situationsabhängig zu bewerten. Gerade bei schwierigen Grenzfällen, etwa wenn Bilddaten nur geringe Unterschiede zwischen ähnlichen Krankheitsbildern aufweisen, könne eine transparente Darstellung der Entscheidungsgrundlagen die Zusammenarbeit zwischen Mensch und KI deutlich verbessern.

Prototypen im Gesundheitswesen testen

Im weiteren Verlauf des Projekts wollen die Forschungspartner ihre Erkenntnisse in konkrete Prototypen überführen. Während die Universität Hohenheim mithilfe verhaltensökonomischer Experimente Empfehlungen für ein ethisch fundiertes Systemdesign entwickelt, konzentriert sich das bidt auf erklärbare KI und interaktives maschinelles Lernen. Sobald die ersten Systeme ausreichend validiert sind, sollen sie gemeinsam mit medizinischem Fachpersonal anhand medizinischer Bilddaten auf Fachkongressen getestet werden. Nach Angaben der Forschenden ist vorgesehen, bis Ende 2027 erste evaluierte Prototypen vorzustellen.

Die Ergebnisse des Projekts könnten künftig dazu beitragen, KI-Anwendungen insbesondere im Gesundheitswesen vertrauenswürdiger zu gestalten. Denn je stärker KI klinische Entscheidungen unterstützt, desto wichtiger wird die Frage, wie Transparenz, Nachvollziehbarkeit und menschliche Verantwortung miteinander in Einklang gebracht werden können.