Bewiesen und akzeptiert?

Haben mathematische Beweise für KI-Algorithmen tatsächlich eine akzeptanzförderliche Wirkung auf Nutzer*innen ohne KI-Expertise?

Das vom RC Trust geförderte Projekt „Bewiesen und Akzeptiert?“ zielt darauf ab, die Auswirkungen von mathematischen Beweisen auf die Akzeptanz von KI-Systemen zu untersuchen. Während diese in der Mathematik als der Goldstandard in Bezug auf die Sicherstellung verlässlicher Ergebnisse durch Systeme künstlicher Intelligenz gelten, ist unklar, ob sie auch dazu beitragen, bei Laien-Nutzenden das Vertrauen in ein solches System zu erhöhen.
Zur Untersuchung dieser Fragestellung wird ein Online-Experiment durchgeführt, bei dem drei verschieden getestete KI-Systeme – eine ungeprüfte Beta-KI, eine vom TÜV prozessgeprüfte KI und eine mathematisch verifizierte KI – miteinander verglichen werden. In einem fiktiven Szenario bieten Sie Ihre Dienste als Finanzberater und Portfolio-Manager an. Solche sogenannten robo-advisors werden zunehmend untersucht (siehe zum Beispiel Cardillo, & Chiappini, 2024)  und auch in der Praxis eingesetzt, insbesondere, da sie weniger mit dem Eindruck von Interessenskonflikten behaftet sind (Brenner & Meyll, 2020). Daher vergleichen wir sie zusätzlich mit einem klassischen menschlichen Bankberater.
Die Proband:innen erhalten im Rahmen der Studie ein Erbe, bei dem sie entscheiden können, ob und wie viel Geld sie davon dem jeweiligen (KI-)Berater zum Investieren übergeben wollen. Neben der Investmentsumme als behaviorales Outcome messen wir auch das Vertrauen in den jeweiligen Berater sowie den Einfluss von Erfolgs- bzw. Misserfolgsinformationen. Die Ergebnisse des Experiments sollen Aufschluss darüber geben, ob und in welcher Form mathematische Beweise von KI-Ergebnissen tatsächlich zu einer höheren Akzeptanz und kalibriertem Vertrauen bei den Endnutzer:innen beitragen.
In diesem Seedfunding-Projekt arbeitet Alina Tausch zusammen mit Magdalena Wischnewski, Vertrauens-Forscherin im RC Trust, und Prof. Daniel Neider, der als Mathematiker vor allem an der Verifikation lernender Systeme forscht.

Personalisierter Symptom-Checker
Effekte KI-basiert personalisierter Verhaltensempfehlungen auf die Entscheidungsfindung potenzieller Patient:innen
In diesem vom RC Trust geförderten Projekt betrachten wir ausnahmsweise einmal nicht den Arbeitskontext, sondern die Nutzung von künstlicher Intelligenz, um die eigenen Gesundheit zu unterstützen. Genauer geht es um den Einsatz von Large Language Models (LLMs) in sogenannten Symptom-Checker-Apps, die helfen können, die Schwere von Symptomen und die Art der Hilfe, die aufgesucht werden sollte, zu bewerten (Miller et al., 2020) . Gleichzeitig können solche Apps auch dabei helfen, die Emotionen und Gedanken zu bewältigen und zu steuern, die damit einhergehen, dass man bei sich selbst gesundheitliche Auffälligkeiten entdeckt.
Vor allem um diesen Aspekt geht es in unserem Forschungsprojekt, in dem wir untersuchen, ob es gelingt, durch eine individualisierte Kommunikationsstrategie, die App und ihre Verhaltensempfehlungen vertrauenswürdiger zu machen und dadurch Verhalten besser steuern zu können. Dazu soll sich die Kommunikation der App beispielsweise an den emotionalen Zustand oder die persönlichen Merkmale einer Person anpassen, die vorher erfasst werden. Unser Ziel ist, dass nach Nutzung der App genau die Personen einen Arzt aufsuchen, die mit hoher Wahrscheinlichkeit eine Krankheit haben, und die Personen zu beruhigen und zu unterstützen, sich selbst zu versorgen, bei denen wahrscheinlich keine akuten klinischen Auffälligkeiten bestehen.
Aus der Forschung zu personalisierter Kommunikation weiß man, dass Personen sich mehr mit individuell zugeschnittenen Inhalten auseinandersetzen (Shumanov & Johnson, 2021, Zarouali et al., 2020). Die Nutzung von LLMs erlaubt es inzwischen, diese Personalisierung auf einem sehr individuellen Level und an verschiedenste Merkmale schnell und zielgerichtet umzusetzen – und hält so große Potenziale bereit. In unserem Projekt untersuchen wir daher einerseits die psychologischen Aspekte einer Interaktion mit einer personalisierten Konversations-KI, und andererseits die technischen Aspekte rund um die Implementierung einer eigenen Symptom-Checker-App mit verschiedenen Personalisierungs-Mechanismen.
Methodisch ist dabei ein mehrschrittiges Vorgehen geplant, in dem wir zunächst einzelne Merkmale untersuchen, anhand derer eine Personalisierung von Inhalten sinnvoll erscheint: emotionaler Zustand und Persönlichkeit. In Online-Studien können Versuchspersonen mit der Symptom-Checker-App chatten, um ein klarerers Bild von und eine Handlungsempfehlung zu der bei Ihnen (suggerierten) Hauterkrankung zu bekommen. Dieser Chat wird personalisiert anhand der zuvor getätigen Angaben hinsichtlich Emotionalität und Persönlichkeit. Wir betrachten dabei, wie die Personen mit der KI kommunizieren (Sentiment-Analyse) und welches Verhalten sie anschließend beabsichtigen.
Aufbauend auf diesen Erkenntnissen wird ein fortgeschrittener Prototyp der Symptom-Checker-App entwickelt, der in einem kontrollierten klinischen Kontext getestet werden soll. Hierfür werden Fokusgruppen mit Ärzt:innen, medizinischem Personal und Patient:innen durchgeführt, um Nutzungserleben, Nutzungschancen und –barrieren zu identifizieren. Darauf folgend soll die App in einer Feldstudie für echte Patient:innen freigeschaltet werden.
Alina Tausch bearbeitet dieses Inkubator-Projekt zusammen mit Greta Ontrup und Leon Hannig (Junior Research Group "Psychological Aspects of Human-Algorithm Interaction“ an der Universität Duisburg-Essen) sowie mit Philip Stahmann (Lehrstuhl Enterprise Computing an der TU Dortmund) und Prof. Nils Köbis (Lehrstuhl Human Understanding of Algorithms and Machines). Als assoziierter Partner ist Prof. Jan Egger vom Institut für KI in der Medizin (IKIM) des Universitätsklinikums Essen dabei.

V³ML

Verstehen, Vertrauen und Verifikation von Machine Learning (ML)

In einer Linie mit dem MinDrone Projekt wird die Vertrauensbildung und Kalibrierung in KI basierte Systeme (hier spezifische ML Systeme im Bereich des autonomen Fahrens) mit dem Ziel der Grundsteinlegung für die Entwicklung einer Theory of the Artificial Mind untersucht. Die Ergebnisse des Projektes liefern wichtige Erkenntnisse für die Gestaltung ML-basierter Systeme in Hinblick auf Humanzentrierung sowie verständliche und vertrauenswürdige Gestaltung dieser Systeme.