Was forschen Sie in ATHENE?
Im Mittelpunkt meiner Arbeit steht die Frage, wie Menschen und KI-Systeme – insbesondere KI-Agenten – im Cyber­security-Kontext effektiv zusammenarbeiten können. Das klingt zunächst nach einer rein technischen Herausforderung, ist es aber nicht. Studien zeigen, dass die Kombination aus menschlicher und künstlicher Intelligenz die Ergebnisqualität häufig nicht verbessert – im Gegenteil: Ein viel zitierter Artikel aus der Nature hat gezeigt, dass Menschen gemeinsam mit KI in vielen Situationen schlechtere Ergebnisse erzielen als nur Menschen oder nur KI allein. Im HAICC-Projekt fragen wir: Warum ist das so – und was lässt sich dagegen tun?

Das im ATHENE Forschungsbereich Security and Privacy in Artificial Intelligence (SenPAI) angesiedelte Projekt wird von Prof. Dr. Iryna Gurevych geleitet und vereint ein inter­dis­zi­pli­näres Team mit Expertisen aus Machine Learning, Prozessmodellierung und Cyber­security. Ich bringe die HCI-Perspektive (Human-Computer Interaction) ein und untersuche nutzerzentrierte Interaktionsgestaltung, also wie Interaktion und Systemgestaltung dazu beitragen können, dass Expertinnen und Experten im Security-Bereich mit KI-Systemen tatsächlich besser arbeiten – nicht schlechter.

Wie bringt uns das weiter? Was ist der Impact Ihrer Forschung?
Die Erkenntnisse aus diesem Projekt sind sowohl wissenschaftlich als auch praktisch relevant. Auf der einen Seite geht es darum, KI-Beiträge in sicherheitskritischen Prozessen nachvollziehbar und prüfbar zu gestalten und den Menschen als aktiven Entscheidungsträger im Loop zu halten. Auf der anderen Seite wollen wir verhindern, dass Phänomene wie Automation Bias – also das unreflektierte Durchklicken von KI-Empfehlungen – in Umgebungen entstehen, in denen Fehler gravierende Folgen haben können. Wenn wir verstehen, wie Interaktion und Systemkommunikation gestaltet sein müssen, damit Expertinnen und Experten KI-Unterstützung kritisch und produktiv nutzen, leisten wir einen wichtigen Beitrag zur verantwortungsvollen KI-Integration in professionelle Sicherheitsinfrastrukturen.

Was wird in Zukunft in Ihrem Forschungsthema wichtig, woran werden Sie demnächst arbeiten?
Ein sehr aktuelles und zugleich noch wenig erforschtes Feld ist die Zusam­men­arbeit in Multi-Agenten-Konstellationen: also Szenarien, in denen nicht nur ein Mensch und eine KI interagieren, sondern mehrere menschliche und künstliche Akteure gemeinsam an komplexen Aufgaben arbeiten. Gerade im Cyber­security-Bereich, wo enorme Datenmengen anfallen, die kein Mensch allein überblicken kann, werden solche Teamkonstellationen zunehmend relevant. Mich interessiert dabei besonders, wie man kognitive Belastung reduzieren, Automation Bias verhindern und gleichzeitig die Qualität der Ergebnisse verbessern kann – und zwar für spezifische Nutzergruppen in klar definierten Anwendungsdomänen, nicht nur für eine abstrakte „allgemeine Bevölkerung".

Was schätzen Sie an Ihrer Arbeit besonders?
Was mich an diesem Forschungs­feld fasziniert, ist die Verbindung sehr unterschiedlicher Disziplinen: Informatik, Psychologie, Kognitionswissenschaft und Design fließen in unsere Arbeit ein. Wir sind innerhalb der Informatik ein wenig die Exoten, aber genau diese Interdisziplinarität ist es, die es erlaubt, Fragen zu stellen, die rein technische Ansätze nicht stellen würden: Wie erlebt ein Mensch die Zusam­men­arbeit mit einem KI-System? Wann vertraut er ihr zu viel, wann zu wenig? Und wie muss ein System gestaltet sein, damit diese Zusam­men­arbeit wirklich funktioniert? Das sind Fragen, die ich sehr wichtig finde, sowohl für die Forschung als auch für die gesell­schaft­liche Debatte rund um KI.