Was forschen Sie in ATHENE?
Ich bin Postdoktorandin bei PEASEC und koordiniere ab Juli 2026 gemeinsam mit Dr. rer.nat. Marc-André Kaufhold das ATHENE-Projekt "Towards an Effective Multi-Label Classification and Model Auditing Ecosystem for Combatting Textual Online Hate Speech - CYNTRA ". Wir entwickeln ein System, das Expertinnen und Experten bei der KI-basierten Analyse von Hassrede im Internet unterstützt. Diese Fachkräfte – etwa in zivilgesell­schaft­lichen Meldestellen oder Straf­ver­folgungs­be­hörden – leisten einen enorm wichtigen Beitrag zur gesell­schaft­lichen Erfassung von Hate Speech, zur rechtlichen Ersteinschätzung und zur Betreuung von Betroffenen.
Durch das massive Aufkommen von Hass-Postings sind diese Stellen jedoch oft überlastet. Hier setzt unsere Forschung an: Wie können wir die Erkennung und Klassifizierung durch KI sinnvoll automatisieren? Dabei fokussiere ich mich auf zwei zentrale Fragen im Hinblick auf die Human-Computer Interaction (HCI) im Projekt:

1. Wie unterstützen wir Domänenexpertinnen und -experten sicher bei der Beurteilung komplexer Fälle?

2. Wie versetzen wir sie in die Lage, die KI selbstständig zu prüfen, Fehlentwicklungen zu erkennen und das Modell mit eigenen Daten zu verbessern?

In meiner Forschung untersuche ich daher, wie erklärbare KI (XAI) mithilfe eines Dashboards visualisiert werden sollte. Ziel ist es, dass die Nutzenden einen kritischen Blick auf die KI-Klassifizierungen behalten und aktiv in den Lernprozess der Maschine eingreifen können.

Wie bringt uns das weiter? Was ist der Impact Ihrer Forschung?
Im CYNTRA-Projekt führen wir zunächst den aktuellen Stand von Forschung und Technik zu XAI-Visualisierungen im Bereich Hate Speech und NLP zusammen. Dazu führen wir Literatur- und Nutzerstudien durch, u.a. mithilfe von Interviews, um die konkreten Anforderungen aus der Praxis herauszustellen. Auf dieser Basis implementieren wir technische Ansätze des Interaktiven Machine Learning – einer besonders nutzerzentrierten Form der KI-Interaktion – und evaluieren diese direkt mit den Anwendern. Hier geht es darum, dass Domänenexpertinnen und -experten selbstständig KI-Systeme warten und verbessern können, um beispielsweise sogenannten concept drift, z.B. durch die Veraltung oder eine Ungleichgewichtung der Daten, zu erkennen und zu beheben.

Dieser Ansatz ist hochgradig transferierbar: Ob in der IT-Sicherheit oder in der Medizin – überall dort, wo Expertinnen und Experten unter Zeitdruck komplexe Entscheidungen treffen, kann KI unterstützen. Wenn Systeme so gestaltet sind, dass Nutzende intuitiv und selbstbestimmt mit ihnen interagieren, werden Entscheidungen auf einer besseren, fundierteren Grundlage getroffen und dokumentiert. KI verkleinert so nicht den Handlungsspielraum, sondern schafft Kapazitäten für das Wesentliche.

Was wird in Zukunft wichtig sein, woran arbeiten Sie demnächst?
Da wir uns in immer mehr Lebensbereichen von KIs beraten lassen, wird die Erforschung des Interaktionsdesigns zur Förderung einer kritischen Aus­einander­setzung mit Systemvorschlägen essenziell. Es gilt zu verhindern, dass wir KI-Ergebnissen blind vertrauen. Unser ATHENE-Projekt CYNTRA liefert hierzu einen wichtigen Baustein, weshalb ich mich sehr auf den Projektstart freue.

Wie war Ihr Weg zu ATHENE?
Gemeinsam mit Dr. Marc-André Kaufhold habe ich bereits mehrere durch das BMFTR geförderte Projekte zur Lagebewertung (Situational Awareness) realisiert, darunter CYWARN, CYLENCE sowie das vorherige ATHENE-Projekt CyAware. Während CYWARN und CyAware den Fokus auf IT-Sicherheit legten und mit IT-Sicher­heits­ex­per­tin­nen und -experten sowie CERTs in Behörden durchgeführt wurde, widmete sich CYLENCE bereits der KI-gestützten Klassifizierung von Hate Speech.

Diese Schwerpunkte habe ich während meines Forschungsaufenthalts im Sommer 2025 an der University of Glasgow vertieft. In Zusam­men­arbeit mit Prof. Simone Stumpf, Professor of Responsible and Interactive Artificial Intelligence, habe ich Konzepte für User-centered Model Steering für den Hate-Speech-Kontext weiterentwickelt. Dieser Austausch war die Basis für unser aktuelles nutzerzentriertes Konzept in CYNTRA.

Was schätzen Sie an Ihrer Arbeit besonders?
Besonders motivierend ist der direkte Austausch mit Praxispartnern. Ich darf daran arbeiten, ihre täglichen Herausforderungen sichtbar zu machen und direkt in die Entwicklung soziotechnischer Systeme einfließen zu lassen. In einem Umfeld, in dem Forschung und Technik nie stillstehen, ist der Austausch mit inspirierenden Kolleginnen und Kollegen aus verschiedensten Disziplinen ein riesiges Privileg.

Zur News-Übersicht