Was forschen Sie in ATHENE?
Ich bin Forscher am Fachgebiet PEASEC an der TU Darmstadt und ab Juli 2026 Projektkoordinator des ATHENE-Projekts CYNTRA. Wir entwickeln ein Ökosystem zur Analyse von Hassrede im Internet. Dabei nutzen wir KI-Algorithmen, die mehrere Merkmale gleichzeitig erkennen können. Zum Beispiel identifizieren sie, welche Strafgesetze verletzt werden oder gegen welche Gruppen sich die Hassrede richtet. Das Ökosystem soll außerdem regelmäßige Überprüfungen der KI-Modelle ermöglichen. So können wir die Modelle an neue Erfordernisse anpassen und ihre Genauigkeit kontinuierlich verbessern.

Wir führen Fallstudien in Deutschland und Großbritannien durch, um das Ökosystem schrittweise an die Bedürfnisse unterschiedlicher Behörden anzupassen. Anschließend evaluieren wir die eingesetzten Tech­no­logien, indem wir prüfen, wie gut sie in der Praxis funktionieren. Meine Arbeit fokussiert sich hier auf die technischen KI-Aspekte in enger Zusam­men­arbeit mit den beteiligten Projektleiterinnen und -leitern.

Wie bringt uns das weiter? Was ist der Impact Ihrer Forschung?
Hassrede verändert sich ständig – sowohl in der Sprache als auch in rechtlichen Definitionen verschiedener Länder. Deshalb müssen KI-Ergebnisse nachvollziehbar, überprüfbar und anpassbar bleiben. Unser Projekt ermittelt die Anforderungen von Straf­ver­folgungs­be­hörden und Meldestellen. Ziel ist es, dass diese Organisationen eingehende Meldungen effizienter priorisieren und bearbeiten können. Dies ermöglicht eine schnellere strafrechtliche Behandlung der Fälle, ein rascheres Löschen von Hassrede auf den Plattformen und eine bessere Betreuung der Betroffenen.

Durch die kontinuierliche Einbindung relevanter Organisationen entwickeln wir Leitlinien für die Technologiegestaltung. Unsere Erkenntnisse lassen sich auch auf andere Bereiche übertragen. Im Notfallmanagement können wir Feuerwehr und Polizei bei der Erkennung wichtiger Informationen in sozialen Medien unterstützen. Im Bereich Cybersicherheit helfen unsere Methoden IT-Notfallteams (CERTs) beim Sammeln verschiedener Bedrohungsinformationen, um ihre Organisationen zu schützen.

Was wird in Zukunft in Ihrem Forschungsthema wichtig, woran werden Sie demnächst arbeiten?
Zunächst führen wir eine systematische Literaturrecherche durch. Dabei analysieren wir bestehende Datensätze, Modelle und Überprüfungsverfahren für die Klassifizierung von Hassrede nach Strafgesetzen und betroffenen Personengruppen. Anschließend führen wir Nutzerstudien durch. Damit entwickeln wir einen umfassenden Anforderungskatalog für ein System zur Erkennung und Überprüfung von Hassrede. Dieser umfasst technologische, organisatorische und soziale Aspekte. Dann folgen Entwicklung und Evaluation der Tech­no­logien.

Das Thema bleibt politisch hochaktuell: Große Social-Media-Plattformen haben kürzlich ihre Moderationsstrategien geändert. Sie haben ihre "Trust & Safety"-Teams verkleinert. Diese Teams waren zuständig für die Bekämpfung irreführender oder hasserfüllter Inhalte. Meta hat beispielsweise sein Faktencheck-Programm eingestellt. Bestimmte Arten von Hassrede werden nicht mehr sanktioniert. Meldestellen können hier gegensteuern und Abhilfe schaffen. Allerdings steigt das Volumen zu bearbeitender Hassrede stark an. Hier besteht ein personelles Problem. Deshalb untersuchen wir in CYNTRA technische Unterstützungstechnologien.

Wie war Ihr Weg zu ATHENE?
Als Postdoktorand der TU Darmstadt habe ich Projekte zur angewandten Cybersicherheit durchgeführt. Ein Beispiel ist das vom Bundesministerium geförderte CYWARN-Projekt. Weiterhin bin ich bereits in einem laufenden ATHENE-Projekt beteiligt: CyAware. Dort entwickeln wir nutzbare Tech­no­logien für CERTs und IT-Sicherheitsbeauftragte. Dazu gehört eine KI-Pipeline zur anpassbaren und transparenten Erkennung von Cyberbedrohungen und Schwachstellen. Außerdem erstellen wir eine interaktive Benutzeroberfläche zur Filterung relevanter Informationen. Damit verbessern wir das Situationsbewusstsein im Cyberraum für IT-Teams.

Die Untersuchung von Hassrede haben wir dann im vom Bundesministerium geförderten CYLENCE-Projekt begonnen. Auf Basis dieser Arbeiten und Eindrücken meiner Kollegin Thea Riebe während ihres Forschungsaufenthaltes an der University of Glasgow haben wir neue Forschungsziele identifiziert. Frau Riebe ist ebenfalls Projektleiterin in CYNTRA. Diese Erkenntnisse führten zur Beantragung des CYNTRA-Projekts.

Was schätzen Sie an Ihrer Arbeit besonders?
Als Informatik-Forscher mit Schwerpunkt Mensch-Computer-Interaktion arbeite ich häufig an spannenden, fachübergreifenden Problemstellungen. Für deren Bearbeitung sind Ansätze und Wissen aus Informatik, Geistes- und Sozialwissenschaften notwendig. Im Rahmen der zivilen Sicherheitsforschung untersuche ich die Gestaltung gebrauchstauglicher Lösungen mit KI-Algorithmen. Diese sollen das Situationsbewusstsein und die Entscheidungsfindung von Einsatzkräften und Bürgerinnen und Bürgern in Schadenslagen unterstützen.

Besonders spannend finde ich: Der gesell­schaft­liche Nutzen ist direkt erkennbar. Praxisnahe Forschung ist möglich, indem wir Anwenderinnen und Anwender einbeziehen. Sie nehmen an empirischen Vorstudien und Evaluierungen teil. So können wir Tech­no­logien schrittweise verbessern und an reale Bedürfnisse anpassen.

 

Zur News-Übersicht