Große Sprachmodelle (LLMs) sind mittlerweile fest in den digitalen Alltag integriert und bieten einzigartige Möglichkeiten zur Interaktion, zum gemeinsamen Denken und zur Mitgestaltung. Doch neben diesen Fortschritten entstehen auch neue Risiken, insbesondere im Bereich extremistischer Radikalisierung. Anders als traditionelle soziale Medien bieten KI-gestützte Konversationssysteme eine private und persönliche Eins-zu-Eins-Interaktion, die es Benutzer:innen ermöglicht, Ideen zu testen, persönlichen Beschwerden Ausdruck zu verleihen und über sensible Themen zu sprechen, die ihre Identität, Überzeugungen und ihr Verhalten beeinflussen könnten.

Die Studie stützt sich auf über ein Jahrzehnt Analyse von Online-Radikalisierung durch die Forschungsarbeit des ISD. Sie bietet eine innovative Methodik, um zu bewerten, wie KI-Chatbots (sowohl allgemeine als auch begleitende Modelle) in ‚geschlossenen Kreisläufen‘ Einfluss auf Radikalisierungsrisiken nehmen können. Dabei werden drei extremismusbezogene Bereiche untersucht: Antisemitismus, Frauenfeindlichkeit und Hass gegenüber Migrant:innen. Zusätzlich wird die Radikalisierung in drei Phasen unterteilt: Priming, Verstärkung und Eskalation.

Die Forscher:innen analysieren insbesondere die Interaktion von KI-Systemen mit Nutzer:innen, die extremistische oder verschwörungstheoretische Themen ansprechen, und wie diese Systeme darauf reagieren – indem sie entweder schädliche Gesprächsmuster stören, fortsetzen oder verschärfen. Die Erkenntnisse zeigen, dass konversationale KI-Systeme eine qualitativ einzigartige und neue Umgebung für Radikalisierungsrisiken schaffen, die sich sowohl von Social-Media-Plattformen als auch von extremistischen Online-Communities unterscheidet.

Ein weiterer Schwerpunkt der Studie liegt darauf, praktische Maßnahmen zur Risikominderung zu entwickeln. In Zusammenarbeit mit dem AI Security Institute (AISI) zielt die Forschung darauf ab, sicherere Designansätze und Governance-Richtlinien für KI-Unternehmen zu fördern sowie regulatorische Strategien zu entwickeln, die besser auf die spezifischen Risiken von KI-gestützten Konversationssystemen abgestimmt sind.

Langfristig bietet diese Arbeit eine neue Grundlage für Forschung und politische Entscheidungen im Bereich der digitalen Extremismusprävention. Die Ergebnisse können für die Entwicklung präventiver Maßnahmen auf lokaler und globaler Ebene sowie zur Verbesserung der Regulierungsfähigkeit von Technologieunternehmen und Entscheidungsträger:innen genutzt werden. Diese detaillierte Analyse trägt zu einem weltweiten Dialog darüber bei, wie mit den sozialen Herausforderungen fortschrittlicher Technologien umgegangen werden kann.