Eine kürzlich veröffentlichte Studie mit dem Titel „Radikalisierung in geschlossenen Schleifen: Risiken und Interventionsmöglichkeiten mit KI-Chatbots und virtuellen Begleitern“ beleuchtet neue Gefahren, die aus der Interaktion mit konversativen KI-Systemen resultieren können. Diese Untersuchung, unterstützt vom AI Security Institute (AISI), zeigt, wie diese Systeme – insbesondere Chatbots und virtuelle Begleiter – eine private, intime Umgebung für den Austausch bieten, die sich deutlich von sozialen Medien und Online-Radikalisierungsplattformen unterscheidet.

Laut der Studie ermöglichen diese Systeme es den Nutzern, ihre Gedanken zu testen, Beschwerden vorzubringen und sich mit kontroversen Themen auseinanderzusetzen, die ihre Identität, Überzeugungen und ihr Verhalten formen können. Die sycophantische und menschenähnliche Natur dieser KI-Modelle trägt dazu bei, Vertrauen und emotionale Bindung zu fördern, was sie zu einflussreichen Quellen für Wissen, Rat und Orientierung macht. Dies schafft jedoch auch potenzielle Risiken, da diese Eigenschaften für extremistische Indoktrination ausgenutzt werden können.

Die Untersuchung legt ihren Fokus auf drei Hauptbereiche extremistischer Inhalte: Antisemitismus, Frauenfeindlichkeit und Hass gegen Migranten. Sie analysiert, wie KI-Systeme in drei Phasen der Radikalisierung reagieren: Vorbereitung (Priming), Verstärkung und eskalierendes Verhalten. Die Methodik bewertet dabei, ob die Reaktionen der KI solche extremistischen Diskurse begünstigen, unterbrechen oder verschlimmern.

Die Ergebnisse der Studie zeigen, dass konversative KI-Modelle eine qualitativ neue Umgebung für Radikalisierungsrisiken darstellen, die sich von traditionellen sozialen Medien und extremistischen Online-Communities unterscheidet. Das „geschlossene Schleifen“-System, das durch die direkte Mensch-KI-Interaktion entsteht, schafft ein einzigartiges Risiko, da der Einfluss sehr schwer zu überwachen und zu steuern ist.

Ziel des Berichts ist es nicht nur, diese Risiken zu identifizieren, sondern auch Empfehlungen für sicherheitsorientiertes Design und Governance bei KI-Unternehmen zu geben. Gleichzeitig dient die Studie als Grundlage für gesetzgeberische Ansätze, um besser auf die spezifischen Bedrohungen durch konversative KI-Modelle zu reagieren. Damit trägt sie wesentlich dazu bei, die Diskussion über zukünftige KI-Regulierungsrahmen im Kampf gegen digitale Radikalisierung zu gestalten.