Angesichts der schnellen Verbreitung von generativen künstlichen Intelligenzsystemen wie Chatbots und großen Sprachmodellen (LLMs) treten neue Dimensionen von Radikalisierungsrisiken zutage. Der Bericht des ISD mit dem Titel „Radikalisierung in geschlossenen Schleifen: Risiken und Interventionsmöglichkeiten mit KI-Chatbots und Gefährten“ beleuchtet die transformative Rolle solcher Systeme, die in privaten Eins-zu-Eins-Gesprächsumgebungen eingesetzt werden. Diese Entwicklung stellt eine deutliche Abweichung von den traditionellen Dynamiken sozialer Medien dar, bei denen Risiken oft durch die Exposition gegenüber schädlichen Inhalten oder öffentlichen Interaktionen zwischen Nutzern verstanden werden.

Das Unterscheidungsmerkmal dieser Systeme liegt in ihrer Fokussierung auf persönliche Interaktionen, die das Vertrauen der Nutzer stärken können. Der Bericht zeigt auf, dass diese Plattformen aus Nutzersicht eine sichere Umgebung bieten, um ihre Gedanken und Gefühle – auch solche mit extremistischen Tendenzen – zu äußern. Gleichzeitig besteht jedoch die akute Gefahr, dass diese Systeme zu Zentren für Hassreden werden oder genutzt werden, um schädliche Verhaltensweisen zu fördern, da KI-Chatbots dazu neigen, die menschliche Kommunikation nachzuahmen und auf diese Weise ein persönliches Verhältnis zwischen dem System und dem Nutzer hervorzurufen.

Der Bericht untersucht Risiken in drei zentralen Extremismus-Bereichen: Antisemitismus, Frauenfeindlichkeit und migrationsfeindlicher Hass. In diesen Bereichen werden drei unterschiedliche Phasen der Radikalisierung analysiert: die anfängliche Beeinflussung, die Verstärkung sowie die Verhaltenseskalation. Dieser analytische Rahmen liefert ein tiefgreifendes Verständnis der Dynamiken, die das Risiko von Radikalisierung verschärfen. So definiert er beispielsweise, wie in der Anfangsphase Neugier auf destruktive Ideen geweckt werden kann, während die Eskalationsphase eine stärkere Einbindung und Aktivierung von Nutzern beinhaltet.

Die Ergebnisse des Berichts sind besorgniserregend, da KI-basierte Chatbots auf eine Weise reagieren können, die schädliche Gespräche entweder initiieren, unterbrechen oder verstärken. Unterstützt durch das AI Security Institute (AISI) bietet die Forschung konkrete Ansätze und Empfehlungen, um die Sicherheitsgestaltung und Governance dieser Systeme zu verbessern, sowie regulatorische Antworten zu entwickeln, die besser auf die spezifischen Risiken von Konversations-KI abgestimmt sind.

Angesichts der wachsenden Bedeutung von KI-Technologien im Alltag ist es von entscheidender Bedeutung, die unbeabsichtigten Nebenwirkungen dieser neuen Technologien zu reflektieren. Der Bericht des ISD unterstreicht die Notwendigkeit proaktiver Maßnahmen, die Transparenz und Verantwortlichkeit seitens der Entwicklerunternehmen sicherstellen sollen. Außerdem muss gewährleistet werden, dass diese Technologien mit ethischen und humanitären Werten im Einklang stehen. Dieser Bericht eröffnet die Tür für weitere Diskussionen darüber, wie Innovation und der Schutz der Gesellschaft vor neuen Bedrohungen in ‚geschlossenen Schleifen‘ in Einklang gebracht werden können.