Der neue Bericht des ISD befasst sich mit den Risiken der Radikalisierung in den personalisierten und geschlossenen Umgebungen, die durch interaktive KI-Systeme wie Chatbots und digitale Begleiter geschaffen werden. Diese Systeme bieten zwar eine einzigartige Möglichkeit für private und produktive Interaktionen, doch sie können auch eine neue Umgebung schaffen, die den Austausch extremistischer Inhalte und Ansichten begünstigt – hinter dem Schutzschild der Privatsphäre.

Im Gegensatz zu herkömmlicher Online-Radikalisierung über soziale Medien, die oft durch den Kontakt mit schädlichen Inhalten oder öffentliche Interaktionen geprägt ist, eröffnen interaktive KI-Systeme einen individuellen Kommunikationsraum, in dem gefährliche Ideen getestet und gefestigt werden können. Da viele dieser Systeme eine menschliche Verbindung simulieren, bauen sie oft Vertrauen und emotionale Abhängigkeit auf, was sie für radikale Akteure zu einer potenziell mächtigen Plattform macht.

Der Bericht konzentriert sich auf drei Schlüsseldomänen des Extremismus: Antisemitismus, Frauenfeindlichkeit und Ausländerfeindlichkeit. Dabei werden drei Stufen von Radikalisierung untersucht: die Vorbereitung, die Verstärkung und die Eskalation extremistischer Verhaltensweisen. Diese Analyse bietet einen differenzierten Blick auf die Risiken, die von AI-gestützten geschlossenen Kommunikationskreisen ausgehen können.

Die Studie führt eine innovative Methodik ein, um zu analysieren, wie KI-Chatbots auf extremistische Inhalte oder verschwörungstheoretische Themen innerhalb von Chats reagieren. Ziel ist es herauszufinden, ob und wie diese Reaktionen bestimmte Radikalisierungsverläufe beginnen, verstärken oder beenden können. Damit hebt der Bericht die spezifischen Herausforderungen hervor, die sich in geschlossenen KI-Settings im Vergleich zu traditionellen Online-Plattformen stellen.

Abschließend liefert der Bericht wertvolle Empfehlungen, um diesen Risiken entgegenzuwirken. Er fordert eine verbesserte Sicherheitsgestaltung und Governance seitens der KI-Unternehmen sowie stärkere regulatorische Rahmenbedingungen, die den einzigartigen Gefahren dieser Technologie gerecht werden. Ein starker Fokus auf Zusammenarbeit zwischen Technologieentwicklern und politischen Akteuren ist der Schlüssel, um die Verbreitung extremistischer Inhalte durch KI sinnvoll einzudämmen.