04.06.2025
Wie schleichen sich Hass und gefährliche Botschaften in Geburtstagsgrüße und Familienchats ein? Medienanthropologin Sahana Udupa erforscht die Schattenseiten von Messenger-Diensten.
Warum wird Extreme Speech von Familie und Freunden geteilt? Professorin Sahana Udupa, Medienanthropologin an der LMU, untersucht einen Social-Media-Kanal, dessen Rolle bei der Verbreitung von Desinformation bislang wenig beachtet wurde: verschlüsselte Messenger-Dienste. In ihrem Projekt Below the Radar am Center for Advanced Studies (CAS) erforscht sie, wie extreme Botschaften in privaten Netzwerken kursieren. Ihre Ergebnisse fließen in einen Bericht für politische Verantwortungsträger ein sowie in ihr demnächst erscheinendes Buch WhatsApp in the World: Disinformation, Encryption and Extreme Speech.
Am 5. Juni wird Sahana Udupa zu diesem Thema einen Vortrag im Hauptquartier der Vereinten Nationen in New York halten.
Hassbotschaften tauchen oft inmitten alltäglicher Nachrichten auf.Sahana Udupa, Professorin für Medienanthropologie an der LMU
fallen Hassbotschaften nicht immer auf und werden oft weitergeleitet. | © IMAGO / MiS
Wie verbreiten sich Hassbotschaften über private Messenger-Dienste?
Sahana Udupa: Vor allem auf WhatsApp tauchen sie oft inmitten alltäglicher Nachrichten auf – etwa in Geburtstagsgrüßen, Festtagswünschen, religiösen Zitaten oder lokalen Informationen, zum Beispiel zu Wasserknappheit. Das liegt an der Struktur dieser Apps: Sie ermöglichen Kommunikation in Zweier-Chats oder kleinen, vertrauten Gruppen. Auch extreme oder irreführende Inhalte werden so Teil des digitalen Alltags, der von Gefühlen von Wärme, Vertrauen und Nähe geprägt ist. Das verleiht extremen Botschaften den Anschein von Normalität.
Die geschlossene Architektur dieser Dienste macht sie zu wirkungsvollen Instrumenten, um gezielt emotional aufgeladene Inhalte zu verbreiten, ohne dass es besonders auffällt. Es gibt zum Beispiel scheinbar harmlose Cartoons oder Memes, die sich über „den Feind“ lustig machen – und dabei wie selbstverständlich Teil alltäglicher Gespräche werden.
Wie sehen solche Botschaften konkret aus?
Wir haben zum Beispiel ein Meme gefunden, das ein Liebespaar beim Spaziergang zeigt. Der Junge sagt zu seiner Freundin, er würde alles für sie tun – Herzchen fliegen durch die Luft –, woraufhin sie ihn bittet, für den Oppositionskandidaten zu stimmen. Im nächsten Bild stößt er sie eine Klippe hinunter. Als krachender Humor inszeniert, wird das Mädchen als töricht dargestellt, weil es die Opposition unterstützt – und die Gewalttat in eine visuelle Komik eingebettet, die auf Muster männlicher Aggression zurückgreift.
Oft geht es nicht darum, dem Inhalt zuzustimmen oder ihn für wahr zu halten. Das Weiterleiten dient häufig eher dazu, soziale Beziehungen zu pflegen als sich ideologisch zu positionieren.Sahana Udupa, Professorin für Medienanthropologie an der LMU
Warum leiten Nutzerinnen und Nutzer solche Inhalte weiter?
Oft geht es nicht darum, dem Inhalt zuzustimmen oder ihn für wahr zu halten. Das Weiterleiten dient häufig eher dazu, soziale Beziehungen zu pflegen als sich ideologisch zu positionieren. In vertrauten Gruppen – unter Familienangehörigen, im Freundeskreis oder in lokalen Communities – fühlen sich viele Nutzer emotional oder sozial verpflichtet, zu teilen, was im Umlauf ist. Eine kritische Rückfrage könnte als unhöflich oder illoyal gesehen werden.
Ich nenne dieses Phänomen „Deep Extreme Speech“. Das heißt, wenn extreme Inhalte in engen, sehr vertrauten Netzwerken zirkulieren, lösen sie sich von abstrakten Begriffen wie Wahrheit oder Moral. Dann geht es oft weniger um die Frage, ob eine Botschaft wahr oder hasserfüllt ist – sondern eher um den emotionalen und sozialen Druck, etwas weiterzugeben und im Flow zu bleiben.
Viele ihrer Grundfunktionen – wie Nachrichten, die wieder verschwinden, Optionen zu schnellerer Weiterleitung oder Gruppenchats – machen Messenger-Dienste zu wirkungsvollen Werkzeugen, um Desinformation und extreme Kommentare zu verbreiten.Sahana Udupa, Professorin für Medienanthropologie an der LMU
Wie trägt das Design von Messenger-Diensten zur Verbreitung solcher Inhalte bei?
Viele ihrer Grundfunktionen – wie Nachrichten, die wieder verschwinden, Optionen zu schnellerer Weiterleitung oder Gruppenchats – machen sie zu wirkungsvollen Werkzeugen, um Desinformation und extreme Kommentare zu verbreiten. Neuere Features wie Broadcast-Kanäle verwischen zudem die Grenze zwischen privater und öffentlicher Kommunikation.
Zwar haben einige Plattformen das Weiterleiten beschränkt, um die Reichweite von Nachrichten zu begrenzen, dennoch springen Inhalte oft über App-Grenzen hinweg: Eine WhatsApp-Nachricht verweist etwa auf einen Facebook-Post, verlinkt auf ein YouTube-Video oder zitiert einen Post auf X. Diese plattformübergreifende Interaktion verstärkt die Viralität – trotz einer vermeintlich geschlossenen Struktur der jeweiligen App.
Politische Akteure und ideologische Gruppierungen wählen oft eine zweistufige Strategie: Zuerst posten sie gemäßigte Inhalte öffentlich sichtbar auf Plattformen wie Instagram oder YouTube, um neue Anhänger zu gewinnen. Dann laden sie diese in private Gruppen ein, in denen radikalere Inhalte zirkulieren.Sahana Udupa, Professorin für Medienanthropologie an der LMU
Wie nutzen extremistische Gruppen diese Plattformmechanismen?
Politische Akteure und ideologische Gruppierungen wählen oft eine zweistufige Strategie: Zuerst posten sie gemäßigte Inhalte öffentlich sichtbar auf Plattformen wie Instagram oder YouTube, um neue Anhänger zu gewinnen. Dann laden sie diese in private Gruppen ein, in denen radikalere Inhalte zirkulieren. So werden verschlüsselte Messenger-Dienste zu „Hinterzimmern“ extremistischer Ideologien.
Insbesondere Telegram bietet Nischen-Communities einen Raum, die von anderen Plattformen bereits verbannt wurden. Ein bezeichnendes Beispiel sind die „Incels“ oder die „Manosphere“ – Online-Netzwerke, die von Frauenfeindlichkeit und toxischer Männlichkeit geprägt sind. Nachdem Profile bei Facebook oder YouTube gesperrt wurden, haben sich viele auf Telegram neu organisiert – wo die Inhaltsmoderation deutlich schwächer ist. Wir fanden teils sehr explizite, gewaltbezogene Inhalte, darunter auch pornografisch manipulierte Bilder von Frauen, ohne dass diese ihre Zustimmung dazu gegeben hätten. Die Kombination von Bild- und Textinhalten schafft eine orchestrierte digitale Hasskultur.
Messenger-Apps haben auch viele gute Seiten. In manchen Ländern seien sie zu einer unverzichtbaren Infrastruktur geworden, sagt Sahana Udupa. | © IMAGO / Zoonar
Welche Regionen der Welt sind von diesen Dynamiken besonders betroffen?
Messenger-Dienste wie WhatsApp sind – neben den USA – besonders im globalen Süden einflussreich; Indien und Brasilien gehören zu den Ländern mit den größten Nutzerzahlen. In Brasilien etwa wurden Bolsonaro-freundliche Botschaften massiv über WhatsApp-Netzwerke verbreitet. Aber auch in Afrika und Südasien spielen sie eine zentrale Rolle in der alltäglichen Kommunikation.
In vielen dieser Regionen ist WhatsApp mehr als nur eine Messenger-App – es ist eine Plattform für Neuigkeiten, Bildung, Geschäftliches und selbst das Gebet. Aber die App prägt dort auch Ökosysteme von Desinformation und Hass – von Wahlmanipulationen in Südafrika und Nigeria bis hin zur Nutzung in brasilianischen Favelas oder durch Nationalisten in Indien. In den USA und Teilen Europas wird Telegram immer beliebter – vor allem bei Gruppen, die gezielt lockerer regulierte Plattformen suchen.
Obwohl WhatsApp und Telegram sicherlich zwei der wichtigsten Messenger-Apps sind, die weitreichende politische Auswirkungen haben, gibt es durchaus auch kleinere, die wir im Rahmen eines neuen ERC-Consolidator-Projekts erforschen werden.
Wie kann man solche verdeckten Dynamiken überhaupt erforschen?
Es gibt große Hindernisse. Denn wie Regulierungsbehörden haben auch Forschende nur begrenzten Zugang – wegen der Ende-zu-Ende-Verschlüsselung und der privaten Natur der meisten Chats. Für öffentliche Messenger-Gruppen wurden datenschutzfreundliche Erhebungstools und automatisierte Datensammelmethoden entwickelt – von Informatikerinnen und Informatikern, die ebenfalls an unserem Buch mitgewirkt haben.
Für geschlossene Gruppen nutzen wir ethnografische Methoden: Wir bauen Vertrauen zu Mitgliedern auf und verfolgen Gespräche in ihrem natürlichen Kontext. Der ethnografische Ansatz erlaubt uns, zu beobachten, wie extreme Inhalte geteilt, angenommen und interpretiert werden. Das ist besonders nützlich, weil Kommunikationspraktiken oft chaotisch, voller Widersprüche und von Emotionen und sozialen Verpflichtungen geprägt sind. Wir haben festgestellt, dass wir erst durch die Auseinandersetzung mit dieser Komplexität ansatzweise verstehen können, warum Extreme Speech sich auf diese Weise verbreitet.
Extreme Speech umfasst auch Desinformation, emotionale Manipulation oder subtile Verfälschungen – oft ohne auf den ersten Blick gehässig zu wirken.Sahana Udupa, Professorin für Medienanthropologie an der LMU
Warum verwenden Sie den Begriff „Extreme Speech“ statt des gebräuchlicheren HatespeechHatespeech?
Der Begriff ist weiter gefasst und differenzierter. Während Hatespeech sich meist auf offen feindliche oder diskriminierende Äußerungen gegenüber bestimmten Gruppen bezieht, umfasst „Extreme Speech“ auch Desinformation, emotionale Manipulation oder subtile Verfälschungen – oft ohne auf den ersten Blick gehässig zu wirken. Dazu zählen „abwertende“ Redeformen, die sich auch gegen einflussreiche Menschen wie Politikerinnen und Politiker richten, „ausgrenzende“ Sprache, die bestimmte Gruppen an den Rand drängt, sowie „gefährliche“ Rede, die reale Gewalt begünstigen kann.
Ein weiterer Grund: In vielen Regionen werden Gesetze gegen Hatespeech genutzt, um die politische Opposition zum Schweigen zu bringen. Deshalb sollte man vorsichtig damit sein, gleich jeden unhöflichen Ausdruck als gefährlich anzusehen. Manchmal ist „Unhöflichkeit“ eine Form von Protest – gefährlich wird sie, wenn damit Menschen aufgrund ihrer Identität angegriffen oder Ausgrenzung gefördert wird.
In vielen gesellschaftlichen und regionalen Kontexten baut Extreme Speech auf bereits seit Langem bestehenden Mustern von Vorurteilen und politischer Polarisierung auf – etwa gegen Frauen, ethnische und religiöse Minderheiten, Menschen mit Migrationshintergrund oder Fürsprecherinnen und Fürsprecher inklusiver Gesellschaften.Sahana Udupa, Professorin für Medienanthropologie an der LMU
Kam Extreme Speech mit den sozialen Medien auf?
Nein, das hat viel tiefere Wurzeln. In vielen gesellschaftlichen und regionalen Kontexten baut Extreme Speech auf bereits seit Langem bestehenden Mustern von Vorurteilen und politischer Polarisierung auf – etwa gegen Frauen, ethnische und religiöse Minderheiten, Menschen mit Migrationshintergrund oder Fürsprecherinnen und Fürsprecher inklusiver Gesellschaften. Unser Forschungsansatz legt großen Wert auf diese historische Einbettung und stellt die Vorstellung infrage, es seien soziale Medien gewesen, die eine plötzliche Kommunikationskrise ausgelöst hätten. Digitale Plattformen haben Extreme Speech nicht erfunden, sie vermitteln und verstärken sie jedoch.
In Ihrem demnächst erscheinenden Buch beschreiben Sie Messenger-Apps als Teil eines „Ökosystems von Hass und Desinformation im digitalen Zeitalter“. Überwiegen die Gefahren die Vorteile?
Messenger-Dienste haben gewiss eine dunkle Seite, aber das Bild ist nicht nur schwarz und weiß. Besonders im globalen Süden sind diese Apps zu einer unverzichtbaren Infrastruktur und manchmal sogar Lebensader geworden. Sie werden für alles genutzt – von politischer Organisation bis hin zum Elterngespräch mit Lehrkräften – und bieten in autoritären Regimes Andersdenkenden einen der wenigen Kanäle, um sich ungefährdet zu äußern.
Was kann man gegen die angesprochenen Probleme tun?
Wir sollten uns nicht auf einfache Lösungen wie das Aufbrechen von Verschlüsselung oder den Einbau staatlicher Hintertüren verlassen. Unsere Forschungsgruppe spricht sich stattdessen für eine durchdachtere, vielschichtige Regulierung aus: mehr Transparenz, auf Metadaten basierende Moderationstools, die Nutzerdaten schützen, sowie klare Richtlinien gegen digitale Manipulation. All das haben wir auch in einem Politikbericht skizziert, den wir kürzlich beim CAS-Symposium vor Vertretern der UN-Friedenssicherung, Faktencheckerinnen und -checkern sowie dem „Global Policy Director“ von WhatsApp vorstellten. Plattformen müssen in verantwortungsvolle KI investieren und klare Meldefunktionen bereitstellen und sie dürfen die Verantwortung nicht allein auf Nutzer abwälzen.
Wenn Nutzende selbst gegen problematische Inhalte vorgehen, ist das besonders effektiv, weil die Kritik aus der Mitte der Gruppe kommt.Sahana Udupa, Professorin für Medienanthropologie an der LMU
Was können Nutzerinnen und Nutzer selbst tun, um sich und andere zu schützen?
Eine wichtige Strategie ist, Fakten gemeinsam in der Community zu überprüfen. Wenn Nutzende selbst gegen problematische Inhalte vorgehen, ist das besonders effektiv, weil die Kritik aus der Mitte der Gruppe kommt. In Südafrika und Indien haben Faktenchecker WhatsApp-Hotlines eingerichtet, bei denen Nutzer verdächtige Nachrichten überprüfen können. Wir sollten außerdem alle wachsam bleiben: Auch ein scheinbar harmloser Witz kann Nährboden für extremes Gedankengut sein.
© Andreas Focke
Sahana Udupa ist Professorin für Medienanthropologie an der LMU und Fellow der Harvard University. Ihre Forschung widmet sich der digitalen und KI-gestützten Politik, globalen digitalen Kulturen, Extreme Speech im Netz, Stadtpolitik und Medien.
In ihrem neuen Buch, WhatsApp in the World: Disinformation, Encryption and Extreme Speech (erscheint 2025 bei NYU Press, mit Herman Wasserman) analysiert sie die Rolle von Messenger-Diensten im Kontext von Verschlüsselung und Extreme Speech. Ihre Forschungsgruppe hat einen Bericht mit Richtlinien-Empfehlungen mitverfasst.
Sahana Udupa leitet aktuell eine Research-Group am Center for Advanced Studies der LMU: Messaging Apps, Encryption and the Enticement of Extreme Speech
Video: Vortrag von Prof. Sahana Udupa am Berkman Klein Center for Internet and Society: WhatsApp in the World
06.05.2025