Nicht alles, was sich mit KI-Systemen nachbauen lässt, erfüllt dieselbe soziale oder kulturelle Funktion. Das zeigt sich besonders schön in einer australischen Studie zu indigenen Perspektiven auf KI (Künstliche Intelligenz). Ein „AI Elder“ etwa mag kulturelles Wissen speichern können, er ersetzt aber keine Beziehungen und kein Vertrauen innerhalb einer Community.

Auch die weiteren Beiträge in dieser Erlesenes-Ausgabe zeigen, dass KI-Systeme nicht nur Aufgaben übernehmen, sondern soziale Verhältnisse verändern, und zwar meist nicht zum Guten: Companion AI simulieren Nähe und können manipulative Dynamiken erzeugen, längt nicht nur in spezialisierten Apps, sondern auch in großen Sprachmodellen. Ein besonders gut und verständlich aufbereiteter Fall aus Kenia zeigt außerdem, wie mit einem KI-Modell Krankenversicherungsbeiträge berechnet und dabei offenbar besonders arme Haushalte benachteiligt werden.

Und während KI oft als unausweichlich dargestellt wird, zeigen nicht nur protestierende Student:innen an US-Unis: Diese Erzählung wird zunehmend nicht mehr überall akzeptiert.

Außerdem: führt KI in der Forschungsförderung zu mehr innovativen Durchbrüchen oder eher zu mehr wiedergekäutem Output? Spoiler: Das Verspechen, KI würde automatisch mehr Kreativität und Neues hervorbringen, wird in einer Studie zumindest deutlich infrage gestellt.

Viel Spaß beim Lesen wünschen

P.S. Die nächste Newsletter-Ausgabe erscheint zwar unter einem neuen Projektnamen, aber keine Sorge: der Name „Erlesenes“ bleibt.  

Elena und Teresa

P.S. Ihnen wurde dieser Newsletter weitergeleitet? Hier geht es zum Abo: https://www.reframetech.de/newsletter/

Die Meinungen in den Beiträgen spiegeln nicht zwangsläufig die Positionen der Bertelsmann Stiftung wider. Wir hoffen jedoch, dass sie zum Nachdenken anregen und zum Diskurs beitragen. Wir freuen uns immer über Feedback – der Newsletter lebt auch von Ihrer Rückmeldung und Ihrem Input. Melden Sie sich per E-Mail an teresa.staiger@bertelsmann-stiftung.de oder besuchen Sie uns bei LinkedIn unter @reframe[Tech] – Algorithmen fürs Gemeinwohl.

Companion-AI: Nähe als Geschäftsmodell

Companion AI – Studie zu Risiken von KI-Begleitsystemen und ihre regulatorische Erfassung, Zentrum für Digitalrechte und Demokratie, 12.5.2026

KI-Systeme werden immer häufiger als Ersatz für Freund:innen, Therapeut:innen oder sogar romantische Partner:innen genutzt. Die Sprache ist hier von sogenannten Companion-AI (KI-Begleiter:innen), die Empathie und Intimität simulieren und als Chatbots rund um die Uhr verfügbar sind. Diese scheinbare Nähe kann jedoch durch manipulative Mechanismen zu emotionaler Abhängigkeit, sozialem Rückzug und verstärkten psychischen Belastungen führen. Dabei geben Nutzer:innen oft intime Daten preis, die zur Erstellung detaillierter Profile genutzt werden können. Die Systeme beeinflussen gleichzeitig auch, welche Informationen die Nutzer:innen erhalten, wie sie diese bewerten und welche Entscheidungen sie daraus ableiten. Dadurch verändert sich auch, welche Informationen Menschen erhalten, wie sie diese einordnen und welche Schlüsse sie daraus ziehen. Auch große Sprachmodelle wie ChatGPT oder Claude werden zunehmend für persönliche Gespräche genutzt. Werden jedoch diese Systeme gleichzeitig als Ratgeber, Suchmaschine und Werbeplattform eingesetzt, entstehen neue Herausforderungen für den Datenschutz, den Jugendschutz und die individuelle Freiheit. Um diese Risiken zu begrenzen, sind laut Autorin Ramak Molavi Vasse’i klare rechtliche Rahmenbedingungen, wirksame Aufsicht und eine stärkere Ausrichtung auf das öffentliche Interesse notwendig. Zum Beispiel sollten manipulative KI-Systeme in der EU-KI-Verordnung ausdrücklich als eigener Risikobereich erfasst werden, wenn sie gezielt Entscheidungen, Verhalten oder Emotionen von Menschen beeinflussen. Außerdem sollten intime Daten aus Gesprächen mit Companion-AI nicht für Werbung oder andere kommerzielle Zwecke genutzt werden dürfen. Begleitend zur Studie wurde eine Datenbank aufgebaut, die öffentlich dokumentierte Vorfälle sammelt.  

Warum Beziehung keine KI-Funktion ist

Relational futures: Indigenous sovereignty and the governance of artificial intelligence (AI), Macquarie University, 2026

Wenn über KI gesprochen wird, sind oft Begriffe wie Geschwindigkeit, Automatisierung und Produktivität im Spiel. Die australische Studie „Relational Futures” lenkt den Blick dagegen auf Beziehungen, Verantwortung und Macht. Die Wissenschaftlerinnen haben untersucht, wie Aboriginal- und Torres-Strait-Islander-Bevölkerungsgruppen KI-Systeme im Alltag erleben und welche Folgen sie befürchten. Viele der Befragten beschrieben ein tiefes Misstrauen gegenüber automatisierten Entscheidungen, insbesondere in Bereichen wie Sozialleistungen, Gesundheit oder Pflege. Erfahrungen wie der australische „Robodebt“-Skandal wirken dabei nach. Damals wurden mithilfe eines automatisierten Systems fehlerhafte Rückforderungen verschickt. Die Befragten warnten zudem vor der Aneignung und Vereinfachung indigenen Wissens, vor den Umweltfolgen großer KI-Infrastrukturen vor sowie Systemen, deren Entscheidungen kaum nachvollziehbar sind. Die Autorinnen luden zu einem Gedankenexperiment ein: Könnte es einen „AI Elder“ (KI-Ältesten), also ein KI-gestütztes System, geben, das kulturelles Wissen weitergibt oder Orientierung bietet? Viele Teilnehmer:innen lehnten die Idee ab. „Älteste” seien schließlich nicht einfach „Wissensspeicher:innen“, sondern eingebunden in soziale Beziehungen und Vertrauenspersonen innerhalb einer Community. Diese Form von Beziehung und Rechenschaft lasse sich eben nicht automatisieren. 

Gesundheitsversorgung nach statistischer Wahrscheinlichkeit

Hiding Behind AI, Africa Uncensored, 4.5.2026

In Kenia wird seit 2024 mithilfe eines automatisierten Berechnungsmodells berechnet, wie viel Menschen für die öffentliche Krankenversicherung zahlen müssen. Das sogenannte „Proxy Means Testing“ schätzt das Einkommen statistisch, indem es statt auf reale Einkommen auf indirekte Merkmale wie Wohnsituation oder Besitz zurückgreift. Eine Recherche von Africa Uncensored, Lighthouse Reports und The Guardian zeigt jedoch, dass das Modell Einkommen armer Haushalte systematisch überschätzt und die wohlhabendere eher unterschätzt. Bereits vor der Einführung warnten interne Berichte, dass besonders einkommensschwache Familien mit hoher Wahrscheinlichkeit falsch eingestuft würden. Trotzdem hielt die Regierung von Präsident William Ruto an dem System fest. Viele Betroffene erhielten Beiträge, die sie kaum bezahlen können. So sollte etwa eine alleinerziehende Wäscherin aus Nairobi trotz großer Armut mehrere tausend kenianische Schilling zahlen, bevor sie Zugang zu einer dringend notwendigen Operation erhielt. Die Recherche verweist zudem auf wachsende finanzielle Probleme im Gesundheitssystem. Expert:innen wie Linda Bonyo fordern deshalb mehr Transparenz darüber, wie das Modell funktioniert und welche Daten verwendet werden. Der Artikel lohnt sich auch wegen seiner besonders anschaulichen Aufbereitung: Scrollytelling und leicht verständliche Beispielrechnungen machen nachvollziehbar, wie das Modell funktioniert und warum es für viele Betroffene problematisch ist. 

Die Gegenbewegung zur KI-Euphorie

Hating AI is good, actually, The Handbasket, 20.4.2026 

In Beiträgen auf LinkedIn und in öffentlichen Debatten gilt der Einsatz von KI-Systemen häufig als Zeichen von Fortschritt und Effizienz. Gleichzeitig verändert sich vielerorts die Stimmung gegenüber KI-Technologien zunehmend. In diesem Zusammenhang weist die Journalistin Marisa Kabas auf Proteste von Studierenden bei Abschlussfeiern US-amerikanischer Universitäten hin. Sie buhten den ehemaligen Google-Chef Eric Schmidt und den Musikmanager Scott Borchetta aus, als diese KI-Nutzung als unausweichlich darstellten. Laut Kabas sind der Auslöser konkrete Erfahrungen mit fehlerhaften, irreführenden oder automatisiert erzeugten Inhalten. Sie verweist unter anderem auf das Buch „The Future of Truth: How AI Reshapes Reality“ (Die Zukunft der Wahrheit: Wie KI die Realität verändert), das unter Einsatz von Chatbots recherchiert und geschrieben wurde und  erfundene oder falsch zugeordnete Zitate enthielt. Auch in der Literatur häufen sich Debatten darüber, ob Texte teilweise mit Sprachmodellen erstellt wurden und ob sich das überhaupt noch nachvollziehen lässt. Kabas verweist zudem auf eine Erhebung des US-amerikanischen Forschungsinstituts Pew, der zufolge viele Menschen in den USA die Folgen von KI für Kreativität und zwischenmenschliche Beziehungen pessimistisch bewerten. Dahinter steht jedoch auch die Frage, wie freiwillig der Einsatz solcher Systeme tatsächlich ist. Wer das Denken an Maschinen auslagert, folgt ihrer Ansicht nach vor allem dem Versprechen von Macht und Effizienz und nicht einer Notwendigkeit. 

Die stille Standardisierung der Forschung

AI Is Changing Who Wins Research Grants, Northwestern Innovation Institute, 2026 

Die Forschungsförderung entscheidet maßgeblich darüber, welche Ideen verfolgt, welche Themen sichtbar gemacht und an welchen Projekten Wissenschaftler:innen arbeiten können. Eine neue Studie untersucht, wie sich der Einsatz von KI-Systemen bereits jetzt auf die Forschungsförderung auswirkt. Dazu wurden Forschungsanträge analysiert, die zwischen 2021 und 2025 bei den US-amerikanischen Förderinstitutionen National Institutes of Health (NIH) und National Science Foundation (NSF) eingereicht wurden. Dabei zeigte sich, dass Anträge, die stärker auf KI-generierte Formulierungen zurückgriffen, häufiger gefördert wurden. Sie orientierten sich gleichzeitig stärker an Projekten, die zuvor bereits erfolgreich finanziert worden waren. Die Wissenschaftler:innen weisen darauf hin, dass sich auch die vorgeschlagenen Ideen selbst stärker an bereits etablierten Forschungsrichtungen orientieren. Die geförderten Projekte führten zwar später zu mehr wissenschaftlichen Veröffentlichungen, jedoch nicht zu besonders einflussreichen Arbeiten oder echten Durchbrüchen. Gerade darin sehen sie ein mögliches Risiko: Wenn durch KI-Systeme erfolgreiche Muster reproduziert werden, könnten ungewöhnliche oder risikoreiche Ansätze künftig schwerer sichtbar oder gefördert werden. Dabei wollen doch gerade Förderinstitutionen Innovation ausdrücklich fördern. 

Follow-Empfehlung: Eva Wolfangel

Eva Wolfangel ist investigative Journalistin und schreibt seit vielen Jahren über Cybersecurity, KI, virtuelle Realität, Technikethik und verwandte Themen.

Verlesenes: KI-Hitparade des Grauens 

Die Kurzzusammenfassungen der Artikel sind unter einer Creative Commons Namensnennung 4.0 International Lizenz.