Lernen, wie Maschinen lernen

Wie divers, plural, rassistisch ist KI?

Künstliche Intelligenz (KI) ist ohne Zweifel faszinierend. Sei es in der Informatik, wo Forschende intensiv daran arbeiten, die Funktionsweise selbstlernender Algorithmen verständlich zu machen, sei es beim Philosophieren über Bedeutung und Bewusstsein, oder wenn es um die Auswirkungen von KI auf die Arbeitswelt und die Medien geht. Diese zum Teil rasanten Veränderungen machen es notwendig, sich nicht nur den praktischen Umgang mit KI-Tools anzueignen, sondern auch zu verstehen, wie sie funktionieren und wo ihre Grenzen liegen. Wir müssen lernen, wie Maschinen lernen.

KI ist aber nicht nur Faszination, sondern auch das Produkt einer Welt, die von sozialen Ungleichheiten geprägt ist. Dies hat weitreichende Auswirkungen auf das Design von KI-Anwendungen und auf die Gestaltung einer Zukunft, die zunehmend von diesen Technologien geprägt sein wird. Feministische, antirassistische und dekoloniale KI-Forschung hat in den letzten Jahren immer wieder gezeigt, dass KI-Technologien systematisch Verzerrungen reproduzieren und auf ausbeuterischen und extraktivistischen Praktiken beruhen. In diesem Beitrag werden zunächst Ergebnisse dieser machtkritischen und diskriminierungssensiblen KI-Forschung vorgestellt. Anschließend werden die aktuellen generativen KI-Werkzeuge in den Blick genommen: Wie divers und plural, wie stereotypisierend und diskriminierend sind ChatGPT und Co.? KI ist ein politisches Thema, das nicht nur im Kontext konkreter KI-Risiken wie Deep Fakes im Wahlkampf einen Platz in der politischen Bildung verdient hat. Die praktische Auseinandersetzung mit KI kann helfen zu verstehen, wie viel Gesellschaft in Technologien steckt und wie KI unsere Welt heute und in Zukunft prägen wird.

Diskriminierende KI

Die aktuelle KI-Welle begann mit Durchbrüchen in den Bereichen maschinelles Lernen und neuronale Netzwerke, die in verschiedenen Forschungsfeldern entwickelt und umgesetzt wurden: Algorithmische Entscheidungssysteme, automatische Bilderkennung und die Verarbeitung natürlicher Sprache sind Beispiele für Forschungszweige, in denen die Grundlagen der heute boomenden KI-Industrie gelegt wurden. Aber auch viele kritische Beiträge, die auf die Verwobenheit von KI mit gesellschaftlichen Machtverhältnissen verweisen, kommen aus diesen Forschungsgebieten. Von der Fachöffentlichkeit breit rezipiert wurde zum Beispiel die Studie „Gender Shades“ von Timnid Gebru und Joy Buolamwini (vgl. Buolamwini/Gebru 2018), die zeigen, dass Gesichtserkennungsalgorithmen die Gesichter weißer Männer deutlich besser identifizieren als die von Frauen of Color. In anderen Studien wurde die Reproduktion von Geschlechterstereotypen durch KI-gestützte Übersetzung (vgl. Rudinger et al. 2018) und ein „gender and dialect bias“ von KI-gestützter Spracherkennung nachgewiesen (Tatman 2017). Für kommerzielle Entscheidungsalgorithmen, die im US-amerikanischen Gesundheitssystem im Einsatz sind, wiesen Forscher*innen ein rassistisches Bias nach, durch den schwarze Patient*innen systematisch von Behandlungsmöglichkeiten ausgeschlossen wurden (vgl. Obermeyer et al. 2019).

Feministische, antirassistische und dekoloniale KI-Forschung hat in den letzten Jahren immer wieder gezeigt, dass KI-Technologien systematisch Verzerrungen reproduzieren und auf ausbeuterischen und extraktivistischen Praktiken beruhen.

Solche Forschungsergebnisse zeigen die Schwachstellen von KI-Modellen, aber helfen auch dabei, Algorithmen weiterzuentwickeln. Darüber hinaus verweisen sie aber auch auf ein grundlegendes Problem lernender Algorithmen: Die Qualität von KI-Modellen hängt von den Trainingsdaten ab, auf deren Grundlage sie entwickelt werden. In diesen Trainingsdaten, die Entwickler*innen zusammenstellen, finden sich oftmals bereits systematische Verzerrungen. So wurden für die Entwicklung von Gesichtserkennungsalgorithmen beispielsweise Sets fotografischer Daten genutzt, in denen weiße Männer offensichtlich überrepräsentiert waren. Im Fall der Übersetzungsalgorithmen liegt die Fehlerquelle in unserer sprachlich festgehaltenen, durch Geschlechterungleichheit geprägten Vergangenheit und Gegenwart. KI-gestützte Anwendungen übersetzen den englischen Begriff „nurse“ nicht als „Pflegekraft“, sondern als „Krankenschwester“. Kein Wunder, schließlich ist der Beruf im deutschsprachigen Raum historisch ein sogenannter Frauenberuf und dies schlägt sich in den Textkorpora nieder, die für das Training von Natural-Language-KI zur Verfügung stehen.

Die genannten Beispiele zeigen, dass Verzerrungen oft schon in der realen Welt ihren Ursprung haben. Doch auch die Zusammenstellung der Trainingsdaten und die Entwicklung von Tests zur Qualitätskontrolle, das sogenannte Benchmarking, tragen einen Teil dazu bei. Es liegt in der Hand von Entwicklungsteams, mögliche Verzerrungen zu antizipieren und aktiv dagegen anzuarbeiten, indem entsprechend vielfältige Trainingsdaten genutzt und mit Benchmarkings gearbeitet wird, mit denen sich überprüfen lässt, ob Algorithmen stark verzerrt sind.

KI-Entwicklung mit Tunnelblick?

Ist eine KI also immer nur so fair wie die Menschen, die sie entwickeln? Im Zusammenhang mit den Diskriminierungsrisiken, die von KI ausgehen, wurde viel über die „Diversitätskrise“ des Technologiesektors gesprochen, die sich auch im Bereich der KI-Entwicklung zeigt. Laut einer Studie des World Economic Forum von 2018 liegt der Frauenanteil unter KI-Spezialist*innen in Deutschland bei lediglich 16 % (vgl. World Economic Forum 2018). Aktuelle Zahlen zeigen, dass Frauen in der KI- und Data-Science-Branche überwiegend in weniger prestigeträchtigen Tätigkeiten arbeiten. Sie arbeiten eher in der Datenaufbereitung statt als Machine-Learning-Engineers und sind in der KI-Spitzenforschung kaum vertreten – und das, obwohl Frauen durchschnittlich höher qualifiziert sind als Männer auf gleichen Positionen (vgl. Young/Wajcman/Sprejer 2023). Feministische KI-Expert*innen warnen in diesem Zusammenhang auch von einer „Rückkopplungsschleife“ zwischen der Überrepräsentation junger, weißer, nicht-behinderter, heterosexueller Männer in der KI-Branche und den immer wieder beschriebenen Diskriminierungsrisiken (vgl. West/Whittaker/Crawford 2019). Argumentiert wird, dass die KI-Branche von sexistischen Arbeitskulturen geprägt sei, mit der ein nicht-konsensueller Umgang mit Daten und grundsätzlich ein mangelndes Bewusstsein für Machtverhältnisse und die gesellschaftlichen Folgen von KI einhergehe (vgl. Carrigan/Green/Rahman-Davies 2021). Die Zusammensetzung der Branche wirke sich darauf aus, wie Produkte entwickelt werden, welche Erfahrungen und Perspektiven in die Gestaltung einfließen und wer von den Entwicklungen profitiert.

Die hier beschriebene Problematik wird bereits von vielen Akteur*innen adressiert. Diskriminierung und (Geschlechter-)Gerechtigkeit werden in öffentlichen und politischen KI-Diskursen und in der KI-Regulierung zum Thema (vgl. Carstensen/Ganz 2023). In der KI-Forschung sind Fairness, Transparenz, De-Biasing mittlerweile etablierte Forschungsbereiche (vgl. Balayn/Gürses 2021). Viele Unternehmen adressieren Themen wie algorithmische Verzerrung im Rahmen von Ethikrichtlinien oder betrachten das Thema im Kontext von breiten Bemühungen um an „diversity, equality and inclusion“ (DEI) orientierte Unternehmenskulturen. Es ist jedoch fraglich, ob dies ausreicht. Die Tatsache, dass Techkonzerne in der Vergangenheit immer wieder kritische Mitarbeiter*innen aus den KI-Ethik-Teams entlassen haben, um ihre Arbeit effektiv zu unterbinden, zeigt, dass klare regulative Rahmenbedingungen besser geeignet sind als Selbstverpflichtungen, um Unternehmen zur Einhaltung ethischer Standards zu verpflichten.

Unsichtbare Arbeit

Aus Sicht der Techniksoziologie sind KI-Anwendungen soziotechnische Systeme. Sie sind keine „reine“ Technik, sondern werden in Netzwerken unterschiedlicher Akteur*innen entwickelt, angewendet und genutzt, wobei sich Ungleichheitsverhältnisse intersektional verstärken können (vgl. Joyce et al. 2021). Dies wird besonders deutlich, wenn man die Perspektive über die KI-Unternehmen und Forschungseinrichtungen erweitert und fragt, wer als Schöpfer*in kreativer Werke, als Arbeitskraft oder Datenlieferant*in an der Entwicklung von KI-beteiligt ist. Ein aktuelles prominentes Beispiel ist die Schauspielerin Scarlett Johansson, die dem Unternehmen OpenAI vorwirft, ihre Stimme unterlaubterweise für eine Version der Sprachausgabe des KI-Assistenten von ChatGPT kopiert zu haben. Im Falle Johanssons geht es um die Frage, ob dadurch Rechte verletzt wurden.

KI-Entwicklung ist in vielerlei Hinsicht auch ein extraktivistischer Prozess, der auf der Ausbeutung menschlicher Arbeitskraft zu möglichst günstigen Löhnen beruht.

Viel direkter, aber auch unsichtbarer arbeiten Clickworker*innen an KI mit, die häufig unter prekären Bedingungen auf Arbeitsvermittlungsplattformen arbeiten (vgl. Altenried/Dück/Wallis 2021; Gray/Suri 2019). Vor allem Frauen übernehmen solche Tätigkeiten oft auch parallel zur Haus- und Sorgearbeit (vgl. Tubaro et al. 2022). Dabei haben es Clickworker*innen mitunter mit hochproblematischen Datensätzen zu tun. Sie arbeiten sich durch Beschreibungen von selbstverletzendem Verhalten, sexueller Gewalt an Kindern und Folter, um Daten entsprechend zu labeln, sodass KI-Modelle trainiert werden können, die solche Inhalte automatisch ausfiltern (vgl. Perrigo 2023). Oft werden auch scheinbar bereits durch KI-Systeme automatisierte Prozesse nach wie vor von Arbeitskräften am Laufen gehalten. So wurde bekannt, dass die Amazon-Geschäfte ohne Kassen, aus denen Kund*innen Produkte einfach mitnehmen konnten, nicht so smart waren wie behauptet. In der Praxis beruhte das Konzept auf der unsichtbaren Arbeitskraft indischer Arbeiter*innen, die bis zu 70 % der Verkäufe aus der Ferne überprüft haben sollen (vgl. Bridle 2024).

KI-Entwicklung ist in vielerlei Hinsicht auch ein extraktivistischer Prozess, der auf der Ausbeutung menschlicher Arbeitskraft zu möglichst günstigen Löhnen beruht. Gegenmodelle wie sie etwa unter dem Stichwort „gemeinnütziger KI“ diskutiert werden, stoßen dabei an Grenzen (vgl. Züger/Asghari 2023). Für die Entwicklung und den Betrieb von konkurrenzfähiger KI ist kostspielige Hardware erforderlich, die enorme Mengen Strom und anderer materieller Ressourcen verbraucht (vgl. Vipra/West 2023). Bisher machen auch die großen Player im KI-Feld wie OpenAI kein Gewinn mit ihren Produkten, sondern sind von den tiefen Taschen von Unternehmen wie Microsoft abhängig. Die Vorstellung, dass gemeinwohlorientierte, faire KI durch Non-Profits oder durch öffentlich finanzierte Forschung entwickelt werden könnte, erscheint deshalb innerhalb eines profitorientierten Wirtschaftssystems leider illusorisch.

KI zwischen Ethik und Backlash

Aktuell wird mit KI vor allem eine bestimmte Form vom KI verbunden: Generative KI, die auf großen Sprachmodellen beruht. Ausgehend von in natürlicher Sprache formulierten Aufforderungen können diese Modelle Texte schreiben, programmieren, Bilder und Videos erzeugen. Dahinter stehen komplexe statistische Verfahren, deren Funktionsweisen selbst die Entwickler*innen der Modelle nicht ganz zu durchschauen scheinen. Auch bei generativen KI-Anwendungen kommt es immer wieder zu verzerrten Ergebnissen. Die KI-Unternehmen wissen jedoch, dass das ihrer Reputation schadet. Beim Design der Anwendungen verfolgen sie mittlerweile das Ziel, offensichtliche Diskriminierung und Verzerrungen in der Repräsentation von Minderheiten möglichst zu verhindern. Fordert man aktuelle generativen KI-Anwendungen wie ChatGPT, Claude oder Midjourney dazu auf, bekannte rassistische Stereotype oder andere offensichtlich diskriminierende Inhalte zu produzieren, verweigern sie mit Verweis auf die Nutzungsbedingungen oft die Arbeit. Auch bei bildgenerierender KI scheint aktuell mehr Wert auf die Repräsentation von Vielfalt gelegt zu werden. Vor einigen Jahren war Google stark in die Kritik geraten, weil Suchmaschinenergebnisse auf groteske Weise rassistisch verzerrt waren (vgl. Noble 2018). Kürzlich wurde dagegen berichtet, dass Googles bildgenerierende KI auf die Aufforderung, Bilder deutscher Soldaten im Jahr 1943 zu erstellen, diverse, und damit historisch falsche Bilder von weißen und asiatisch-aussehenden Frauen sowie von schwarzen Männern erzeugte (vgl. Robertson 2024). Die Unternehmen haben verstanden, dass ihre an historischen Daten trainierten Modelle Stereotypen reproduzieren. Sie arbeiten mittlerweile aktiv dagegen an, schießen dabei zum Teil sogar über das Ziel hinaus und müssen sich nun verstärkt mit dem Finetuning ihrer Diversity-Algorithmen beschäftigen.

Die kritische Debatte über Diskriminierungsrisiken hatte also offenkundig einen Einfluss auf die Gestaltung dieser Tools. Unternehmen sind darauf bedacht, negative Presse und Skandale zu vermeiden, die den Regulierungsdruck erhöhen könnten. Entsprechend wundert es auch nicht, dass das Erstellen pornographischer Inhalte mit gängigen Tools nicht möglich ist, auch wenn es den KI-Modellen an Trainingsdaten in diesem Bereich sicherlich nicht mangeln würde.

Viele User fühlen sich davon jedoch auch provoziert und herausgefordert. Sie empfinden KI-Tools als „politisch korrekt“, werfen den Unternehmen Zensur vor und suchen nach Wegen, die Sperren der KI-Anwendungen zu umgehen. An der Sperrspitze steht Elon Musk, der mit Grok einen „politisch neutralen“ KI-Chatbot anbieten will, der auch „politisch inkorrekte“ Antworten geben können soll (vgl. Oremus 2023).

Situierte KI

Auch viele auf den ersten Blick harmlose KI-generierte Inhalte reproduzieren kulturelle Muster. Würden sie es nicht tun, würden wir die KI nicht als gelungen wahrnehmen. In der Regel werden also unsere Vorstellungen etwa von Geschlechterrollen oder dem Leben in anderen Ländern eher bestätigt als herausgefordert. Wer sich in den sozialen Medien bewegt, stößt in letzter Zeit beispielsweise immer öfter auf KI-generierte, fotorealistische Bilder, die ihre Betrachter*innen zum Staunen bringen sollen. Sie werden gepostet, um möglichst viel Interaktion auf den entsprechenden Seiten zu erzeugen. Dabei sind Bilder besonders erfolgreich, wenn sie an kulturell tief verankerte Vorstellungen und Affekte andocken. So gingen im Frühjahr 2024 mehrere Bilder viral, auf denen jeweils ein Schwarzer Junge zu sehen ist, der vor einem stereotyp „afrikanisch“ anmutenden Hintergrund – Hütten und Lehmboden – eine aufwändige, aus Plastikflaschen hergestellte Skulptur präsentiert. Dazu ist zu lesen: „Look what my son made with his own hands.“ Diese Bilder animieren vielen tausend Facebook-User zu Likes und überwiegend positiven Kommentaren. Das Problem dabei ist also nicht, dass rassistische Abbildungen einen offen abwertenden Rassismus in den Kommentaren triggern, sondern dass kolonial geprägte Vorstellungen über den afrikanischen Kontinent und das Leben junger Menschen dort genutzt und reproduziert werden, um Betrachter*innen in Erstaunen zu versetzen.

Offensichtlich wird es besonders brenzlig, wenn es um Deep Fakes geht, die auf manipulative Weise direkt in den politischen Wettbewerb eingreifen. Aber Beispiele wie die „Look what my son made”-Bilder zeigen, dass KI-generierte Inhalte auch auf eine weniger offensichtliche Art politisch sein können. Inhalte, die mit generativen KI-Modellen erstellt worden sind, begegnen uns mittlerweile täglich. Soziale Netzwerke werden zunehmend von KI-generierten Profilen und Inhalten geflutet. Deshalb ist es notwendig, eine AI-Literacy zu entwickeln, die es uns ermöglicht, KI-generierte Inhalte nicht nur zur erkennen, sondern kritisch zu reflektieren, wie sie entstehen. Besonders wichtig ist es, dass wir KI-Modelle nicht als Träger objektiv feststellbaren Wissens verstehen. „Die Modelle synthetisieren die kulturelle Semantik der Gesellschaft“ (Seemann 2024), fasst es der Kulturwissenschaftler Michael Seemann zusammen. Indem sie kulturelle Erzeugnisse – Texte, Bilder, Videos, Musik – statistisch auswerten und Muster daraus erlernen, lernen die KI-Modelle die Bedeutung von Zeichen und mit diesen Semantiken gesellschaftliche Diskurse. Die KI-Modelle liegen in der Hand der Konzerne, die über die Ressourcen verfügen, KI-Modelle zu trainieren. Sie bestimmen damit aber auch die Parameter, mit denen Texte und Bilder generiert werden. Seemann spricht von einer „Massen-Sprechakt-Waffe, mit der man eigene politische Framings, argumentative Figuren und Narrative im großen Maßstab in die generierten Texte und so in den Sprachgebrauch injizieren und so zu ihrer Normalisierung beitragen kann“ (ebd.). Denken wir an Elon Musks Fantasie einer anti-politisch-korrekten KI oder an die Versuche Googels, auszutarieren. Um dies nachzuvollziehen und bei der Entwicklung und Anwendung von KI-Werkzeugen mitzudenken, braucht es eine gesellschaftliche Auseinandersetzung mit KI, die reflektiert, dass Daten und Wissen immer situiert sind (vgl. Haraway 1988).

Viele auf den ersten Blick harmlose KI-generierte Inhalte reproduzieren kulturelle Muster. Würden sie es nicht tun, würden wir die KI nicht als gelungen wahrnehmen. In der Regel werden also unsere Vorstellungen etwa von Geschlechterrollen oder dem Leben in anderen Ländern eher bestätigt als herausgefordert.

Fazit

KI ist auf vielen verschiedenen Ebenen politisch. Wir beobachten ein Rennen um ökonomische Vormachtstellung in diesem neuen Wirtschaftszweig, das sich sowohl zwischen Unternehmen als auch zwischen Standorten entspannt und seinen Ausdruck in KI-Strategien, umfangreichen Förderprogrammen und der Suche nach einer angemessenen Regulierung von KI findet. Dabei geht es um tiefgreifende rechtliche, ethische und letztlich politische Fragen. Ist es legitim, KI-Modelle mit allen verfügbaren Werken der Welt zu trainieren? Warum werden ihre Urheber*innen nicht dafür bezahlt? Wie kann sichergestellt werden, dass KI-Modelle nicht diskriminieren und fair sind? Wer überprüft ihre Entscheidungen? Schließlich beeinflussen KI-generierte Inhalte zunehmend auch unsere Wahrnehmung dessen, was in der Gesellschaft passiert. Das sind vielfältige Gründe für die politische Bildung, sich dem Verhältnis von Technologie und Gesellschaft entlang der neuen KI-Technologien zu widmen.

Schulen und Hochschulen stehen aktuell vor der großen Herausforderung, Prüfungsszenarien zu entwickeln, die sich nicht einfach mit Hilfe von KI erledigen lässt. Die außerschulische politische Bildung hat den Luxus, sich mit diesen Fragen nicht beschäftigen zu müssen. Hier kann generative KI ein Einstieg sein, um gemeinsam mit ihr kreativ zu werden, über technologische Möglichkeiten zu staunen, aber auch kritisch zu reflektieren, wo die Texte, Bilder und Töne herkommen, die KI-Modelle erzeugen, welche gesellschaftlichen Verhältnisse darin repräsentiert werden und welche Auswirkungen sie auf unsere Zukunft haben könnten.

Zur Autorin

Literatur