Im 2021 veröffentlichten Paper „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“ („Die Gefahr stochastischer Papageien: Können Sprachmodelle zu große sein?“) erörtern Timnit Gebru, Emily Bender und weiteren Autor*innen die Risiken, die von sehr großen Sprachmodellen ausgehen. Diese gerade sehr beliebten KI-Modelle werden mit enormen Mengen an Textdaten trainiert. Sie sind unter den richtigen Voraussetzungen erstaunlich gut darin, Sinngehalt aus Sprache abzuleiten und ihrerseits Texte zu produzieren, die Sinn zu ergeben scheinen.

Die in Stochastic Parrots ausgeführte Analyse baute auf vorangegangener Forschungsarbeit auf, vor allem ein 2019 erschienenes Paper von Emma Strubell, Ananya Ganesh und Andrew McCallum über die Kohlendioxid-Emissionen und finanziellen Kosten von sehr großen Sprachmodellen: „Energy and Policy Considerations for Deep Learning in Natural Language Processing“ („Deep Learning und natürliche Sprachverarbeitung: gesellschaftliche und energiepolitische Erwägungen“). Um große KI-Modelle trainieren zu können, ist eine gewaltige Rechenleistung nötig, womit wiederum ein immenser Strombedarf verbunden ist. Ihr Energieverbrauch und ihre CO2-Bilanz sind seit 2017 ausgeufert, da das in die Modelle eingespeiste Datenvolumen immer größer geworden ist. Ein Trainingsdurchlauf für eine Version von Googles Sprachmodell BERT, das sehr wichtig für die Funktion der Suchmaschine ist, setzt gut 700 Kilo CO2 frei, also ungefähr so viel wie ein Rundflug zwischen New York City und San Francisco. Solche Modelle werden allerdings etliche Male während des Forschungs- und Entwicklungsprozesses trainiert.

Timnit Gebru und ihre Co-Autor*innen geben in ihrem Paper zu bedenken, dass nur reiche Unternehmen Zugang zu den Ressourcen haben, die notwendig sind, um solch große KI-Modelle zu bauen und zu pflegen. Die Folgen der Klimakrise, die auch durch einen exzessiven Energieverbrauch ausgelöst werden, treffen hingegen besonders marginalisierte Gemeinschaften. Die Trainingsdaten für die Modelle werden üblicherweise im Internet gesammelt, so dass das Risiko besteht, dass rassistischer, sexistischer oder ähnlich abwertender Sprachgebrauch darin Eingang findet. Da die Datensätze so groß sind, ist es nahezu unmöglich, diskriminierende Sprachmuster zu finden und herauszufiltern. Daraus folgern die Autor*innen, dass große Modelle Sprache in einer Weise interpretieren, die überholte gesellschaftliche Normen und Diskriminierungsmuster reproduziert. Die Modelle würden zudem die Sprache und Normen von Ländern und Kulturen ausblenden, in denen das Internet weniger verbreitet ist, weshalb ihr linguistischer Abdruck dort deutlich kleiner ist.

Ein weiteres Problem sehen die Autor*innen des Stochastic Parrots in einem „fehlgeleiteten Forschungsverständnis”, das sich hinter großen Sprachmodellen verstecken kann. Diese Modelle verstünden Sprache nämlich nicht wirklich. Sie errechnen die Wahrscheinlichkeit, dass bestimmte Wortsequenzen für uns Sinn ergeben und plappern die Wörter auf dieser Grundlage bloß nach. Sinn ist allerdings etwas, das innerhalb einer Sprachgemeinschaft verhandelt wird. Wenn Sinn als maschinell ermittelbares, objektives Ergebnis definiert wird, besteht die Gefahr, dass Sprache durch diese Pseudo-Objektivität von KI manipuliert wird. Die Investitionen der großen Tech-Konzerne in KI sind insofern per se heikel, dass sie auf Profite ausgerichtet sind. Gesellschaftlich wäre es allerdings wünschenswerter, KI-Modelle zu entwickeln, die ein wechselseitiges Verständnis fördern und Energie sparen, indem sie mit kleineren und besser kuratierten Datensätzen zu guten Ergebnissen gelangen. Timnit Gebru und ihre Mitstreiter*innen sind allerdings pessimistisch, dass es auf Seiten der Konzerne zu einem Umdenken und einer Abkehr vom reinen Profitdenken kommt, obwohl der vorgegaukelte Sinngehalt der Sprachmodelle eine weitere Gefahr mit sich bringt: Sie könnten als Instrument missbraucht werden, um Desinformationen zu streuen.

Am Jahrestag ihrer Entlassung bei Google, veröffentlichte Timnit Gebru eine Pressemitteilung, in der sie die Gründung des Distributed AI Research Institute (DAIR) verkündete. Das DAIR soll als unabhängiges Institut bei der Erforschung, Entwicklung und Implementierung von KI den Einflussbereich der großen Tech-Konzerne eindämmen und stärker die Bedürfnisse von betroffenen Gemeinschaften berücksichtigen. Timnit Gebru will mit ihrem Institut die Prozesse und die Prinzipien der aktuellen KI-Forschung hinterfragen. Ihre Arbeit stützt sich auf den Gedanken, dass die mit KI-Technologie einhergehenden Schäden verhindert werden können, wenn der Einsatz von KI die Interessen verschiedener Communitys und eine Vielfalt an Perspektiven stärker einbeziehen würde.

Bei einem aktuellen Projekt verwendet das Institut Satellitenbilder und Bilderkennungssoftware, um die Folgen der Apartheid in Südafrika zu analysieren. Bei Datasheets for Datasets, einem weiteren Projekt des DAIR, geht es darum, beim Maschinellen Lernen weitgehend inexistente Branchenstandards bei der Dokumentation von Datensätzen zu etablieren. Im Bereich des Maschinellen Lernens sollen Forschende und Praktiker*innen dadurch ein größeres Bewusstsein für notwendige Transparenz- und Rechenschaftspflichten entwickeln, Bias in ML-Modellen vermindern und bei der Auswahl passender Datensätze unterstützt werden.

Am 2. Dezember 2020 verkündete Tim­nit Gebru, die stellvertretende Leiterin des KI­-Ethikteams bei Google, per Twit­ter, dass das Unternehmen sie rausge­worfen habe. Sie war 2018, als sie noch für Microsoft arbeitete, als Co-Autorin der bahnbrechenden Studie „On the gender and racial biases embedded in commercial face recognition systems” („Gender­basierter und rassistischer Bias in kommerziellen Gesichtserken­ nungssystemen”) bekannt geworden. In der Studie ging es darum, dass Ge­sichtserkennungstools Frauen und Peo­ple of Color weniger verlässlichidentifi­zieren und potenziell diskriminieren. Tim­nit Gebru ist eine der Mitgründer*innen der Gruppe Black in AI, die sich für mehr Diversität in der Tech-Industrie einsetzt. In ihrer kritischen Arbeit fordert sie häufig gängige Praktiken in der KI- und Tech­Industrie heraus.

Der Rauswurf von Timnit Gebru war letzt­lich die Konsequenz eines Konflikts, der sich an einem Artikel entzündet hatte, an dem sie als Mitautorin beteiligt war. Ihre Vorgesetzten bei Google forderten sie auf, entweder von der Veröffentlichung abzusehen oder den Namen aller Goog­le-Mitarbeiter*innen auf dem Artikel zu entfernen (fünf der sechs Autor*innen). Jeff Dean, der Leiter von Google AI, schrieb in einer internen E­-Mail (die er später auf Twitter teilte), dass der Ar­tikel „nicht unseren Anforderungen an eine Publikation entspricht, da es die relevante Forschung nur unzureichend berücksichtigt“. Im Artikel sind allerdings 128 Forschungsreferenzen aufgeführt. Bei anderen KI-Ethiker*innen fachte dieser Umstand Spekulationen darüber an, ob Google Timnit Gebru nicht einfach loswerden wollte, weil ihr Text unange­nehme Wahrheiten über ein zentrales For­schungsfeld des Unternehmens enthält. Über 1.400 Google-Mitarbeiter*innen und 1.900 weitere Unterstützer*innen un­terzeichneten daher nach der Entlassung einen Protestbrief.

Der Artikel, um den es ging, trägt den Titel „On the Dangers of Stochastic Parrots: Can Language Models Be Too Big?“ („Über die Gefahren stochastischer Papageien: Können Sprachmodelle zu groß sein?“). Er sollte eine Bestands­aufnahme darüber sein, wie es um die Forschung zur Verarbeitung von natür­licher Sprache geht. Google hat einen Großteil der Grundlagenforschung auf dem Gebiet großer Sprachmodelle geleistet: 2017 wurde sowohl das Transformer language model vorgestellt, das die Basis für das spätere Google­Modell BERT werden sollte, als auch für die von OpenAI entwickelten Modelle GPT-2 und GPT­3. BERT bildet inzwischen das Fundament für die Google-Suche, der Haupteinnahmequelle des Unterneh­mens. Führende KI-Ethiker*innen be­fürchten, dass das Vorgehen von Goog­le einen abschreckenden Effekt auf die zukünftige Forschung zur KI­-Ethik haben könnte. Denn viele der Forschenden in diesem Themenfeld sind bei den großen Tech-­Konzernen beschäftigt.

Das KI-Ethikteam bei Google hatte inzwischen zwei weitere Abgänge zu verkraften. Die leitende Forscherin Alex Hanna und Dylan Baker aus der Software-Entwicklung haben sich Tim­nit Gebru und ihrem gemeinnützigen DAIR-Forschungsinstitut angeschlos­sen. In ihrer Ankündigung auf Medium, dass sie Google verlässt, nutzte Alex Hanna die Gelegenheit, um das „to­xische” Arbeitsumfeld bei Google zu kritisieren. Daneben beklagte sie den Mangel an Diversität in den Forschungs­einrichtungen bei Google, vor allem das Fehlen von schwarzen Frauen. Sie kam zu dem Schluss, dass die Tech-Riesen ein „Whiteness“­-Problem haben und für People of Color ein schreckliches Arbeitsumfeld bieten.