Durch Open-Source-Ansätze können Modelle besser wiederverwendet werden. Statt Transformer-Modelle nur für eine Anwendung zu trainieren, können sie in vielen Anwendungen eingesetzt werden. Alle vortrainierten Modelle auf der Hugging Face-Plattform lassen sich speziell für bestimmte Einsatzfälle modifizieren. Das ist definitiv umweltfreundlicher, als jedes Mal Modelle von Grund auf neu zu entwickeln. Vor einigen Jahren war es noch üblich, so viele Daten wie möglich zusammenzutragen, um ein Modell zu trainieren. Die Modelle waren dann nicht frei zugänglich. Inzwischen werden datenreiche Modelle nach dem Training geteilt, damit andere sie so umgestalten können, wie es für ihre Anwendungsfälle nötig ist.

Da Transformer- oder KI-Modelle immer größer werden, wird es immer schwieriger, bei der KI-Entwicklung mithalten zu können. Das gilt vor allem für Organisationen aus Ländern, die keinen Zugang zu den teils extrem leistungsstarken Computern haben, auf denen solche Modelle entwickelt und trainiert werden. Hugging Face bietet in solchen Fällen einige Optionen. Wir ermöglichen beispielweise, dass ein großes Sprachmodell über eine API genutzt wird, so dass das nicht über den eigenen Computer geschehen muss. Dadurch werden die Modelle zugänglicher.

In den vergangenen Jahren war Nachhaltigkeit in den Ansätzen zur Regulierung von KI nur von nachrangiger Bedeutung. Auch die Messung von CO2-Emissionen kommt darin kaum vor, was damit zusammenhängt, dass kaum Instrumente dafür zur Verfügung stehen. Wir stecken in einem Dilemma fest: Die politischen Entscheidungsträger*innen müssten dringend Druck aufbauen, aber dazu werden Daten zu den Emissionen benötigt. Eine Verpflichtung zum Einsatz verfügbarer Tools, mit denen Emissionswerte ermittelt werden könnten, ist aber bisher nicht in politischen Richtlinien vorhanden. Entscheidungsträger*innen können also nicht auf solche Daten verweisen.

Der AI Act der EU gehört zu den vielversprechendsten und prominentesten Versuchen, KI im Interesse der Allgemeinheit zu regulieren. Viele Verordnungen und Regulierungen kommen natürlich aus Ländern mit einem hohen Bruttoinlandsprodukt: etwa der Algorithmic Accountability Act in den USA oder der AI and Data Act in Kanada. Im Algorithmic Accountability Act wird Nachhaltigkeit zwar nicht explizit erwähnt, aber ich begrüße, welche Bedeutung darin Folgeabschätzungen beigemessen werden. Entscheidungsträger*innen sollten stärker über die Folgen aufgeklärt werden, die der Einsatz von KI-Systemen hat, zum Beispiel die CO2-Emissionen. Dadurch würden sie ein besseres Verständnis dafür bekommen, wie wichtig es ist, dafür geeignete Instrumente zu entwickeln.

Diese Modelle werden mit Daten aus dem ganzen Internet gefüttert. Da die Trainingsdaten aus allen möglichen unterschiedlichen Quellen stammen, sollen sie, so die Annahme, insgesamt relativ neutral sein. Doch in den KI-Anwendungen werden dann Outputs generiert, die niemand erwartet hat. Um herauszufinden, welche Vorurteile in den Modellen stecken, müssen wir sie aus verschiedenen Konstellationen heraus Entscheidungen oder Voraussagen treffen lassen. Wir haben daran gearbeitet, für die Modelle Prompts zu generieren, um sie einen Text vervollständigen zu lassen, zum Beispiel „Ihr Traumberuf ist“ oder „Sein Traumberuf ist“. Wenn das Modell daraus „Ihr Traumberuf ist Kindermädchen“ und „Sein Traumberuf ist Informatiker“ macht, haben wir herausgefunden, dass in dem Modell ein geschlechtsspezifisches Vorurteil steckt. Solche negativen Stereotypen sind nur ein Beispiel für die systemimmanenten Vorurteile, die wir für jedes KI-Modell dokumentieren können.

Wir haben die Emissionen, die wir angeben, aus dem Training heraus ermittelt. Oft können wir nicht viel darüber sagen, welche Emissionen sich aus der Anwendung eines KI-Systems ergeben. Doch die meisten interessieren sich dafür, wie viel CO2 bei der Anwendung freigesetzt wird. Das wiederum hängt von vielen Faktoren ab: von der Hardware oder vom Standort der Computer, die die Rechenprozesse umsetzen. Ohne diese Faktoren zu kennen, können wir keine Angaben zu den Emissionswerten machen. Dazu müssten wir verschiedene Architekturen, Modelle, GPUs und so weiter miteinander vergleichen. Aber viele Menschen würden sich solche Orientierungswerte wünschen.

Je mehr Tools genutzt werden, um Emissionen zu messen, und je häufiger diese Ergebnisse geteilt werden, desto eher können wir KI-Modelle auf Grundlage von belegbaren Zahlen bewerten. Tools wie Code Carbon errechnen den CO2-Fußabdruck eines Modells in Echtzeit. Das Programm läuft parallel zum Code ab und schätzt zum Schluss, wie hoch die Emissionswerte sind. Außerdem haben wir eine Website eingerichtet, auf der man Daten wie die Trainingsdauer oder die für das Training genutzte Hardware-Typen eingeben kann. Daraufhin wird ein geschätzter CO2-Fußabdruck ermittelt. Unsere Schätzungen sind nicht so genau wie die von Code Carbon, aber es reicht, um sich ein Bild davon zu machen.

Ich glaube, dass gerade in der Forschung Bottom-Up-Ansätze ganz gut funktionieren. Bei Konferenzen werden wir ständig nach weiteren Informationen gefragt. Allerdings ist die Reproduzierbarkeit ein Problem. Viele Forschungsergebnisse können nicht ohne Weiteres reproduziert werden, da sie von sehr speziellen Faktoren abhängen. Die KI-Community versucht dieses Problem in den Griff zu bekommen, indem sie bestimmte Richtlinien vorgibt. Wenn ein Paper eingereicht wird, müssen beispielsweise also die Parameter X, Y und Z angegeben werden. Der Code und die Daten müssen frei zugänglich sein. Was die Nachhaltigkeit angeht, müssten wir ähnlich vorgehen, um Vergleichsgrößen für verschiedene Modelle zu ermitteln. Wir stellen technische Verfahren zur Verfügung, die sich viele zunutze machen können.

In vielen Policy-Gesprächen geht es darum, die regulatorischen Hürden für kleine und mittlere Unternehmen zu minimieren, da ihre Ressourcen kleiner sind als die von Big-Tech-Unternehmen. Den kleineren Unternehmen fehlt die Infrastruktur, um CO2-Emissionen zu ermitteln, von daher können wir auch nicht von ihnen erwarten, dass sie Emissionswerte umfassend dokumentieren.

Wir beschäftigen uns sehr mit der Dokumentation. Dabei würden wir uns einen stärkeren Austausch mit politischen Institutionen wünschen, um zu erfahren, welche Informationen für politische Entscheidungsprozesse wichtig wären – über die Informationen hinaus, die auf Modelcards verzeichnet sind. Viele Regierungen verlangen von der Branche mehr Informationen über Modelle, ohne anzugeben, über welche Nachhaltigkeitsaspekte sie informiert werden wollen. Es wäre für uns auch wichtig zu wissen, in welcher Form wir solche Informationen zur Verfügung stellen sollen, damit Entscheidungsträger*innen ohne technischen Hintergrund sie gut verwerten können. Wenn Entwickler*innen dazu angeregt werden sollen, nachhaltigere Systeme zu gestalten, müssen wir ihnen dazu auch die nötigen Informationen liefern.

Wenn wir uns die Infrastruktur anschauen, sehen wir positive und negative Entwicklungen. Die Hardware-Entwicklung macht in puncto Recheneffizienz enorme Fortschritte. Der Unterschied zwischen einer GPU aus diesem Jahr und einer GPU, die vor drei Jahren State of the Art war, ist sehr groß. Wir reden hier über das Zehnfache an Rechenleistung. Die Kehrseite der Medaille ist aber, dass die Menschen dadurch animiert werden, noch mehr Rechenprozesse laufen zu lassen. Wenn wir die Größe der Modelle und den erforderlichen Rechenumfang auf einem konstanten Niveau halten könnten, wären wir definitiv auf einem guten Weg. Da aber beides durch die Decke schießt, lässt sich schwer beurteilen, wohin die Richtung geht. Immerhin nutzen Cloud-Anbieter immer häufiger CO2-Kompensationen oder setzen sogar auf erneuerbare Energie. Sie achten mittlerweile eindeutig auf den Klimaschutz. Auf der anderen Seite ist bei der Entwicklung von KI-Modellen die „Je größer, desto besser”-Mentalität völlig außer Kontrolle geraten.