Im Frühjahr 2022 veröffentlichten Google-Forscher*innen ein neues KI-Sprachmodell: das Pathways Language Model oder kurz PaLM, das unter anderem Texteingaben interpretieren und neue sinnvolle Textsegmente produzieren kann. Während Vorgängermodelle wie BERT (110 Millionen Parameter) oder GPT-3 (175 Milliarden Parameter) bereits wegen ihrer unglaublichen Größe diskutiert wurden, stellte PaLM mit seinen 540 Milliarden Parametern einen neuen Rekord auf. Parameter sind Werte, die ein Machine-Learning-Modell im Trainingsprozess lernt. Auf deren Grundlage produziert es anschließend Ergebnisse.

Die Anzahl der Parameter bestimmt auch die Anzahl der notwendigen Rechenvorgänge und damit den Energieverbrauch für die Rechenleistung. Ein 540 Milliarden Parameter umfassendes Modell hat also wahrscheinlich einen sehr hohen Energieverbrauch – in der Entwicklung, im Training und vermutlich auch in der Anwendung.

Gleichzeitig beanspruchen die Google-Forscher*innen einen Durchbruch bei der Trainingseffizienz für sich. Dieser Fortschritt sei einer neu entwickelten Hardware – sogenannten Tensor-Processing-Units (TPUs), die schnelle Rechenprozesse ermöglichen – und neuen Strategien beim Parallelen Rechnen zu verdanken. Google habe so die Zeit für das Training der großen Modelle deutlich reduziert und dadurch Energie eingespart.

Während eines einzigen Trainingslaufs von PaLM wurden in einem Google-Rechenzentrum in Oklahoma, das zu 89 Prozent mit kohlenstofffreier Energie betrieben wird, 271,43 Tonnen CO2 emittiert. Das entspricht in etwa den Emissionen, die ein vollbesetztes Flugzeug auf 1,5 transamerikanischen Flügen ausstößt.

Vergleichswerte von vorherigen Modellen zu den im Training anfallenden Emissionen beruhen meist auf Schätzungen. Daher lässt sich nur vermuten, dass rund 270 Tonnen CO2 angesichts der Größe von PaLM relativ gesehen durchaus eine bedeutende Verbesserung darstellt. Aber die Frage bleibt, warum eine viel effizientere Hardware und neue Methoden nur eingesetzt werden, um Modelle größer zu machen, anstatt die Energieeffizienz bei kleineren, aber immer noch sehr großen Modellen zu steigern. Das ist nicht nur aus Gründen der Ressourcenschonung unverantwortlich. Bei solch riesigen Modellen wird es auch schwieriger, diskriminierende, misogyne oder rassistische Inhalte in den Trainingsdaten ausfindig zu machen und herauszufiltern.

Suffizienz ist bisher kein Thema in der ML-Forschung – und hier gilt es, nicht nur die Big-Tech-Unternehmen in die Verantwortung zu nehmen. Das Beispiel PaLM zeigt erneut: Die „The bigger the better“-Mentalität dominiert weiterhin in der ML-Forschung, was in krassem Widerspruch zur dringenden Aufgabe steht, den Ressourcenverbrauch im gesamten Digitalisierungssektor und insbesondere im ressourcenintensiven KI-Bereich zu reduzieren.

Mit dem Verweis auf die vergleichsweise geringen Emissionen beim Training von PaLM betreibt Google zudem Augenwischerei. Das Training eines Modells spiegelt nie die gesamten anfallenden Emissionen wider – sondern oft nur einen Bruchteil. Um umfassend bewerten zu können, wie ressourcenschonend einzelne KI-Systeme sind, müssen auch die Emissionen aus der Entwicklung und Anwendung sowie die Emissionen der verwendeten Hardware beziffert werden. Google hätte zumindest angeben können, wie viele Trainingsläufe in der Entwicklungsphase stattfanden und wie hoch die angefallenen Emissionen insgesamt waren. Das hätte aber wohl ein anderes Bild abgegeben und der grüne Anstrich, den sich Google geben will, wäre schnell abgeblättert.