Skip to main content
#1Glossar

Foundation Models

Magazin #1 | Sommer 2022

Foundation Models

Der Begriff Foundation Models (zu Deutsch: Basismodelle) wurde durch eine Forschungsgruppe der Universität Stanford geprägt, die damit auf einen voranschreitenden Paradigmenwechsel im Bereich der KI reagierte. Gerade KI-Modelle zur Sprachverarbeitung werden seit einiger Zeit immer größer und leistungsstärker. Beispiele aus den letzten Jahren sind Open-AIs GPT-3 und Googles BERT. In einem häufig sehr aufwendigen Prozess lernen KI-Modelle eine vordefinierte Zuordnung durch Verarbeitung vorher annotierter Daten. Dieses sogenannte überwachte Lernen wurde zum Beispiel zum Erkennen von Objekten in Bildern eingesetzt. Basismodelle wie GPT-3 und BERT versuchen beim selbstüberwachten Lernen zunächst, allgemeine Muster in den Daten zu erkennen und zu erlernen. Da Daten hierfür nicht manuell annotiert werden müssen, können die Modelle auf deutlich größere Datensätze zurückgreifen und komplexe Zusammenhänge erkennen. Diese Modelle lassen sich deutlich flexibler und vielfältiger als Basis für verschiedene Anwendungen einsetzen. Diese Anwendungen übernehmen allerdings dabei deren Eigenschaften und mögliche Verzerrungen. Mit der steigenden Komplexität von KI-Systemen steigen auch die Kosten für deren Entwicklung. Infolgedessen sinkt die Anzahl der Akteure, die in der Lage sind, so große KI-Modelle zu entwickeln, was zu einer zunehmenden Zentralisierung der KI- Entwicklung führt.