Magazin #1 | Sommer 2022
KI sollte nur machen, was wir wollen
Interview mit Prof. Julia Stoyanovich
Julia Stoyanovich ist Informatikerin und forscht hauptsächlich zu verantwortungsvollem Datenmanagement und KI. Sie hat es sich zur Aufgabe gemacht, die Öffentlichkeit darüber aufzuklären, welchen Einfluss KI und Algorithmen auf unser Leben haben, zum Beispiel durch frei zugängliche Kurse in öffentlichen Bibliotheken oder auch durch Comics.
Interview mit
Prof. Julia Stoyanovich
Können wir sagen, dass KI heute gleichbedeutend mit verantwortungsvoller KI ist? Leider sind wir noch nicht so weit. Wir sind sogar ziemlich weit davon entfernt. Wir müssen noch die richtige Mischung aus Lösungsansätzen finden, um weiterzukommen. Dazu gehören auch technische Lösungsansätze. Wir brauchen bessere Algorithmen und Programmierer*innen, die sich der allgemeinen Problemlage bewusst sind. Die Algorithmen selbst sind aber im Moment nicht das eigentliche Problem.
”Die Automatisierung ist in diesem Bereich so weit fortgeschritten, dass wir alle bei der Arbeitssuche entweder bereits mit KI-Systemen zu tun hatten oder es in naher Zukunft zu tun haben werden.
Wir haben noch kein gemeinsames Verständnis darüber entwickelt, welche Funktion KI in unserer Gesellschaft erfüllen soll. Die Voraussetzung dazu wäre, uns zunächst einmal darüber klar zu werden, was KI überhaupt leisten kann, und was eben auch nicht. Die Allgemeinheit stellt sich KI noch immer als magisches Instrument vor, was den Entwickler*innen dieser Technologie sehr viel Macht verleiht. Aber die Entwickler*innen haben es auf diese Macht gar nicht unbedingt abgesehen, weil sie in der Regel nicht dafür ausgebildet sind, die rechts- und sozialwissenschaftlichen Implikationen der Technologie zu begreifen. Wir sollten Techniker*innen gar nicht erst in die Verlegenheit bringen, durch die Art, wie sie ihre Codes gestalten, gesellschaftlich relevante Grundsatzentscheidungen zu treffen.
Wir geben gerade einen für alle zugänglichen Kurs in der öffentlichen Bibliothek in Queens, New York. Er heißt „We Are AI” („Wir sind KI“). Dafür sind keine bestimmten Voraussetzungen notwendig, weder Programmierkenntnisse noch irgendwelche Abschlüsse. Die Teilnahme an dem Kurs ist kostenlos. Wir schenken den Teilnehmenden sogar Gutscheine. Bei dem Kurs wollen wir den Menschen klarmachen, dass KI genau das macht, was wir wollen. Sowohl diejenigen, mit denen ich diesen Kurs entwickelt habe, als auch die Teilnehmer*innen sagen, dass das aber noch nicht der Fall ist. Wir haben keine Kontrolle darüber, wie KI eingesetzt wird. Wir sind ihr heute einfach ausgeliefert. Aber indem wir sagen „KI macht genau das, was wir wollen“, setzen wir dieser Realität etwas entgegen. Unser Ziel ist es, Einfluss auf die Gegenwart zu nehmen, indem wir sagen, wie wir uns die Zukunft vorstellen. Allein dadurch bewegen wir uns in die richtige Richtung.
Wenn ich über Transparenz- und Interpretationsmechanismen nachdenke, habe ich immer ganz normale Menschen im Sinn. Ein Beispiel: Algorithmen werden in großem Stil bei Bewerbungsverfahren eingesetzt. Irgendwann suchen wir alle nach einem Job. Die Automatisierung ist in diesem Bereich so weit fortgeschritten, dass wir alle bei der Arbeitssuche entweder bereits mit KI-Systemen zu tun hatten oder es mit ihnen in naher Zukunft zu tun haben werden. Einen Zugang zu Jobs zu haben ist eine schiere ökonomische Notwendigkeit für uns alle. Deshalb müssen wir genau an dieser Stelle überlegen, wie wir den Einsatz von KI regulieren wollen. Alle Arbeitssuchenden müssen wissen, in welcher Weise sie von diesen Systemen betroffen sind. Die Unternehmen, die die Entwicklung solcher Systeme für ihre Zwecke in Auftrag geben, sollten ebenso wissen, was in diesen Systemen eigentlich passiert. Wenn es um den Zugang zur Arbeit geht, müssen wir alle wissen, was die Algorithmen genau tun. Identifizieren sie Kandidat*innen für eine Stelle, die vielleicht gar nicht wissen, dass ihr Profil auf einen Job passt? Gleichen die Algorithmen Lebensläufe mit Stellenausschreibungen ab? Bestimmen sie die Gehaltseinstufung? All diese Möglichkeiten sind mit unterschiedlichen Voraussetzungen und Fehlerquellen verbunden – und in allen Szenarien kom- men unterschiedliche Instrumente zum Einsatz. Wenn wir mit bestimmten Interessensvertreter*innen sprechen, müssen wir ihnen aus diesem Grund sehr genau erklären, wo der Hund begraben liegt.
Wir haben sowas wie eine „Lebensmittelkennzeichnung” für Bewerber*innen entwickelt, um die verschiedenen Szenarien abzudecken, in denen Bewerber*innen und die Unternehmen, die einstellen, über ein Einstellungssystem miteinander interagieren. Ein Kennzeichnungslabel würde dann zu einer Stellenanzeige gehören, ich nenne es das „Profillabel“. Darin dokumentieren die Unternehmen, welche speziellen Qualifikationen für die entsprechende Stelle erforderlich sind. Menschen, die einen Job suchen, können dadurch einschätzen, ob sie für die entsprechende Stelle qualifiziert sind, welche ihrer Daten für das Screeningverfahren genutzt werden, welches Screening angewendet wird, welche Opt-Out-Optionen es gibt und in welcher Instanz bestimmte Informationen relevant sind. So ein Label würde es ermöglichen, dass Bewerber*innen der Verarbeitung ihrer Daten informiert zustimmen könnten. Sie würden einschätzen können, ob sie sich auf die Stelle bewerben wollen, oder ein alternatives Screening-Formular beantragen können. Mit der Zu- oder Absage bei einem Job würde ein anderes Label verbunden sein, das „Entscheidungslabel”. Bewerber*innen würden darüber informiert werden, was sie tun können, um in Zukunft größere Chancen bei einer ähnlichen Ausschreibung zu haben. Außerdem ist damit eine Möglichkeit verbunden, die Entscheidung anzufechten, zum Beispiel wenn Daten falsch verarbeitet wurden.
Wie alle Mitwirkenden im Center for Responsible AI bin ich sehr stolz darauf, dass wir große Befürworter*innen eines Gesetzes waren, das am 21. Dezember 2021 in New York City verabschiedet wurde. Dieses Gesetz hat den ersten Präzedenzfall zur Regulierung algorithmischer Bewerbungsprozesse geschaffen: Das Gesetz unter dem Namen „Local Law 144” sieht vor, dass Tools für automatisierte Entscheidungen vor ihrem Einsatz auf Bias hin überprüft werden müssen. Außerdem müssen Bewerber*innen vor der Bewerbung darüber informiert werden, wenn Systeme verwendet werden, um ihre Daten zu screenen, und welche Daten aus ihrer Bewerbung dies betrifft. Das Gesetz wird im Januar 2023 in Kraft treten, so dass KI-Anbieter und Unternehmen, die KI einsetzen, ein Jahr lang Zeit haben, um sich auf die neue Gesetzeslage einzurichten. Das ist ein wichtiger erster Schritt.
Hintergrund
Nährwertkennzeichnungen als Inspiration für Transparenz bei Ranking-Algorithmen
ADM-Systeme berechnen oft Scores und Rankings, um ihre Ergebnisse darzustellen. Beispielsweise wird oft die Kreditwürdigkeit einer Person über die automatisierte Ermittlung eines Scores bewertet. Auch können Bewerber*innen von einem Ranking-Algorithmus nach vermeintlicher Qualifikation und Eignung für eine Stelle gelistet werden. Solche Scores und Rankings sind dafür bekannt, dass sie mitunter unfair, einfach zu manipulieren und wenig transparent sind. Zudem werden sie oft in Situationen eingesetzt, für die sie ursprünglich nicht entwickelt wurden – was zu ungenauen und problematischen Ergebnissen führen kann. Julia Stoyanovich hat aus diesem Grund zusammen mit weiteren Forscher*innen ein Bewertungssystem entwickelt, das in Anlehnung an Nährwertkennzeichnungen bei Lebensmitteln Informationen zu Ranking-Algorithmen bereitstellt. Die Anwendung Ranking Facts stellt über Visualisierungen Transparenz her. Sie zeigt unter anderem, welche Entscheidungskriterien in welcher Gewichtung in ein Ranking einfließen und wie beständig und fair die Berechnungen sind. Die Anwendung soll auch Laien dabei helfen, die Güte und Tauglichkeit eines Rankings bewerten zu können.
Transparenz und Verantwortungsübernahme
Dimension:
Soziale Nachhaltigkeit
Kriterium:
Transparenz und Verantwortungsübernahme
Indikator:
Öffentlich zugängliche Informationen über Einsatz des Systems
Wenn Menschen Gegenstand einer automatisierten Entscheidung geworden sind, müssen die Betroffenen darüber in Kenntnis gesetzt werden. Ebenso müssen relevante Informationen über KI-Systeme öffentlich zugänglich sein, damit die Funktionsweise, Entscheidungskriterien und die technische Verlässlichkeit dieser Systeme von unabhängigen Instanzen geprüft werden können. Als Mindeststandard gilt, die relevantesten Informationen zur Zielsetzung eines Systems, den Nutzer*innen und Anwendungsfällen, zu Trainings- und Testdaten, den verwendeten Modellen, Feature- Selektion-Prozessen, Eingaben, Tests, Metriken etc. zu dokumentieren. Solche Informationen lassen sich in öffentlichen Registern hinterlegen.
Nicht-Diskriminierung und Fairness
Dimension:
Soziale Nachhaltigkeit
Kriterium:
Nicht-Diskriminierung und Fairness
Indikator:
Erfassung, Bewusstsein & Sensibilisierung für Fairness und Bias
Um Nicht-Diskriminierung und Fairness im Kontext von KI zu etablieren, muss mehr für das Thema sensibiliert werden. Der erste Schritt besteht darin, Fairness fallspezifisch zu definieren und diese Definition im Planungs und Entwicklungsprozess breit zu kommunizieren. Diskriminierungspotenziale können bereits in der Entwicklungsphase von KI-Systemen durch Impact Assessments erkannt werden. Zur Messung von Fairness und Bias gibt es bewährte Methoden wie Equalized Odds oder Equal Opportunities. Damit kann Bias in Trainingsdaten, Inputdaten, Modellen, Methoden und Designs identifiziert werden, um in der Entwicklung nachzubessern. Fairness-Tests müssen geschützte Attribute wie Ethnizität, Hautfarbe, Herkunft, Religion, Geschlecht etc. berücksichtigen, um Diskriminierung auf Grundlage dieser Attribute zu verhindern. Das gilt auch für sogenannte Proxy-Variablen (Stellvertreter-Variablen), die mit den geschützten Attributen korrelieren.
Data, Responsibly #1: „Mirror, Mirror“
Julia Stoyanovich und Falaah Arif Khan (die sowohl als Zeichnerin als auch als Datenwissenschaftlerin an der Arbeit beteiligt ist) haben bislang zwei Comic-Reihen veröffentlicht. Eine heißt „We Are AI”. Sie erschien zuerst auf Englisch und wurde kürzlich ins Spanische übersetzt. Weitere Übersetzungen werden folgen. Es ist die Begleitpublikation zu einem öffentlichen Erwachsenenbildungskurs gleichen Namens. Alle, die ein Interesse an Künstlicher Intelligenz und ihren gesellschaftlichen Folgen haben, können daran teilnehmen, ohne bestimmte Technikkenntnisse mitbringen zu müssen. Comics sind allein dadurch ein außergewöhnliches Bildungsmedium, da sie humoristisch sind. Es erlaubt Stoyanovich und Arif Khan, KI-Technologie und ethische Überlegungen dazu allgemein zugänglicher zu machen. Die zweite Reihe heißt „Data, Responsibly“ und richtet sich an Studierende der Informatik und Interessierte. Sie ist etwas technischer ausgerichtet, da sie zur Pflichtlektüre eines Seminars über verantwortungsvolle Datenwissenschaft gehört, das Julia Stoyanovich an der New York University für Studierende anbietet.
PROF. JULIA STOYANOVICH
Professorin für Computer Science & Engineering sowie Data Science an der New York University
Ihre Forschung konzentriert sich auf die Operationalisierung von Fairness, Vielfalt, Transparenz und Datenschutz in allen Phasen des Datenmanagements. Sie war Mitglied der New York City Automated Decision Systems Task Force und trug zu einer Gesetzgebung bei, die den Einsatz von KI-Systemen in Einstellungsprozesen regulieren wird. Stoyanovich unterrichtet verantwortungsvolle KI und ist Mitautorin eines preisgekrönten Comics zu diesem Thema. Sie ist Empfängerin eines NSF CAREER-Preises und Mitglied der Association for Computing Machinery (ACM).