Skip to main content
#1InterviewMethoden

KI sollte nur machen, was wir wollen

Magazin #1 | Sommer 2022

KI sollte nur machen, was wir wollen

Interview mit Prof. Julia Stoyanovich

Julia Stoyanovich ist Informatikerin und forscht hauptsächlich zu verantwortungsvollem Datenmanagement und KI. Sie hat es sich zur Aufgabe gemacht, die Öffentlichkeit darüber aufzuklären, welchen ­Einfluss­ KI­ und Algorithmen ­auf­ unser Leben haben, zum Beispiel durch frei zugängliche Kurse in öffentlichen Bibliotheken oder auch durch Comics.

Interview mit
Prof. Julia Stoyanovich

Sie haben das Center for Responsible AI gegründet. Dieses Zentrum für verantwortungs­volle KI soll „eine Zukunft schaffen, in der verantwortungsvolle KI die einzig vorhandene KI ist“. Wie sind wir da aktuell aufgestellt?

Können wir sagen, dass KI heute gleichbedeutend mit verantwortungsvoller KI ist? Leider sind wir noch nicht so weit. Wir sind sogar ziemlich weit davon entfernt. Wir müssen noch die richtige Mischung aus Lösungsansätzen finden, um weiterzukommen. Dazu gehören auch technische Lösungsansätze. Wir brauchen bessere Algorithmen und Programmierer*innen, die sich der allgemeinen Problemlage bewusst sind. Die Algorithmen selbst sind aber im Moment nicht das eigentliche Problem.

Die Automatisierung ist in diesem Bereich so weit fortgeschritten, dass wir alle bei der Arbeitssuche entweder bereits mit KI-Systemen zu tun hatten oder es in naher Zukunft zu tun haben werden.

Was ist das eigentliche Problem?

Wir haben noch kein gemeinsames Verständnis darüber entwickelt, welche Funktion KI in unserer Gesellschaft erfüllen soll. Die Voraussetzung dazu wäre, uns zunächst einmal darüber klar zu werden, was KI überhaupt leisten kann, und was eben auch nicht. Die Allgemeinheit stellt sich KI noch immer als magisches Instrument vor, was den Entwickler*innen dieser Technologie sehr viel Macht verleiht. Aber die Entwickler*innen haben es auf diese Macht gar nicht unbedingt abgesehen, weil sie in der Regel nicht dafür ausgebildet sind, die rechts- und sozialwissenschaftlichen Implikationen der Technologie zu begreifen. Wir sollten Techniker*innen gar nicht erst in die Verlegenheit bringen, durch die Art, wie sie ihre Codes gestalten, gesellschaftlich relevante Grundsatzentscheidungen zu treffen.

Brauchen wir eine umfassendere Diskussion darüber, was KI für uns tun kann?

Wir geben gerade einen für alle zugänglichen Kurs in der öffentlichen Bibliothek in Queens, New York. Er heißt „We Are AI” („Wir sind KI“). Dafür sind keine bestimmten Voraussetzungen notwendig, weder Programmierkenntnisse noch irgendwelche Abschlüsse. Die Teilnahme an dem Kurs ist kostenlos. Wir schenken den Teilnehmenden sogar Gutscheine. Bei dem Kurs wollen wir den Menschen klarmachen, dass KI genau das macht, was wir wollen. Sowohl diejenigen, mit denen ich diesen Kurs entwickelt habe, als auch die Teilnehmer*innen sagen, dass das aber noch nicht der Fall ist. Wir haben keine Kontrolle darüber, wie KI eingesetzt wird. Wir sind ihr heute einfach ausgeliefert. Aber indem wir sagen „KI macht genau das, was wir wollen“, setzen wir dieser Realität etwas entgegen. Unser Ziel ist es, Einfluss auf die Gegenwart zu nehmen, indem wir sagen, wie wir uns die Zukunft vorstellen. Allein dadurch bewegen wir uns in die richtige Richtung.

Das Center for Responsible AI setzt sich für Transparenz auf allen Ebenen ein. Was bedeutet Transparenz im Hinblick auf KI­-Systeme und wie können wir sie wirkungsvoll regulieren?

Wenn ich über Transparenz- und Interpretationsmechanismen nachdenke, habe ich immer ganz normale Menschen im Sinn. Ein Beispiel: Algorithmen werden in großem Stil bei Bewerbungsverfahren eingesetzt. Irgendwann suchen wir alle nach einem Job. Die Automatisierung ist in diesem Bereich so weit fortgeschritten, dass wir alle bei der Arbeitssuche entweder bereits mit KI-Systemen zu tun hatten oder es mit ihnen in naher Zukunft zu tun haben werden. Einen Zugang zu Jobs zu haben ist eine schiere ökonomische Notwendigkeit für uns alle. Deshalb müssen wir genau an dieser Stelle überlegen, wie wir den Einsatz von KI regulieren wollen. Alle Arbeitssuchenden müssen wissen, in welcher Weise sie von diesen Systemen betroffen sind. Die Unternehmen, die die Entwicklung solcher Systeme für ihre Zwecke in Auftrag geben, sollten ebenso wissen, was in diesen Systemen eigentlich passiert. Wenn es um den Zugang zur Arbeit geht, müssen wir alle wissen, was die Algorithmen genau tun. Identifizieren sie Kandidat*innen für eine Stelle, die vielleicht gar nicht wissen, dass ihr Profil auf einen Job passt? Gleichen die Algorithmen Lebensläufe mit Stellenausschreibungen ab? Bestimmen sie die Gehaltseinstufung? All diese Möglichkeiten sind mit unterschiedlichen Voraussetzungen und Fehlerquellen verbunden – und in allen Szenarien kom- men unterschiedliche Instrumente zum Einsatz. Wenn wir mit bestimmten Interessensvertreter*innen sprechen, müssen wir ihnen aus diesem Grund sehr genau erklären, wo der Hund begraben liegt.

Wie sieht das in der Praxis aus?

Wir haben sowas wie eine „Lebensmittelkennzeichnung” für Bewerber*innen entwickelt, um die verschiedenen Szenarien abzudecken, in denen Bewerber*innen und die Unternehmen, die einstellen, über ein Einstellungssystem miteinander interagieren. Ein Kennzeichnungslabel würde dann zu einer Stellenanzeige gehören, ich nenne es das „Profillabel“. Darin dokumentieren die Unternehmen, welche speziellen Qualifikationen für die entsprechende Stelle erforderlich sind. Menschen, die einen Job suchen, können dadurch einschätzen, ob sie für die entsprechende Stelle qualifiziert sind, welche ihrer Daten für das Screeningverfahren genutzt werden, welches Screening angewendet wird, welche Opt-Out-Optionen es gibt und in welcher Instanz bestimmte Informationen relevant sind. So ein Label würde es ermöglichen, dass Bewerber*innen der Verarbeitung ihrer Daten informiert zustimmen könnten. Sie würden einschätzen können, ob sie sich auf die Stelle bewerben wollen, oder ein alternatives Screening-Formular beantragen können. Mit der Zu- oder Absage bei einem Job würde ein anderes Label verbunden sein, das „Entscheidungslabel”. Bewerber*innen würden darüber informiert werden, was sie tun können, um in Zukunft größere Chancen bei einer ähnlichen Ausschreibung zu haben. Außerdem ist damit eine Möglichkeit verbunden, die Entscheidung anzufechten, zum Beispiel wenn Daten falsch verarbeitet wurden.

Sehen Sie in dieser Hinsicht noch Spielraum für zusätzliche Regulierungsmaßnahmen?

Wie alle Mitwirkenden im Center for Responsible AI bin ich sehr stolz darauf, dass wir große Befürworter*innen eines Gesetzes waren, das am 21. Dezember 2021 in New York City verabschiedet wurde. Dieses Gesetz hat den ersten Präzedenzfall zur Regulierung algorithmischer Bewerbungsprozesse geschaffen: Das Gesetz unter dem Namen „Local Law 144” sieht vor, dass Tools für automatisierte Entscheidungen vor ihrem Einsatz auf Bias hin überprüft werden müssen. Außerdem müssen Bewerber*innen vor der Bewerbung darüber informiert werden, wenn Systeme verwendet werden, um ihre Daten zu screenen, und welche Daten aus ihrer Bewerbung dies betrifft. Das Gesetz wird im Januar 2023 in Kraft treten, so dass KI-Anbieter und Unternehmen, die KI einsetzen, ein Jahr lang Zeit haben, um sich auf die neue Gesetzeslage einzurichten. Das ist ein wichtiger erster Schritt.

Hintergrund

Nährwert­kennzeichnungen als Inspiration für Transparenz bei Ranking-Algorithmen

ADM-Systeme berechnen oft Scores und Rankings, um ihre Ergebnisse darzustellen. Beispielsweise wird oft die Kreditwürdigkeit einer Person über die automatisierte Ermittlung eines Scores bewertet. Auch können Bewerber*innen von einem Ranking-Algorithmus nach vermeintlicher Qualifikation und Eignung für eine Stelle gelistet werden. Solche Scores und Rankings sind dafür bekannt, dass sie mitunter unfair, einfach zu manipulieren und wenig transparent sind. Zudem werden sie oft in Situationen eingesetzt, für die sie ursprünglich nicht entwickelt wurden – was zu ungenauen und problematischen Ergebnissen führen kann. Julia Stoyanovich hat aus diesem Grund zusammen mit weiteren Forscher*innen ein Bewertungssystem entwickelt, das in Anlehnung an Nährwertkennzeichnungen bei Lebensmitteln Informationen zu Ranking-Algorithmen bereitstellt. Die Anwendung Ranking Facts stellt über Visualisierungen Transparenz her. Sie zeigt unter anderem, welche Entscheidungskriterien in welcher Gewichtung in ein Ranking einfließen und wie beständig und fair die Berechnungen sind. Die Anwendung soll auch Laien dabei helfen, die Güte und Tauglich­keit eines Rankings bewerten zu können.

Transparenz und Verant­wortungs­übernahme

Dimension:

Soziale Nachhaltigkeit

Kriterium:

Transparenz und Verantwortungs­übernahme

Indikator:

Öffentlich zugängliche Informationen über Einsatz des Systems

Wenn Menschen Gegenstand einer au­tomatisierten Entscheidung geworden sind, müssen die Betroffenen darüber in Kenntnis gesetzt werden. Ebenso müs­sen relevante Informationen über KI­-Sys­teme öffentlich zugänglich sein, damit die Funktionsweise, Entscheidungskri­terien und die technische Verlässlich­keit dieser Systeme von unabhängigen Instanzen geprüft werden können. Als Mindeststandard gilt, die relevantes­ten Informationen zur Zielsetzung eines Systems, den Nutzer*innen und Anwen­dungsfällen, zu Trainings- und Testdaten, den verwendeten Modellen, Feature- Selektion-Prozessen, Eingaben, Tests, Metriken etc. zu dokumentieren. Solche Informationen lassen sich in öffentlichen Registern hinterlegen.

Nicht-Diskriminierung und Fairness

Dimension:

Soziale Nachhaltigkeit

Kriterium:

Nicht-Diskriminierung und Fairness

Indikator:

Erfassung, Bewusstsein & Sensibilisierung für Fairness und Bias

Um Nicht-Diskriminierung und Fairness im Kontext von KI zu etablieren, muss mehr für das Thema sensibiliert werden. Der erste Schritt besteht darin, Fairness fallspezi­fisch zu definieren und diese Definition im Planungs­ und Entwicklungsprozess breit zu kommunizieren. Diskriminierungs­potenziale können bereits in der Ent­wicklungsphase von KI­-Systemen durch Impact ­Assessments erkannt werden. Zur Messung von Fairness und Bias gibt es bewährte Methoden wie Equalized Odds oder Equal Opportunities. Damit kann Bias in Trainingsdaten, Inputdaten, Modellen, Methoden und Designs iden­tifiziert werden, um in der Entwicklung nachzubessern. Fairness­-Tests müssen geschützte Attribute wie Ethnizität, Haut­farbe, Herkunft, Religion, Geschlecht etc. berücksichtigen, um Diskriminierung auf Grundlage dieser Attribute zu verhindern. Das gilt auch für sogenannte Proxy­-Vari­ablen (Stellvertreter-Variablen), die mit den geschützten Attributen korrelieren.

Data, Responsibly #1: „Mirror, Mirror“

Julia Stoyanovich und Falaah Arif Khan (die sowohl als Zeichnerin als auch als Datenwissenschaftlerin an der Arbeit beteiligt ist) haben bislang zwei Comic-Reihen veröffentlicht. Eine heißt „We Are AI”. Sie erschien zuerst auf Englisch und wurde kürzlich ins Spanische übersetzt. Weitere Übersetzungen werden folgen. Es ist die Begleitpublikation zu einem öffentlichen Erwachsenenbildungskurs gleichen Namens. Alle, die ein Interesse an Künstlicher Intelligenz und ihren gesellschaftlichen Folgen haben, können daran teilnehmen, ohne bestimmte Technikkenntnisse mitbringen zu müssen. Comics sind allein dadurch ein außergewöhnliches Bildungsmedium, da sie humoristisch sind. Es erlaubt Stoyanovich und Arif Khan, KI-Technologie und ethische Überlegungen dazu allgemein zugänglicher zu machen. Die zweite Reihe heißt „Data, Responsibly“ und richtet sich an Studierende der Informatik und Interessierte. Sie ist etwas technischer ausgerichtet, da sie zur Pflichtlektüre eines Seminars über verantwortungsvolle Datenwissenschaft gehört, das Julia Stoyanovich an der New York University für Studierende anbietet.

Download Data, Responsibly #1: „Mirror, Mirror“ als PDF

PROF. JULIA STOYANOVICH

Professorin für Computer Science & Engineering sowie Data Science an der New York University

Ihre Forschung konzentriert sich auf die Operationalisierung von Fairness, Vielfalt, Transparenz und Datenschutz in allen Phasen des Datenmanagements. Sie war Mitglied der New York City Automated Decision Systems Task Force und trug zu einer Gesetzgebung bei, die den Einsatz von KI-Systemen in Einstellungsprozesen regulieren wird. Stoyanovich unterrichtet verantwortungsvolle KI und ist Mitautorin eines preisgekrönten Comics zu diesem Thema. Sie ist Empfängerin eines NSF CAREER-Preises und Mitglied der Association for Computing Machinery (ACM).