Selbstbewertungstool zur Nachhaltigkeit von KI

Der Fragebogen zur Selbstbewertung gibt Ihnen Orientierung, wie nachhaltig Ihre KI-Systeme sind und wo Sie nachbessern können.

Das Bewertungstool ist für Organisationen ausgelegt, die KI selbst entwickeln oder in ihrer Organisation einsetzen. Es basiert auf den im Projekt „SustAIn“ entwickelten Kriterien zur sozialen, ökologischen und ökonomischen Nachhaltigkeit von KI. Nach Beantworten des Fragebogens erhalten Sie ein Auswertungsdokument. Ihre Antworten werden nicht bei uns gespeichert.

Das Tool zur Bewertung der Nachhaltigkeit von KI

Schritt 1 von 11

Organisation

Was trifft auf Sie und Ihre Organisation zu?(erforderlich)

Wir entwickeln intern KI-Systeme für den Einsatz in unserer Organisation

Wir setzen KI in unserer Organisation ein, die wir extern entwickeln lassen oder einkaufen

Wir sind eine Organisation, die KI als Dienstleister für Kund*innen entwickelt

Transparenz und Verantwortungsübernahme

Liegt in Ihrer Organisation ein Code of Conduct (wie z. B. ein AI Code of Ethics) vor, in dem grundlegende Werte und Normen beschrieben werden, die bei der Implementierung und Nutzung von KI-Systemen beachtet werden sollen? (erforderlich)

Nein

Zu welchen Werten und Normen in Bezug auf KI macht der Code of Conduct Angaben?

Transparenz und Verantwortungsübernahme

Nicht-Diskriminierung und Fairness

Technische Verlässlichkeit

Menschliche Aufsicht

Selbstbestimmung

Datenschutz

Inklusives und partizipatives Design

Kulturelle Sensibilität

Ressourcenschonung

Sonstiges (Bitte Stichpunkte nennen)

Sonstiges(erforderlich)

Evaluieren Sie in Ihrer Organisation die Umsetzung des KI-Code of Conducts? (erforderlich)

Nein

Gibt es in Ihrer Organisation Ansprechpartner*innen oder Organisationseinheiten, die für ethische Belange in Bezug auf die Entwicklung und den Einsatz von Künstlicher Intelligenz in Ihrer Organisation verantwortlich sind und an die sich Entwickler*innen, Anwender*innen, Endnutzer*innen, Auditor*innen etc. ggf. wenden können?(erforderlich)

Nein

Mit welchen Kompetenzen sind solche Funktionsträger/Ausschüsse versehen? (erforderlich)

Beobachtende Funktion

Beratende Funktion

Widerspruchsmöglichkeit

Keine der genannten Funktionen

Stellen Sie detaillierte Informationen zu einzelnen, mehreren oder allen KI-Systemen bereit?(erforderlich)

Nein, zu keinen Systemen

Ja, zu einzelnen Systemen

Ja, zu den meisten Systemen

Ja, zu allen Systemen

Zu welchen Aspekten stellen Sie in Ihrer Organisation in der Regel Informationen bereit?

Zur Zielsetzung des Systems

Zum Anwendungsbereich

Zu den Nutzer*innen

Zu den verwendeten Daten

Zur Art des Modells

Zum Reifegrad des Modells

Zur Anzahl und Auswahl der Parameter und Features

Zu den genutzten Inputs

Zu den Testverfahren

Zu den Metriken

Zu Risiko-Analysen

Sonstige Informationen

Werden Komplexität oder Verständlichkeit zur Entscheidungsgrundlage im Entwicklungs- oder Einkaufsprozess, indem z. B. weniger komplexe Systeme bevorzugt werden?

Nein

Welche Methoden zur Erhöhung der Transparenz und Erklärbarkeit werden in der Regel eingesetzt?

Einsatz von transparenten Machine Learning Modellen (z.B. Lineare/Logistische Regression, Entscheidungsbäume, Rule-based learning)

Vereinfachung der Modelle

Erhebung der Feature Importance

Visualisierung

Sonstige Methoden

Nicht-Diskriminierung und Fairness

Entwickeln Sie oder setzen Sie KI-Systeme ein, deren Entscheidungen Menschen direkt betreffen?

Nein

Werden die Personen, die von der Anwendung ihrer KI-Systeme betroffen sind, informiert, dass eine Entscheidung automatisiert getroffen wird?

Nein

Beziehen Sie betroffene Personen als Stakeholder in die Planung und Entwicklung Ihrer KI-Systeme ein?

Nein

Werden potentiell benachteiligte oder marginalisierte Gruppen als Stakeholder identifiziert?

Nein

In welche Phasen werden diese Stakeholder im Entwicklungsprozess einbezogen?

Konzeption eines KI-Systems

Datenmanagement für das KI-System

Entwicklung des KI-Systems (inkl. Testphase)

Implementierung des KI-Systems

Anwendung des KI-Systems

Sonstiges

Welche Nachhaltigkeits-Aspekte werden beim Einbezug der Stakeholder berücksichtigt?

Transparenz und Verantwortungsübernahme

Nicht-Diskriminierung und Fairness

Technische Verlässlichkeit und menschliche Aufsicht

Selbstbestimmung und Datenschutz

Inklusives und partizipatives Design

Kulturelle Sensibilität

Risk-Management und Beschwerdemechanismen

Marktkonzentration und Ausschöpfung des Innovationspotenzials

Verteilungswirkung in Zielmärkten

Arbeitsbedingungen und Arbeitsplätze (inkl. Wertschöpfungskette)

Energieverbrauch

CO2- und Treibhausgasemissionen

Nachhaltigkeitspotenziale in der Anwendung

Indirekter Ressourcenverbrauch

Sonstiges

Wird mit Blick auf Ihre KI-Systeme Fairness definiert? (erforderlich)

Ja, wir haben eine grundlegende Definition von Fairness ausformuliert.

Ja, wir definieren Fairness für einige KI-Systeme und deren Anwendungen.

Ja, wir definieren für jedes KI-System und dessen Anwendung Fairness.

Nein, wir haben keine Definition von Fairness

Welche Metriken zur Messung von Fairness und Bias kommen in Ihrer Organisation zum Einsatz bzw. berücksichtigen Sie beim Einkauf von KI-Systemen?

Keine

Equalized Odds (Outcomes)

Equal Opportunities (Resources)

Demographic Parity

Fairness through Awareness

Fairness through Unawareness

Treatment fairness

Test fairness

Subgroup fairness

Counterfactual fairness

Sonstiges

Für wie viel Prozent der in ihrem Unternehmen entwickelten oder eingesetzten KI-Systeme, die Menschen direkt betreffen, kommen Methoden zur Messung von Fairness und Bias zum Einsatz?

Bitte geben Sie eine Zahl von 0 bis 100 ein.

Welche Maßnahmen ergreifen Sie, um die Gefahr von Diskriminierung zu minimieren?

Keine

Verzicht auf geschützte Attribute (wie Ethnizität, Hautfarbe, Herkunft, Religion, Geschlecht, Familienstatus, Behinderung, Alter, Ehestand, Bildungsstand).

Verzicht auf Proxy-Attribute.

Nutzung von repräsentativen Daten.

Sonstiges

Wird durch Schulungen in den KI-Teams ein Bewusstsein für unfaire Entscheidungen/Bias geschaffen?

Nein

Wie viel Prozent der Mitarbeiter*innen in Ihren KI-entwickelnden und KI-einsetzenden Abteilungen sind über 50 Jahre alt?

Bitte geben Sie eine Zahl von 0 bis 100 ein.

Wie viel Prozent der Mitarbeiter*innen in Ihren KI-entwickelnden und KI-einsetzenden Abteilungen sind unter 30 Jahre alt?

Bitte geben Sie eine Zahl von 0 bis 100 ein.

Wie viel Prozent Ihre Mitarbeiter*innen in ihren KI-entwickelnden oder -implementierenden Abteilungen sind weiblich oder identifizieren sich als non-binär?

Bitte geben Sie eine Zahl von 0 bis 100 ein.

Gibt es ein Diversity Management für die Einstellungsprozesse in Ihren KI-relevanten Abteilungen?

Nein

Inklusives und partizipatives Design

An welchen Prinzipien des inklusiven Designs orientieren Sie sich in der Entwicklung Ihrer KI-Systeme bzw. welche Prinzipien sind Voraussetzung dafür, dass Sie ein KI-System einkaufen?

Keine Zugangsbarrieren

Verständlichkeit, Erklärung/Unterstützung

Technische Unterstützung

Nutzungsanreize für benachteiligte Gruppen

Sonstiges

Keine

Werden Ihre KI-Systeme auf verschiedenen Kontinenten eingesetzt?

Nein

Werden in unterschiedlichen kulturellen Kontexten lokale Expert*innen in den Entwicklungsprozess einbezogen?

Nein

Wird in der Planung und Entwicklung berücksichtigt, dass sich KI-Systeme umschulen („retrain“) bzw. anpassen (Parameter) lassen – je nach lokalen oder neuen Anwendungskontexten, Normen und Werten?

Nein

Technische Verlässlichkeit und menschliche Aufsicht

Existieren in Ihrer Organisation Regelungen zu Haftungsaspekten bei möglichen Schäden durch die von Ihnen eingesetzten KI-Systeme?

Nein

Werden bei der Entwicklung, Implementierung oder Nutzung von KI-Systemen in oder durch Ihre Organisation Risiken – z. B. der Diskriminierung, für die Privatsphäre –, Schwachstellen oder Angriffsmöglichkeiten auf das System je nach Anwendungskontext identifiziert, kategorisiert und vorab bewertet? (erforderlich)

Nein

Ja, in Form einer einmaligen Risikobewertung (z. B. in der Konzeptionsphase).

Ja, in Form einer regelmäßigen Risikobewertung.

Ja, durch ein kontinuierliches Monitoring und regelmäßige Überprüfung.

Sonstiges

Ist in Ihrer Organisation oder in den von Ihnen eingesetzten Systemen ein Beschwerdemechanismus implementiert, so dass Privatsphäreeingriffe, Fehler und unfaire Entscheidungen eines KI-Systems bei Verdacht gemeldet werden können? (erforderlich)

Ja, es gibt einen standardisierten Prozess für Beschwerdemöglichkeiten.

Nein, es gibt keine Beschwerdemöglichkeiten.

Existieren bei Ihnen Performance-Kontrollen oder Eingriffsmöglichkeiten, so dass bei problematischen Entwicklungen jederzeit ein Eingreifen in ein KI-System möglich ist (z. B. durch Abbruch, Pausieren, Überschreiben von Ergebnissen o. ä.)?

Nein

Auf welche Qualitätskriterien werden die Daten überprüft, die sie für das Training und die Anwendung Ihrer KI-System einsetzen? (erforderlich)

Keine

Aktualität

Vollständigkeit

Repräsentativität (für die Umgebung, in der die Systeme eingesetzt werden sollen)

Sonstiges

Werden Industriestandards (bspw. ISO 25012, ISO 8000) zur Auditierung der Datensätze angewandt?

Nein

Werden die Trainingsdaten auf Bias geprüft?

Nein

Selbstbestimmung und Datenschutz

Werden KI-Systeme in Ihrer Organisation im Entwicklungsprozess auf Datenminimierung ausgelegt bzw. werden solche Systeme beim Einkauf bevorzugt?

Nein

Welche Privacy und Cyber Security-Maßnahmen werden zum Schutz von Daten und Privatsphäre ergriffen? (erforderlich)

Keine

Data Protection Impact Assessment

Data Protection Officer

Überwachungsmechanismen für die Datenverarbeitung (Log-Function)

Privacy by Design (Verschlüsselung, Aggregation, Anonymisierung)

Datenminimierung

Sonstiges

Werden Nutzer*innen bei der Nutzung oder Interaktion mit Ihren KI-Systeme über die Sammlung, Verarbeitung und Verwendung von Daten informiert? (erforderlich)

Nein, die Sammlung, Verarbeitung und Verwendung von Daten findet für Nutzer·innen unbemerkt statt.

Ja, in einigen Fällen.

Ja, in vielen Fällen.

Ja, in allen Fällen.

In welcher Form erhalten Nutzer*innen bzw. Betroffene Kontrolle über ihre personenbezogenen Daten im Umgang mit den von Ihnen entwickelten oder eingesetzten KI-Systemen?

Nutzer·innen habe in der Regel keine Kontrollmöglichkeit.

Nutzer·innen können in vielen Fällen einer Datennutzung widersprechen.

Nutzer·innen müssen einer Datennutzung zustimmen.

Nutzer·innen haben ein Recht auf Vergessenwerden.

Sonstiges

Verzichten Sie in Ihrer Organisation explizit auf Verhaltensbeeinflussung und Schaffung von Abhängigkeiten beispielsweise durch einen Verzicht auf nudging und dark patterns?

Nein

Marktvielfalt, Ausschöpfung des Innovationspotenzials, Verteilungswirkung

Teilen Sie in Ihrer Organisation Daten z. B. in dem Ihre Daten in offene Datenpools einfließen?

Nein

Stellt Ihre Organisation KI-Technologien open source zur Verfügung?

Nein

Stellen Ihre KI-Systeme Schnittstellen für Drittanbieter oder andere KI-entwickelnde Unternehmen bereit?

Nein

Lassen sich die von Ihnen entwickelten KI-Systeme an unterschiedliche Datenmengen anpassen, so dass es nicht zu accuracy-Unterschieden zwischen großen und kleinen Marktakteuren (bzw. Akteuren mit unterschiedlich großen Datenvolumen) kommt?

Nein

Arbeitsbedingungen und Arbeitsplätze

Entwickeln Sie oder setzen Sie KI-Systeme ein, mit denen Beschäftigte (bei Ihren Kunden oder in Ihrer eigenen Organisation) direkt in Berührung kommen?

Nein

Inwiefern weden vor Einführung einer KI die Auswirkungen auf die Arbeitsbedingungen der Mitarbeiter*innen analysiert? (erforderlich)

Nein, die Auswirkungen auf die Arbeitsbedingungen werden nicht analysiert.

Ja, mit Blick auf übermäßiges Monitoring.

Ja, mit Blick auf Datenschutz.

Ja, mit Blick auf Privatsphäre.

Ja, mit Blick auf Einfluss auf HR & Personalmanagement.

Ja, mit Blick auf Transparenz, Erklärbarkeit und Fairness.

Ja, mit Blick auf Eingriffsmöglichkeiten.

Ja, mit Blick auf Dequalifikation/Monotonisierung.

Ja, mit Blick auf eine Verbesserung der Arbeitsbedingungen (z. B. höherer Schutz, weniger monotone Arbeit).

Sonstiges

Welche Angebote werden Mitarbeitenden im Zuge der Einführung von KI am Arbeitsplatz gemacht?(erforderlich)

Keine

Umschulungs- und Weiterbildungsmaßnahmen

Alternative Einsatzgebiete

Sonstiges

Werden faire Löhne entlang der KI-Wertschöpfungskette gezahlt (z. B. in Bezug auf Datenaufbereitung)?(erforderlich)

Nein

Nicht bekannt

Energieverbrauch, CO2- und Treibhausgasemissionen

Wird der Energieverbrauch und der Emissionsausstoß von KI-Systemen in Ihrer Organisation erfasst?

Nein

Wie hoch ist der Stromverbrauch Ihrer KI-Systeme in kWh?(erforderlich)

Bitte geben Sie eine Zahl größer oder gleich 0 ein.

Wie hoch sind die direkten Emissionen, die durch KI-Systeme in Ihrer Organisation während der Entwicklung und/oder während des Einsatzes verursacht werden? Machen Sie hier gerne exemplarisch Angaben. (Kalkulation z. B. hier: https://mlco2.github.io/impact/)

Entwicklung

Einsatz

Einsatz-Zeitraum

Was ist der prozentuale Anteil an erneuerbaren Energien am für KI-Systeme einzusetzenden Energiebedarf? (erforderlich)

Bitte geben Sie eine Zahl von 0 bis 100 ein.

Wie wird der Energieverbrauch bei der Entwicklung von KI-Systemen oder beim Einkauf von KI-Systemen berücksichtigt?

Ja, durch Methoden zur Komprimierung des Modells (z. B. Quantisierung, Pruning).

Ja, durch den Einsatz von vortrainierten KI-Modellen.

Ja, durch eine Vorabbestimmung der geforderten Modellleistung.

Ja, durch die Bevorzugung einfacher Modelle.

Ja, durch Effizienzoptimierung auf Hardware-Ebene.

Ja, durch die Berücksichtigung der Energieeffizienz bei der Auswahl des Lernverfahrens.

Ja, durch die Minimierung von Trainingsdaten.

Sonstiges

Welche Parameter werden in Ihrer Organisation während Modellentwicklung/-training und -einsatz genutzt, um die Modelleffizienz zu messen? (erforderlich)

Die Modelleffizienz wird nicht gemessen

Gemessener/Berechneter Energieverbrauch beim Trainieren von KI-Modellen

Gemessener/Berechneter Energieverbrauch bei der Inferenz von KI-Modellen

Laufzeit zum Trainieren von KI-Modellen
Anzahl FLOPs (floating point operations): Anzahl der FLOPs die zum Trainieren eines Models nötig sind

Anzahl der Parameter des verwendeten KI-Modells

Ausnutzung der Parameter (%): Effiziente Nutzung der zur Verfügung stehenden Paramenter während des Modelltrainings

Genauigkeit/ Fehleranfälligkeit

Sonstiges

Indirekter Rssourcenverbrauch

Greifen Sie für die Entwicklung und /oder Anwendung der KI-Systeme in Ihrer Organisation auf externe Rechenzentren zurück? Oder nutzen Sie interne Hardware? (erforderlich)

Nur externe Rechenzentren.

Nur interne Hardware.

Kombination aus beidem.

Falls Sie interne Hardware nutzen, wie groß ist ca. der Anteil der intern genutzten Hardware, die zertifiziert ist (z. B. Blauer Engel, Europäisches Umweltzeichen, Energy Star, TCO-Gütesiegel, ECMA-370, EPEAT)? (erforderlich)

Es wird nur zertifizierte Hardware genutzt.

Es wird hauptsächlich zertifizierte Hardware genutzt.

Es wird ca. zur Hälfte nicht-zertifizierte und zertifizierte Hardware genutzt.

Es werden hauptsächlich nicht-zertifizierte Hardware genutzt.

Es wird ausschließlich nicht-zertifizierte Hardware genutzt.

Falls Sie auf externe Hardware zurückgreifen, ist das Rechenzentrum zertifiziert (z. B. Blauer Engel-Zertifizierung)? (erforderlich)

Nein

Nicht bekannt

Werden Metriken zur Bewertung der Ressourceneffizienz von eigenen oder externen Rechenzentren herangezogen (z. B. ISO 30134, Power Usage Effectiveness (PUE), Carbon Usage Effectiveness (CUE) oder Water Usage Effectiveness (WUE))? (erforderlich)

Nein

Nicht bekannt

Wie viel der von Ihnen genutzten Hardware zur Entwicklung und zum Betrieb von KI-Systemen wird von Original Equipment Manufacturers oder Aufarbeitungsunternehmen aufbereitet oder wiederverwendet? (Als Bemessungsgrundlage nutzen Sie bite den gewichtsmäßigen Anteil der insgesamt genutzten Hardware).(erforderlich)

Gar nichts/Wir arbeiten nicht mit Aufarbeitungsunternehmen.

Ein kleiner Anteil der Hardware.

Ca. die Hälfte der Hardware.

Ein Großteil der Hardware.

Die komplette Hardware.

Nicht bekannt

Wie viel der von Ihnen genutzten Hardware zur Entwicklung und zum Betrieb von KI-Systemen wird durch Recyclingunternehmen verarbeitet? (Als Bemessungsgrundlage nutzen Sie bite den gewichtsmäßigen Anteil der insgesamt genutzten Hardware).(erforderlich)

Gar nichts/Wir arbeiten nicht mit Recyclingunternehmen.

Ein kleiner Anteil der Hardware.

Ca. die Hälfte der Hardware.

Ein Großteil der Hardware.

Die komplette Hardware.

Wird in der Entwicklung oder im Einkauf von KI-Systemen berücksichtigt, dass Ihre KI-Systeme auch auf ältere Hardware anwendbar bzw. anpassbar sind, so dass softwarebedingte Hardware-Obsoleszenz vermieden wird?

Nein

Nachhaltigkeitspotenziale in der Anwendung

Entwickeln Sie oder setzen Sie KI-Systeme als Empfehlungs- oder Entscheidungssysteme ein (z. B. Produktempfehlungen, Entscheidungen zu Produktionsoptimierungen)?

Nein

Werden in ihrer Organisation Empfehlungssysteme oder Entscheidungssysteme so konzipiert, dass diese Nachhaltigkeitskriterien wie CO2-Emissionen, Herstellungsbedingungen etc. in ihrer Entscheidungsfindung berücksichtigen?(erforderlich)

Nie

Ja, in wenigen Fällen.

Ja, in vielen Fällen.

Ja, in allen Fällen.

Werden Elemente, die bestimmte Nachhaltigkeitskriterien erfüllen, in den Empfehlungs- oder Entscheidungssystemen stärker gewichtet?

Nein

Werden KI-Systeme in Ihrer Organisation zur Reduzierung des Ressourcenverbrauchs oder zur Förderung eines nachhaltigen Konsums eingesetzt?(erforderlich)

Nein

Ja, bei Verbrauchsgütern (Wasser, Strom etc.) zur Unterstützung der Vermeidung von Müll und Verschwendung.

Ja, bei Verbrauchsgütern durch das Setzen von Anreizen zur Sparsamkeit.

Ja, durch eine präzisere Nachfrage-Kalkulation.

Ja, durch Predictive Maintenance.

Ja, durch Optimierung der Produktionsprozesse (Qualitätskontrolle, Fehlerkontrolle etc.).

Ja, durch automatisierte Materialbeschaffung.

Ja, durch Optimierungen in der Logistik.

Ja, durch Monitoring von Umwelteinflüssen.

Ja, durch Einsparung von Materialien.

Ja, durch Erhöhung der Produktqualität und Lebensdauer

Ja, durch sonstige Maßnahmen

Comments

Dieses Feld dient zur Validierung und sollte nicht verändert werden.

Der Fragebogen zur Selbstbewertung gibt Ihnen Orientierung, wie nachhaltig Ihre KI-Systeme sind und wo Sie nachbessern können.

Das Tool zur Bewertung der Nachhaltigkeit von KI

Organisation

Transparenz und Verantwortungsübernahme

Nicht-Diskriminierung und Fairness

Inklusives und partizipatives Design

Technische Verlässlichkeit und menschliche Aufsicht

Selbstbestimmung und Datenschutz

Marktvielfalt, Ausschöpfung des Innovationspotenzials, Verteilungswirkung

Arbeitsbedingungen und Arbeitsplätze

Energieverbrauch, CO2- und Treibhausgasemissionen

Indirekter Rssourcenverbrauch

Nachhaltigkeitspotenziale in der Anwendung

Kontakt Impressum Datenschutzerklärung

CC BY SustAIn 2023

Gefördert durch

Projektpartner