Algorithmen können Menschen unter anderem aufgrund von Alter, Geschlecht oder Hautfarbe diskriminieren, wenn zum Beispiel die Daten, mit denen die Modelle trainiert wurden, einen Bias (also eine Verzerrung) enthalten und gesellschaftliche Vorurteile reproduzieren. Um solche diskriminierenden Effekte zu vermeiden, wird die Fairness von Modellen gemessen und getestet. Die verschiedenen statistischen Ansätze dazu werden als Fairness-Metriken bezeichnet. Mit diesen Messgrößen kann beispielsweise die Wahrscheinlichkeit von vorteilhaften Entscheidungen des Algorithmus für Gruppen mit verschiedenen demographischen Merkmalen wie Alter oder Einkommen gemessen werden, oder auch geprüft werden, ob die Genauigkeit des Modells für verschiedene Subgruppen gleich ist (zum Beispiel ob die Ergebnisse von Kreditwürdigkeitsprüfungen erhebliche Abweichungen zwischen männlichen und weiblichen Personen zeigen). In der Online-Bibliothek Tensorflow werden verschiedene Messverfahren für Fairness aufgeführt. Der Messbarkeit von Fairness sind allerdings Grenzen gesetzt, da viele Einflussgrößen nur schwer quantifizierbar sind. Aus diesem Grund ist es wichtig, Fairness klar zu definieren und schützenswerte Gruppen anhand von geschützten Attributen wie Ethnizität, Herkunft oder Hautfarbe zu benennen.