Recht & IT 24.09.2021, 12:35 Uhr

Unfaire Entscheidungen durch künstliche Intelligenz

Künstliche Intelligenz ist in vielen Bereichen auf dem Vormarsch. Immer mehr Entscheidungen werden zumindest teilweise darauf abgestützt. Doch was passiert, wenn KI auf Basis von Daten urteilt, die unfair oder voreingenommen sind?
Bereits gut trainiert schien auf den ersten Blick der Basketball-Roboter CUE 3 von Toyota. An den Olympischen Spielen versuchte er sich an Freiwürfen und traf den Korb sogar von der Mittellinie aus. Als er einen Tag später nochmals antrat, wollte es allerdings schon nicht mehr klappen. Er hat also wohl doch noch einiges zu lernen
(Quelle: Press Association Images/Martin Rickett)
Zwei Jahre ist es schon her. Aber wer sich mit Machine Learning befasst, wird sich mit Sicherheit noch an eine Studie der Association for Computational Linguistics aus dem Jahr 2019 erinnern: Mit der Methode des «Unsupervised Learning» wertete ein Computer 3,5 Mil­lionen Bücher aus der Zeit zwischen 1900 und 2008 automatisiert aus. Der Datenpool wurde darauf analysiert, wie unterschiedlich Frauen und Männer dargestellt werden.
Die Ergebnisse der Analyse zeigten, dass Frauen hauptsächlich auf ihre Schönheit und ihren Körper reduziert werden, während bei Männern vorwiegend ihre Persönlichkeit und ihr Verhalten beschrieben werden. Die Ergebnisse scheinen Stereotypen zu zementieren, die aus heutiger Zeit betrachtet fehl am Platz sind.

Was zeigt uns diese Studie?

Bei KI handelt es sich vereinfacht gesagt um künstliche neuronale Netze, bestehend aus Algorithmen, die mittels Machine Learning anhand historischer Daten trainiert werden. Mit anderen Worten: Der Computer lernt aus unserer Vergangenheit und entwickelt daraus eigene Methoden, um aktuelle Sachverhalte zu beurteilen.
Die Lernansätze beim Machine Learning lassen sich dabei grob in zwei Gruppen unterteilen: «Supervised Learning» und «Unsupervised Learning» (deutsch: überwachtes und unüberwachtes Lernen). Der Begriff des Über­wachens bezieht sich dabei darauf, ob der Lernfortschritt des neuronalen Netzes geprüft werden kann. So wird beim überwachten Lernen ein Ergebnis definiert, nach dem der Lernfortschritt der KI durch einen «Supervisor» überwacht und beurteilt wird. Bei Fehlurteilen wird hier korrektiv eingegriffen.
Beim unüberwachten Lernen stehen hingegen Zielvorgabe und Wissen über Zusammenhänge nicht fest. Hier wird das Lernen der KI überlassen und in den Lern­prozess nicht korrektiv eingegriffen. Das Lernen findet ausschliesslich auf Datenbasis ohne jegliche Überwachung durch Menschen statt.

Wo liegt die Gefahr?

Weil KI sämtliche Daten als Fakten annimmt und über keinen moralischen oder ethischen Kompass verfügt, läuft sie Gefahr, damit auch Fehlurteile oder fragwürdige Daten aus der Vergangenheit vorbehaltlos zu übernehmen. Aktuelle moralische oder ethische Diskussionen in der Gesellschaft, die eventuell auch erst in jüngster Vergangenheit stattfanden oder aktuell im Gange sind, gehen im Überfluss historischer Daten unter.
Gerade beim unüberwachten Lernen ist dieses Risiko besonders hoch. Aber auch beim Supervised Learning kann es passieren, dass Vorurteile über­sehen werden oder dass der Supervisor durch sein Eingreifen eigene Vorurteile in den Prozess einbringt.

Lässt sich die Datenqualität beeinflussen?

Das Grundproblem sind eigentlich die Datenbasis und die Qualität der Daten, die für das Machine Learning eingesetzt werden. Die Qualität der Datenbasis kann natürlich beeinflusst werden, indem die Daten nach bestimmten Kriterien ausgewählt oder ausgeschlossen werden. Das ist allerdings ein sehr aufwendiger und somit auch teurer Prozess, der zudem zu Verzögerungen führt.
Ausserdem kann sich durch die Selektion die Menge an Daten markant reduzieren, wodurch das Machine Learning entweder wesentlich länger dauert oder aber qualitativ schlechter wird. Denn grundsätzlich gilt: Je mehr Daten vorhanden sind, desto mehr Variationen kennt das System und umso genauer kann es in der Folge entscheiden. Ausserdem besteht auch das Risiko, dass die Person, welche die Auswahl der Daten vornimmt, die eigene Voreingenommenheit und die eigenen Vorurteile einfliessen lässt.

Was bedeutet das für unsere Zukunft?

KI kann in hohem Masse repetitive Vorgänge und insbesondere auch die Beurteilung einfacherer Sachverhalte effi­zienter, schneller und kostengünstiger machen. Es ist auch nicht zu übersehen, dass KI bei der Prüfung und Beurteilung rein sachlicher Informationen oftmals genauer ist als der Mensch, weil sie immer fokussiert ist, nicht von Emo­tionen beeinflusst ist und nie müde wird.
Dagegen sind ihr allerdings Moral und Ethik fremd. Mit anderen Worten: KI wird sich längerfristig immer mehr verbreiten und insbesondere auch Entscheide übernehmen, die bislang durch Menschen getroffen wurden. Und zwar nicht nur in Unternehmen, sondern auch bei Behörden und vielleicht auch einmal bei Gerichten. Damit werden die Auswirkungen von Fehlurteilen oder fragwürdigen Urteilen von KI für unseren Alltag immer relevanter werden.

Kann uns das Gesetz helfen?

Die Datenschutz-Grundverordnung (DSGVO) schreibt in der EU vor, dass einer betroffenen Person bei einer rein automatisierten Entscheidung, die sie erheblich beeinträchtigt oder die für sie rechtliche Auswirkungen hat, das Recht zusteht, den eigenen Standpunkt darzulegen und den Entscheid anzufechten (Art. 22 DSGVO). Eine vergleichbare Regelung sieht in der Schweiz künftig Art. 21 im Datenschutzgesetz (DSG) vor, sobald das neue Gesetz in Kraft tritt.
Zuerst einmal muss die betroffene Person darauf hingewiesen werden, wenn ein Entscheid ausschliesslich auf automatisierter Grundlage beruht. Allerdings nur dann, wenn die betroffene Person durch den Entscheid erheblich beeinträchtigt wird oder er rechtliche Auswirkungen hat. Danach kann die betroffene Person ebenfalls beantragen, ihren Standpunkt zum automatisierten Entscheid darzulegen, und eine Überprüfung durch einen Menschen verlangen.
“Wenn es um künstliche Intelligenz geht, sollten wir uns als Gesellschaft – gerade über die Politik – an der Diskussion zu Ethik und KI beteiligen„
Matthias Ebneter

Was können wir sonst noch tun?

Als Gesellschaft haben wir wenig Einfluss darauf, welche Daten für Machine Learning verwendet und welche Trainingsmethode angewendet wird. Auch können wir die Verbreitung und den Einsatz von KI wohl kaum noch stoppen. Mit anderen Worten: Wir müssen mehr oder weniger mit dem Ergebnis leben und uns nachträglich mit gesetzlichen Mitteln gegen Fehlentscheide und Fehlurteile durch KI wehren. Wichtig scheint mir aber ausserdem, dass wir uns als Gesellschaft – gerade auch über die Politik – an der Diskussion zu Ethik und KI beteiligen. Das gilt vor allem auch im Hinblick auf automatisierte Entscheide durch Behörden, auf die wir auch politischen Einfluss nehmen können.
Verschiedene Unternehmen, die KI entwickeln, haben bereits angefangen, Ethikexpertinnen und -experten in diesem Bereich einzustellen. Allerdings dürften aus meiner Sicht auch Unternehmen noch etwas mehr Gewicht auf ethische Grundregeln und Kontrollmechanismen bei der Entwicklung von KI legen.
Der Autor
Matthias Ebneter
ist Rechtsanwalt mit Spe­zialisierung IT-Recht. Er hat langjährige Erfahrung in den Bereichen geistiges Eigentum, Datenschutz und Vertragsrecht. Heute ist er als Legal Department Manager im Bereich Content & Digitalization bei SAP tätig und leitet ein LegalTech-Team. Ebneter ist Mitglied der Rechtskommission von swissICT. Die Rechtskommission von swissICT berichtet in der Kolumne «Recht & IT» über aktuelle juristische Themen im digitalen Bereich.



Das könnte Sie auch interessieren