Dr. Hanne Roggemann war am 29.05. zu Gast bei der Veranstaltungsreihe „Digitaler Salon“ in Berlin. Unter dem Titel „Damage Control“ wurden verschiedene Aspekte rund ums Thema Kreditvergabe diskutiert. Die Veranstaltung fand im Rahmen des von der Mercator Stiftung geförderten Forschungsprojekts Human in the loop? statt. 

Im Rahmen der Runde lag der Fokus unter anderem auf den folgenden Themen: Welche Informationen fließen in eine Kreditentscheidung beim Kreditgeber ein. Welche Rolle spielt Maschine und Mensch bei der Kreditentscheidung und was sind die Konsequenzen für die Verbraucher:innen.

Nach einem Intro von Theresa Züger, (AI & Society Labs) diskutierte Hanne Roggemann – moderiert von Katja Weber (radioeins/rbb, Deutschlandfunk Nova) – mit Aline Weidner (Commerzbank AG) und Raphael Rohrmoser (ADVOADVICE).

Über das System der Kreditvergabe ist wenig bekannt. Verbraucher:innen können wenig darüber erfahren, warum ein Kreditantrag negativ ausfällt und schon gar nicht, warum der Kredit zu eben Konditionen vergeben wurde. Die Entscheidung, ob und zu welchen Konditionen ein Kredit gewährt wird, ist je nach Höhe automatisiert. Kritisch diskutiert wurden in der Runde immer wieder Aspekte wie Umzüge oder die Anzahl der Kreditkarten, denn es ist nicht wirklich erklärbar, warum und wie diese Themen bei der Kreditvergabeentscheidung eine Rolle spielen. Wenn Entscheidungsgründe für Kreditzugang und Kreditkonditionen nicht bekannt sind, dann ist es auch schwer individuelle und systematische Missstände anzuprangern. Hanne Roggemann verwies in der Diskussion insbesondere auf die Gefahr der Benachteiligung bestimmter Gruppen wie z.B. Personen, die nach Deutschland kommen und bisher keine Kredithistorie haben Kreditentscheidungen.

Eine Aufzeichnung ist in Kürze hier verfügbar.

Das iff beruft Prof. Dr. Anne Riechert zum 15.11.2023 zur Forschungsdirektorin für den Bereich KI und Digitalisierung

Prof. Dr. Anne Riechert ist promovierte Juristin, Vorstandsmitglied im Netzwerk AI Frankfurt Rhein-Main e.V. und war Professorin für Datenschutz und IT-Recht an der Frankfurt University of Applied Science. Die Datenschutz-Expertin war zuvor unter anderem wissenschaftliche Leiterin der Stiftung Datenschutz und Mitglied des interdisziplinären Beirats für Beschäftigtendatenschutz, der vom Bundesministerium für Arbeit und Soziales im Jahr 2020 eingerichtet wurde. Sie ist Autorin unterschiedlicher Fachbeiträge und Herausgeberin eines Kommentars zum Telekommunikation-Telemedien-Datenschutz-Gesetz, der im Jahr 2022 in der Berliner Kommentarreihe des ESV-Verlags erschienen ist (Riechert/Wilmer, Kommentar zum TTDSG). Im Rahmen des vom BMWK geförderten Konsortiums EuroDaT untersucht sie derzeit datenschutzrechtliche Fragestellungen von Datentreuhändern im Finanzsektor. Am iff arbeitet Frau Riechert außerdem am Projekt zum Thema Kreditwürdigkeitsprüfung bei Verbraucher:innen mit.

Wir freuen uns über die künftige Zusammenarbeit. Sie erreichen Prof. Dr. Anne Riechert unter: anne.riechert@iff-hamburg.de

Im Auftrag der Stiftung Datenschutz hat das iff die Potentiale von und Herausforderungen durch den Einsatz von Künstlicher Intelligenz (KI) und Algorithmen untersucht. Es sollte analysiert werden, ob sich aus den Diskriminierungsrisiken von KI und Algorithmen neuer Schutzbedarf ergibt und wie die KI und Algorithmen anhand der Ziele des Antidiskriminierungsrechts zu gestalten und einzusetzen sind.

Das Gutachten erörtert zunächst, nach einer Einleitung zu technischen Grundlagen und Quellen des Antidiskriminierungsrechts, den Geltungsbereich des Allgemeinen Gleichbehandlungsgesetzes (AGG). Hierbei hat sich das Gutachten, auf Grund der Relevanz und Häufigkeit von KI bei dem Zugang zu Finanzdienstleistungen sowie der Unterschiedlichkeit bei der Anwendung des AGG in Bezug auf die verschiedenen Finanzdienstleistungen, für die konkretisierenden Beispiele vor allem auf den Bereich der Privatversicherungs- und Verbraucherdarlehensverträge bezogen. Diesen Erläuterungen folgt eine Analyse zu dem Begriff der Diskriminierung aus juristischer (unmittelbar / mittelbar) und ökonomischer (präferenzbedingt / statistisch) Perspektive.

Im Kapitel zu KI-spezifischen Chancen und Risiken hat das Gutachten festgestellt, dass das größte Potential von KI-Systemen in der Beseitigung von präferenzbedingten, unmittelbaren Diskriminierungen liegen. Die Grundvoraussetzung für diesen Nutzeffekt ist dennoch, dass die lernenden Algorithmen und die Trainingsdatensätze der KI-Systeme keine diskriminatorischen Qualitätsdefizite aufweisen. Diese Qualitätsdefizite können aus den persönlichen Abneigungen und Vorurteilen von programmierenden Personen oder aus der inadäquaten Zusammensetzung von Datensätzen entstehen. Insbesondere das Qualitätsdefizit der Trainingsdatensätzen ist auch die grundlegende Ursache für statistische Diskriminierungen, die aus der antidiskriminierungsrechtlicher Perspektive eine neue Herausforderung darstellen.

Die größte Schutzlücke stellt der Nachweis von Diskriminierungen durch die KI-Systeme.  Insbesondere für Menschen ohne Fachkenntnisse über KI und Algorithmen ist es unmöglich nachzuvollziehen und daher nachzuweisen, ob und wie der Einsatz von KI-Systemen zu Diskriminierungen führen können. Als Lösungsansatz weist das Gutachten auf die Algorithmen-Audits hin, die bereits in der Literatur vorgeschlagen werden. Da jedoch für solche Audits nicht nur wissenschaftliche und technologische Expertise, sondern auch personelle sowie finanzielle Ressourcen erforderlich sind, wird im Gutachten für das Verbandsklagerecht für die Antidiskriminierungsverbände plädiert.

Für weitere Fragen steht Ihnen Frau Dr. Duygu Damar zur Verfügung.

Foto: RS-Studios – stock.adobe.com