Eine Analyse der EU-KI-Verordnung

1. Einleitung

Künstliche Intelligenz (KI) hat sich in den vergangenen Jahren als transformative Technologie etabliert, deren Einsatzbereiche von der medizinischen Diagnostik über die Finanzindustrie bis hin zur Personalauswahl reichen und sich auch zunehmend auf Justiz und Verwaltung erstreckt. Durch die Analyse großer Datenmengen sollen KI-Systeme Prozesse effizienter gestalten, verlässlichere Prognosen ermöglichen und menschliche Fehlentscheidungen reduzieren. Zugleich treten mit der zunehmenden Delegation von Entscheidungsprozessen an algorithmische Systeme erhebliche Risiken zutage. Eines der zentralen Probleme ist das Phänomen des sogenannten „Bias“, also von systematischen Verzerrungen, die bestehende gesellschaftliche Ungleichheiten fortschreiben oder neue Formen der Diskriminierung erzeugen können. Die Problematik wird seit Jahren insbesondere von Angehörigen von ohnehin schon von Diskriminierung betroffenen Gruppen hervorgehoben. So gründete die Aktivistin und MIT-Forscherin Dr. Joy Buolamwini bereits 2016 die Algorithmic Justice League, die seither auf die Gefahren algorithmischer Benachteiligung aufmerksam macht.

Mit der Verordnung (EU) 2024/1689, der sogenannten KI-Verordnung (KI-VO), hat die Europäische Union einen erstmals umfassenden Rechtsrahmen geschaffen, der den Herausforderungen von KI begegnen soll. Der vorliegende Beitrag untersucht, in welcher Weise die Verordnung Bias in KI-Systemen adressiert, welche regulatorischen Instrumente zur Minimierung von Bias vorgesehen sind und an welchen Stellen der normative Rahmen Schwachstellen aufweist.

Nach einer Darstellung der technischen Ursachen von Bias (2.) werden die einschlägigen Regelungen der KI-VO analysiert (3.) und sodann einer juristischen Bewertung unterzogen (4.). Ein abschließender Abschnitt fasst die gewonnenen Erkenntnisse zusammen (5.).

2. Was ist Bias uns wie entsteht er?

Der Begriff Bias beschreibt vorliegend eine systematische Ungleichbehandlung einzelner Gruppen durch KI-Systeme, die in erster Linie durch statistische Verzerrungen in den zu Grunde liegenden Datensetzen ausgelöst wird¹.

Bias kann erhebliche Folgen haben. So kann Personen, die von diskriminierenden Entscheidungen betroffen sind, zu Unrecht der Zugang zu Leistungen, Chancen und Ressourcen verwehrt werden. Daneben können auch wirtschaftliche Schäden entstehen, da fehlerhafte Ausgaben von KI-Systemen Geschäftsprozesse stören können und zu unternehmerischen Fehlentscheidungen führen können.

a. Funktionsweise von KI-Systemen

Um die technischen Ursachen von Bias zu nachvollziehen zu können, ist zunächst ein grundlegendes Verständnis der Funktionsweise von KI-Systemen erforderlich.

Nach Art. 3 Nr. 1 KI-VO ist ein KI-System ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist, nach seiner Inbetriebnahme anpassungsfähig sein kann und aus den erhaltenen Eingaben Ausgaben wie Vorhersagen, Empfehlungen oder Entscheidungen ableitet. Im Kern unterscheidet sich ein KI-System damit grundlegend von herkömmlicher Software. Während klassische Programme ausschließlich feste, von Menschen definierte Regeln ausführen, basiert ein KI-System auf einem statistischen Lernprozess. Es analysiert große Datenmengen, erkennt darin wiederkehrende Muster und entwickelt daraus ein Modell, das zukünftige Eingaben im Lichte dieser Muster interpretiert. Die erzeugten Ergebnisse sind daher nicht deterministisch festgelegt, sondern probabilistisch. Sie beruhen auf Wahrscheinlichkeiten, die das System aus den zuvor gelernten Zusammenhängen ableitet. Zugleich kann sich das System nach seiner Inbetriebnahme weiter anpassen, indem es neue Daten einbezieht oder seine internen Gewichtungen verändert². Für das Verständnis der späteren Bias-Problematik ist bedeutsam, dass ein KI-System deshalb nicht nur das lernt, was ausdrücklich intendiert ist, sondern zugleich all jene Strukturen reproduziert, die in den zugrunde liegenden Daten angelegt sind. Verzerrungen können somit in jeder Phase der Modellbildung auftreten – von der Auswahl der Trainingsdaten über die Entwicklung und Konstruktion des Modells bis hin zur Nutzung im konkreten Anwendungskontext. Im Folgenden sollen die wichtigsten Bias-Formen in KI-Systemen beispielhaft dargestellt werden.

b. Bias bei der Datenerhebung

Zunächst können sich Verzerrungen bereits in der Datenerhebung und -präparation ergeben. Dies ist die grundlegendste und kritischste Phase, da KI-Modelle statistische Zusammenhänge aus den Trainingsdaten erkennen und darauf basierend Vorhersagen treffen. Verzerrungen in dieser Phase können sich durch das Training auf das KI-System übertragen. Ein prominentes Beispiel für den sogenannten historischen Bias bei der Datenerhebung ist der Fall Amazon. Eine KI, die zur Unterstützung der Bewerber:innenauswahl eingesetzt werden sollte, wurde mit Daten trainiert, die aus einer Zeit stammten, in der in dem Unternehmen deutlich mehr Männer als Frauen eingestellt wurden. Dadurch wurde diese Präferenz ungewollt auch in die Auswahlentscheidung der KI mit einbezogen, sodass die Bewerbungen von Frauen durch das System grundsätzlich schlechter bewertet wurden als die von Männern³.

Noch Grundrechtsintensiver ist der Bias, der 2016 in einer Studie zum „Correctional Offender Management Profiling for Alternative Sanctions (COMPAS)“-Algorithmus entdeckt wurde. Dieser kommt in der US-Justiz unter anderem im Rahmen der richterlichen Strafzumessung und bei Bewährungsentscheidungen zum Einsatz. Er soll mithilfe eines Punktesystems das Rückfallpotenzial von Straftäter:innen festlegen. Die Studie legte offen, dass die Prognosen insofern diskriminierend waren, als dass Schwarze Personen und People of Color häufiger eine fälschlicherweise zu negative Prognose erhielten als weiße Menschen, die im Gegensatz dazu fälschlicherweise zu positive Prognosen bekamen⁴. Die Ursache wird hier neben den historisch diskriminierenden Trainingsdaten, die auf einer rassistisch geprägten Strafverfolgung beruhen, auch in verschiedenen methodischen Entscheidungen vermutet. So kann die Gewichtung von Merkmalen - wie vorherige Verhaftungen und Verhaftungen von Freund:innen und Verwandten, deren Relevanz für das Vorhersageproblem höchst umstritten ist - zu fehlerhaften Ergebnissen führen, die bestehende Diskriminierungen und Vorurteile zementieren⁵. 

c. Bias bei der Entwicklung und Evaluation

Das vorherige Beispiel zeigt, dass Bias nicht nur bei der Datenerhebung, sondern auch bei der Entwicklung und Konzeption eines KI-Systems in Form des sogenannten algorithmischen Bias entstehen kann. Wenn die durch die Entwickler:innen genutzten Methoden bereits vorurteilsbehaftet sind, leben diese Vorurteile in den Systemen fort⁶.

Auch können beispielsweise Entscheidungen bei der Evaluationsmethodik oder der Evaluationsdatensätze zu einem sogenannten Evaluation-Bias führen. So wurde zum Beispiel für die Bewertung von Gesichtserkennungssystemen eine Bilddatenbank genutzt, die zu fast 80 % aus hellhäutigen Gesichtern bestand. Die mit diesem Datensatz evaluierten KI-Systeme hatten dementsprechend einen Bias gegenüber Menschen mit dunkler Hautfarbe und konnten diese schlechter unterscheiden oder gar nicht erkennen⁷. 

d. Bias bei der Nutzung eines KI-Systems

Zuletzt kann Bias auch erst bei der Nutzung eines KI-Systems entstehen. Der sogenannte Ranking-Bias entsteht dadurch, dass Ergebnisse, die in einer Auflistung weiter vorne stehen, eher von Nutzer:innen wahrgenommen und angeklickt werden. Hier können bei KI-Systemen, die als Suchmaschinen oder Empfehlungssystem genutzt werden, Verzerrungen entstehen, die sich dann durch die häufige Interaktion der Nutzer:innen mit den zuerst gelisteten Optionen i.d.R. auch noch selbst verstärken.

Ein wichtiger psychologischer Effekt bei der Nutzung von KI-Systemen, der alle bisher genannten Bias-Formen verstärkt, ist der sogenannte Automationsbias. Er beschreibt die Tendenz von Menschen, den Ergebnissen automatisierter Systeme ein überhöhtes Vertrauen entgegenzubringen und diese weniger kritisch zu hinterfragen. Hierbei übernehmen sie im Extremfall sogar Ansichten von Maschinen, obwohl diese der eigenen Expertise widersprechen und offensichtlich falsch bzw. unglaubwürdig sind⁸.

3. Die Regelungen der KI-Verordnung

Nach der kurzen Darstellung der technischen Ursachen wird im Folgenden untersucht, in welcher Weise die KI-VO Bias in KI-Systemen adressiert, und welche regulatorischen Instrumente sind zur Minimierung von Bias vorgesehen sind. 

Der europäische Gesetzgeber hat bei der Erstellung der KI-VO die Risiken von Bias erkannt. So werden beispielsweise die Risiken von historischen Diskriminierungsmustern im Personalmanagement⁹ oder bei der KI-Nutzung durch Justizbehörden und Gerichten¹⁰ explizit in den Erwägungsgründen der Richtlinie beschrieben. Im Gesetzgebungsprozess wurden unter anderem die „Ethikleitlinien für vertrauenswürdige KI“, einer eigens hierfür berufenen Expertengruppe mit eingebunden. Diese Leitlinien enthalten sieben ethische Grundsätze, darunter Vielfalt, Nichtdiskriminierung und Fairness, die darauf abzielen, diskriminierende Auswirkungen und unfaire Verzerrungen zu verhindern¹¹.

a. Der Risikobasierte Ansatz

In der Systematik der KI-VO spiegeln sich die Erkenntnisse der Expertengruppe im sogenannten Risikobasierten Ansatz wider¹², nach dem sich die Intensität der Regulierung am Gefährdungspotenzial einer Anwendung orientiert. Besonders sensible oder grundrechtsrelevante Einsatzbereiche werden entweder als verbotene Praktiken (Art. 5 KI-VO) oder als Hochrisiko-KI-Systeme (HRAIS) (Art. 6 KI-VO) eingestuft. Verbotene Praktiken umfassen z.B. das Verbot der Emotionserkennung am Arbeitsplatz und in Bildungseinrichtungen (Art. 5 Abs. 1 lit. f KI-VO). Hierbei kam der Gesetzgeber zu dem Schluss, dass eine diskriminierungsfreie KI auf diesem Gebiet gar nicht möglich ist, da sich Gefühlsausdrücke je nach Kultur oder Situation und selbst bei ein und derselben Person erheblich unterscheiden können¹³. Auch die Bewertung des Risikos, dass eine Person eine Straftat begeht, ausschließlich auf der Grundlage des Profiling oder der Bewertung ihrer persönlichen Merkmale und Eigenschaften durch ein KI-System vorzunehmen, ist gem. Art. 5 Abs. 1 lit. d KI-VO verboten. Ein Scoringsystem entsprechend dem in der US-Justiz verwendeten COMPAS wäre hiernach somit nicht erlaubt¹⁴.

HRAIS gem. Art. 6 Abs. 2 i.V.m. Anhang III KI-VO umfassen Anwendungen in Biometrie, kritischer Infrastruktur, Bildung, Beschäftigung, öffentlichen und privaten Dienstleistungen, Strafverfolgung, Migration, Asyl, Grenzkontrolle, sowie Rechtspflege und demokratischen Prozessen. Ein Bias in diesen Systemen wird als besonders gefährlich eingestuft, da sie signifikante Auswirkungen auf die Grundrechte der Betroffenen sowie die Sicherheit, die soziale Gerechtigkeit und die demokratischen Prozesse in der EU haben. Hier können Verzerrungen zu Diskriminierung, ungleicher Behandlung und zu Vertrauensverlust in zentrale gesellschaftliche Institutionen führen¹⁵

Systeme mit geringem oder minimalem Risiko sind hingegen weitgehend frei nutzbar und unterliegen lediglich begrenzten Transparenzpflichten oder freiwilligen Verhaltenskodizes.

b. Regelungen mit Bias Bezug

Während die KI-Verordnung Bias grundsätzlich auf mehreren Ebenen reguliert, werden die rechtsverbindlichen Pflichten für Betreiber¹⁶ und Anbieter¹⁷ hauptsächlich auf HRAIS angewendet. Im Folgenden soll nun dargelegt werden, welche Regelungen der KI-VO die zuvor beschriebenen Bias-Formen adressieren. 

aa. Regulierung der Datenerhebungsphase

Die Zentrale Vorschrift der KI-VO zum Thema Bias, und auch die einzige, in der dieser explizit genannt wird, ist der Artikel 10. Er ist nur auf HRAIS anwendbar und schreibt für diese ein umfassendes Regelwerk zur Datenqualität- und Verwaltung vor (Daten-Governance).

Hiermit greift die VO den wichtigsten Entstehungsort von Bias auf, nämlich die Datenerhebungs- und Präparationsphase. So müssen für Trainings-, Validierungs- und Testdatensätze Verfahren zur Untersuchung im Hinblick auf mögliche Verzerrungen , die die Gesundheit und Sicherheit von Personen beeinträchtigen, sich negativ auf die Grundrechte auswirken oder zu einer nach EU-Recht verbotenen Diskriminierung führen könnten , etabliert werden (Artikel 10 Abs. 2 lit. f KI-VO).Auch Maßnahmen zur Erkennung, Verhinderung und Abschwächung der ermittelten Verzerrungen müssen entwickelt werden (Artikel 10 Abs. 2 lit. g KI-VO). Hierdurch soll dem Risiko von Verzerrungen z.B. durch historischen Bias aber auch durch Bias durch unvollständige oder nicht-repräsentative Datenerhebung (sog. Representation Bias) entgegengewirkt werden. Auf diese Weise soll gewährleistet werden, dass das KI-System nicht selbst zur Quelle diskriminierender oder verzerrter Ergebnisse wird und sich bereits bestehende Diskriminierungen fortschreiben und verstärken¹⁸.

Zentraler Bestandteil dieser Vorschrift ist das Gebot der Qualität und Repräsentativität der verwendeten Datensätze. Diese müssen gemäß Art. 10 Abs. 3 KI-VO für den jeweiligen Anwendungszweck relevant, hinreichend repräsentativ, soweit möglich fehlerfrei und vollständig sein. 

Bemerkenswert ist schließlich, dass die KI-Verordnung mit Art. 10 Abs. 5 KI-VO eine spezifische Rechtsgrundlage für die Verarbeitung besonderer Kategorien personenbezogener Daten im Sinne von Art. 9 Abs. 1 DSGVO¹⁹ schafft, sofern diese Verarbeitung unbedingt erforderlich ist, um Verzerrungen in Hochrisiko-KI-Systemen zu identifizieren oder zu korrigieren. Damit trägt der Unionsgesetzgeber dem Spannungsverhältnis zwischen Datenschutz und erforderlicher Datenqualität Rechnung und erkennt an, dass der Schutz vor algorithmischer Voreingenommenheit mitunter den gezielten Einsatz sensitiver Daten voraussetzt.

bb. Regulierung der Entwicklungsphase

Da sich die Daten-Governance-Regeln aus Art. 10 KI-VO auch auf Validierungs- und Testdatensätze beziehen, ist hiervon auch die Entwicklungsphase der KI-Systeme betroffen. So soll verhindert werden, dass – wie in dem Beispiel der Gesichtserkennung - durch nicht-repräsentative Validierungsdatensätze erst auf der Entwicklungsebene ein Evaluation-Bias entsteht.

Darüber hinaus müssen Anbieter von HRAIS die Entwurfsspezifikationen des Systems, einschließlich der Entwurfsentscheidungen und der erwarteten Genauigkeitsgrade bei bestimmten Personen oder Personengruppen dokumentieren (Art. 11 Abs. 1 i.V.m Anhang IV Nr. 2 lit. b KI-VO). Dies ermöglicht die spätere Überprüfung von Evaluations-Bias oder algorithmischem Bias durch Aufsichtsbehörden.

cc. Regulierung der Nutzungsphase

Die KI-VO enthält auch Maßnahmen, um Verzerrungen während der Nutzungsphase von KI-Systemen zu begrenzen. So adressieren die Regelungen in Art. 14 KI-VO den zuvor beschriebenen Automationsbias. HRAIS müssen so gestaltet sein, dass eine wirksame menschliche Aufsicht jederzeit möglich ist. Die eingesetzten Kontrollmechanismen sollen sicherstellen, dass die Betreiber sich der Gefahr eines übermäßigen Vertrauens in die automatisierten Ergebnisse bewusst sind. Sie müssen in der Lage sein, die Ausgaben des KI-Systems zu ignorieren, zu korrigieren oder rückgängig zu machen, falls diese offensichtlich fehlerhaft oder ungeeignet sind.

c. Überwachung und Sanktionierung

Die KI-VO sieht Überwachungsbehörden auf europäischer sowie nationaler Ebene vor. Dabei ist die unionsweite Aufsicht durch das sog. Büro für Künstliche Intelligenz (AI-Office) als Teil der Kommission hauptsächlich für die Überwachung und Durchsetzung der Pflichten von Anbietern von KI-Modellen mit allgemeinem Verwendungszweck (General Purpose AI) zuständig (Art. 88 Abs. 1 KI-VO).

Für die Überwachung aller anderen KI-Systeme sind die nationalen Marktüberwachungsbehörden zuständig, die jeder EU-Mitgliedstaat selbst ernennen muss (Art. 70 Abs. 1 KI-VO). Nach dem derzeitigen Referentenentwurf für das Gesetz zur Durchsetzung der KI-VO soll in Deutschland hierfür die Bundesnetzagentur zuständig sein, bei der für einige Aufgaben eine unabhängige KI-Marktüberwachungskammer eingerichtet werden soll²⁰.

Den nationalen Behörden werden für den Fall, dass ein begründeter Verdacht eines Risikos vorliegt, umfangreiche Befugnisse zugesprochen. So können sie technische Prüfungen vornehmen und Korrekturmaßnahmen von Akteuren verlangen (Art. 79 Abs. 2 KI-VO), Marktverbote oder Beschränkungen anordnen (Art. 79 Abs. 5 KI-VO) und insbesondere auch den Zugang zu Dokumentationen, Trainings-, Validierungs- und Testdatensätzen verlangen (Art. 74 Abs. 12 KI-VO). In begründeten Ausnahmen können sie sogar den Quellcode des HRAIS verlangen (Art. 74 Abs. 13 KI-VO).

Für den Fall, dass die Betreiber oder Anbieter den Anweisungen der Marktüberwachungsbehörde nicht nachkommen, können Bußgelder in Höhe von bis zu 15 Mio. € oder 3 % des gesamten weltweiten Jahresumsatzes des Vorjahres verhängt werden – je nach Schwere des Verstoßes (Vgl. Art. 99 Abs. 4 KI-VO²¹).

4. Juristische Bewertung und Herausforderungen

Die KI-Verordnung erkennt das Problem von Bias grundsätzlich zutreffend als eine zentrale Herausforderung der KI-Regulierung an, greift jedoch in mehrfacher Hinsicht zu kurz. Zwar enthält sie für HRAIS ein detailliertes Regelungsgefüge, doch verbleiben erhebliche Regelungslücken in anderen Anwendungsbereichen sowie Mängel in der Durchsetzbarkeit und dem Individualrechtsschutz.

a. Positive Ansätze und regulatorische Fortschritte

Positiv hervorzuheben ist, dass die KI-VO für HRAIS verbindliche und inhaltlich anspruchsvolle Pflichten vorsieht. Die Bias-bezogenen Anforderungen des Art. 10 KI-VO schaffen erstmals einen unionsweit harmonisierten Standard für Datenqualität und -repräsentativität. Zudem verlangt die Verordnung eine kontinuierliche Überwachung und Aktualisierung des Systems über den gesamten Lebenszyklus hinweg. Ergänzend verpflichtet Art. 27 KI-VO Betreiber von HRAIS zur Durchführung einer Grundrechte-Folgenabschätzung, um potenzielle negative Auswirkungen auf schutzbedürftige Gruppen bereits vor der Inbetriebnahme zu identifizieren und zu bewerten. Die Dokumentationspflichten (Art. 12 KI-VO) und Transparenzvorgaben (Art. 13 KI-VO) fördern darüber hinaus die Nachvollziehbarkeit der Systemlogik und erleichtern zumindest theoretisch die Kontrolle durch Aufsichtsbehörden oder betroffene Personen.

b. Regelungslücken im risikobasierten Ansatz

Eine erhebliche Regelungslücke ergibt sich jedoch schon aus dem risikobasierten Ansatz. Zwar identifiziert die KI-VO zutreffend Systeme mit besonders hohem Gefährdungspotenzial und setzt bei HRAIS vergleichsweise hohe Anforderungen auch an die Bias-Verhinderung. Der überwiegende Teil der KI-Systeme fällt jedoch in die Kategorie des geringen oder minimalen Risikos und ist somit von den strengen Pflichten des Kapitels III, insbesondere der Art. 10 KI-VO, ausgenommen. Für diese Systeme setzt der europäische Gesetzgeber auf freiwillige Verhaltenskodizes, die Anbieter ermutigen, sich an den Vorgaben für HRAIS zu orientieren oder zusätzliche Maßnahmen – etwa zur inklusiven Gestaltung und zur Vermeidung negativer Auswirkungen auf schutzbedürftige Gruppen – umzusetzen²². Damit hängt die tatsächliche Wirksamkeit der Bias-Minderung in diesem Bereich allein von der freiwilligen Selbstverpflichtung der Anbieter ab.

c. Forschung, Entwicklung, Militär und Sicherheit

Auch in der Forschungs- und Entwicklungsphase verbleibt eine wesentliche Lücke. Nach Art. 2 Abs. 8 KI-VO gilt die Verordnung nicht für Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen oder -Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden. Damit entzieht sich ein zentraler Abschnitt des KI-Lebenszyklus – in dem insbesondere historischer Bias oder Repräsentationsbias durch die Auswahl und Strukturierung von Datensätzen entstehen kann – der unmittelbaren Regulierung und eine präventive Kontrolle in der frühen Entwicklungsphase entfällt.

Darüber hinaus schließt die Verordnung bestimmte sicherheitsrelevante Bereiche vollständig vom Anwendungsbereich aus. Gemäß Art. 2 Abs. 3 KI-VO gelten ihre Vorschriften nicht für KI-Systeme, die ausschließlich für militärische, Verteidigungs- oder nationale Sicherheitszwecke in Verkehr gebracht oder verwendet werden. Gerade in diesen sensiblen Anwendungsfeldern können diskriminierende Fehlentscheidungen jedoch besonders gravierende Folgen haben. Dies ist vor allem vor dem Hintergrund der wachsenden Nutzung von KI-basierten teil- bis vollautonomen Waffensystemen beunruhigend. Auch besteht bei der Frage, welche Bereiche zur Nationalen Sicherheit gehören, traditionell ein Ermessensspielraum der Mitgliedstaaten, der auch immer wieder ausgereizt wird. Hier ist fraglich, ob dadurch eine Anwendungsausnahme zu den Hochrisiko-Bereichen Strafverfolgung und Migration, Asyl und Grenzkontrollen bestehen könnte²³.

d. Lücken in der Rechtsdurchsetzung

Außerdem fehlt es der KI-VO an wirksamen Rechtsdurchsetzungsmechanismen insbesondere von durch Algorithmen benachteiligte Individuen. Zwar enthält sie Dokumentations- und Nachbesserungspflichten. Allerdings haben Betroffene keine Möglichkeiten bspw. entsprechend der Betroffenenrechte der DSGVO bei einem Verdacht auf einen diskriminierenden Algorithmus Einsicht in die Dokumentationen zu erhalten oder Nachbesserung zu fordern. Dieses Recht haben allein die Marktüberwachungsbehörden, deren Tätigkeit maßgeblich von deren Ausstattung und Kompetenz abhängt. Auch fehlt es an Regelungen wie die Beweislastumkehr oder Kausalitätserleichterung, wie sie etwa im Verbraucherrecht Antidiskriminierungsrecht (AGG) vorgesehen sind und der Asymmetrie zwischen betroffenen Personen und den Nutzer:innen von Algorithmen Rechnung tragen²⁴.

e. Technische Grenzen

Zuletzt wird die Wirksamkeit der KI-VO auch durch technische Grenzen eingeschränkt. So legt die KI-VO im Rahmen ihres Anwendungsbereichs zwar hohe, verbindliche technische Anforderungen fest, um die Risiken von Hochrisiko-KI-Systemen zu minimieren. Diese treffen jedoch in der Umsetzung auf praktische Grenzen. Es gibt zwar einige statistische und technische Möglichkeiten, um KI-Systeme und Datensätze auf bestimmte Bias-Formen zu überprüfen und bestehenden Verzerrungen entgegenzuwirken²⁵. Allerdings kann keine dieser Methoden die Mitigation von Bias garantieren²⁶. Auch kann Bias gerade in komplexen Systemen in extrem vielen Dimensionen vorliegen. Ebenso komplex wird dadurch die Erkennung von Bias, die theoretisch für jeden denkbaren Anwendungsfall separat erfolgen muss²⁷. Insoweit ist die Frage, welche Überprüfungsmaßnahmen technisch möglich und den Akteuren im Einzelfall zumutbar sind.

Unabhängig davon liegt ein technologisches Dilemma darin, dass sich verschiedene Fairnessziele – etwa eine möglichst gleiche Behandlung aller Gruppen und eine hohe Vorhersagegenauigkeit – nicht immer gleichzeitig erfüllen lassen. Zwischen diesen Zielen kann es Zielkonflikte geben, die technisch nicht vollständig auflösbar sind. Insoweit ist die Frage, ob und wie KI-Systeme gerade in öffentlichen und demokratischen Prozessen eingesetzt werden, immer auch eine politische und ethische Frage, sodass es Prozesse und Institutionen bedarf, die diese Fragen immer neu aushandeln²⁸.

5. Fazit

Insgesamt stellt die KI-Verordnung einen bedeutenden Fortschritt im unionsrechtlichen Schutz vor algorithmischer Diskriminierung dar. Die in Art. 10 KI-VO verankerten Anforderungen schaffen die notwendigen Rahmenbedingungen für die Erkennung, Verhinderung und Abschwächung von Bias und verbessern die rechtliche Kontrolle von Datenqualität und Systemgestaltung erheblich. Gleichwohl gewährleistet das bestehende Regelungskonzept keinen flächendeckenden Schutz. Die Konzentration auf Hochrisiko-Systeme, das Fehlen zwingender Vorschriften für Forschung, Militär und Niedrigrisiko-Anwendungen sowie die mangelnden Durchsetzungsmöglichkeiten für betroffene Individuen schränken die Effektivität der Bias-Prävention erheblich ein. Damit bleibt abzuwarten, ob und inwieweit die KI-VO in der praktischen Anwendung tatsächlich ein wirksames Instrument zur Sicherung algorithmischer Fairness und zum Schutz vor Diskriminierung darstellen wird.

1 BSI, „Bias in der künstlichen Intelligenz“, 2025, S. 5, abrufbar unter https://www.bsi.bund.de/SharedDocs/Downloads/DE/BSI/KI/Whitepaper_Bias_KI.pdf?__blob=publicationFile&v=5, (zuletzt abgerufen am 27.11.2025).

2 Vgl. Erwägungsgrund (12) KI-VO.

3 Nickel, Amazon verwirft sexistisches KI-Tool für Bewerber, Golem, 11.10.2018, abrufbar unter https://www.golem.de/news/machine-learning-amazon-verwirft-sexistisches-ki-tool-fuer-bewerber-1810-137060.html, (zuletzt abgerufen am 27.11.2025).

4 Angwin et al., Machine Bias, Pro Publica, 23.05.2016, abrufbar unter: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing, (zuletzt abgerufen am 27.11.2025).

5 Vgl. Deutscher Ethikrat, Mensch und Maschine – Herausforderungen durch Künstliche Intelligenz, 2023, S.303 m.W.N, abrufbar unter: https://www.ethikrat.org/fileadmin/Publikationen/Stellungnahmen/deutsch/stellungnahme-mensch-und-maschine.pdf, (zuletzt abgerufen am 27.11.2025).

6 Vgl. BSI, Bias in der künstlichen Intelligenz, S. 9.

7 Buolamwini et al., Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification, 2018, abrufbar unter: https://proceedings.mlr.press/v81/buolamwini18a/buolamwini18a.pdf, (zuletzt abgerufen am 27.11.2025).

8 Vgl. BSI, Bias in der künstlichen Intelligenz, S. 11 m.w.N.

9 Vgl. ErwG (57) KI-VO.

10 Vgl. ErwG (61) KI-VO.

11 Europäische Kommission (HEG-KI), Ethikleitlinien KI-Verordnung, 2018, S. 17, abrufbar unter: https://demographie-netzwerk.de/site/assets/files/4421/ethik-leitlinien_fur_eine_vertrauenswurdige_ki_1.pdf, (zuletzt abgerufen am 27.11.2025).

12 Vgl. ErwG (26) KI-VO.

13 Vgl. ErwG (44) KI-VO

14 Weitere Ausführungen zur umstrittenen Auslegung des Wortlauts: BeckOK KI-Recht, Schefzig/Kilian, 3. Edition, Raue, KI-VO Art. 5 Rn. 71-78 m.w.N.

15 Vgl. ErwG (61) KI-VO.

16 Definition „Betreiber“ (Artikel 3 Nr. 4 KI-VO): „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“.

17 Definition „Anbieter“ (Artikel 3 Nr. 3 KI-VO): „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“.

18 Vgl. ErwG (67) KI-VO.

19 Datenschutzgrundverordnung, (EU) 2016/679.

20 § 1 KI-MIG-Entwurf, abrufbar unter: https://bmds.bund.de/fileadmin/BMDS/Dokumente/Gesetzesvorhaben/CDR_Anlage1-250911_RefE_KIVO-Durchf%C3%BChrungsgesetz_Entwurf_barrierefrei.pdf, (zuletzt abgerufen am 27.11.2025).

21 Der Referentenentwurf zur Deutschen Umsetzung hat den Bußgeldrahmen der KI-VO weitestgehend übernommen, vgl. § 15 Abs. 1 KI-MIG-Entwurf.

22 ErwG (165) KI-VO.

23 Ablehnend: BeckOK KI-Recht, Voigt KI-VO Art. 2 Rn. 36-39.

24 Vgl. Antidiskriminierungsstelle des Bundes, Automatisch Benachteiligt - Das Allgemeine Gleichbehandlungsgesetz und der Schutz vor Diskriminierung durch algorithmische Entscheidungssysteme, 2023, S. 66, abrufbar unter: https://www.antidiskriminierungsstelle.de/SharedDocs/downloads/DE/publikationen/Rechtsgutachten/schutz_vor_diskriminierung_durch_KI.pdf?__blob=publicationFile&v=9, (zuletzt abgerufen am 27.11.2025).

25 Vgl. BSI, Bias in der künstlichen Intelligenz, S. 19.

26 Vgl. BSI, Bias in der künstlichen Intelligenz, S. 29.

27 Vgl. BSI, Bias in der künstlichen Intelligenz, S. 17.

28 Vgl. Deutscher Ethikrat, Mensch und Maschine, S. 62 f.