23.04.21

EU-Kommission schlägt weltweit ersten Rechtsrahmen für Künstliche Intelligenz vor

Die EU will weltweit Vorreiter für die Regulierung Künstlicher Intelligenz (KI) werden. Seit Jahren schon verfolgt sie ihre eigene Strategie, wonach KI „vertrauenswürdig“ und „menschzentriert“, d.h. auf den Menschen ausgerichtet sein soll. Nunmehr hat die EU-Kommission erstmals rechtsverbindliche Regeln für KI erarbeitet und am 21. April eine Verordnung über künstliche Intelligenz vorgeschlagen. Die EU-Kommission knüpft dabei an ihr Weißbuch aus dem Jahr 2020 an, in welchem sie das europäisches Konzept für Exzellenz und Vertrauen konkretisiert und verbindliche rechtliche Anforderungen für risikoreiche KI-Anwendungen angekündigt hatte. Neben der Eindämmung von Risiken will die Kommission mit den neuen Regeln zugleich den Spagat schaffen, dass die EU im Bereich KI wettbewerbsfähig bleibt.

Der 88-seitige Verordnungsvorschlag legt harmonisierte Regeln für das Inverkehrbringen, die Inbetriebnahme und den Einsatz von KI-Systemen fest. Die Regeln sollen für alle Anbieter gelten, die KI-Systeme in der EU in den Verkehr bringen oder in Betrieb nehmen, auch wenn die Anbieter außerhalb der EU niedergelassen sind.

Ferner schlägt die Kommission eine „schwarze Liste“ verbotener KI-Anwendungen vor.

Verboten werden sollen etwa

  • KI-Systeme, die durch unterschwellige Techniken das menschliche Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen, und so Personen schädigen können;
  • das Social Scoring, d.h. die Bewertung von Personen durch Behörden nach einem Punktesystem für ihr gutes bzw. schlechtes Verhalten oder bestimmte persönliche Merkmale, wenn dies nachteilige Auswirkungen auf Personen haben kann; damit sollen Social-Credit-Systeme wie in der Volksrepublik China in der EU ausgeschlossen werden;
  • die biometrische Identifikation im öffentlichen Raum in Echtzeit zu Zwecken der Strafverfolgung, solange die Verwendung eines solchen Systems nicht in einem der in der Verordnung festgelegten besonderen Ausnahmefälle unbedingt erforderlich ist und gerichtlich oder behördlich genehmigt wurde, z.B. bei einem drohenden Terroranschlag oder der Suche nach einem vermissten Kind.

Schwerpunktmäßig regelt der Verordnungsvorschlag besondere Anforderungen an risikoreiche KI-Systeme und spezifische Pflichten für deren Betreiber. Als risikoreiche KI-Systeme gelten laut einem Anhang zur Verordnung unter anderem KI-Systeme, die zur biometrischen Identifikation, in kritischen Infrastrukturen wie dem Verkehrssektor (z.B. beim autonomen Fahren), im Rahmen von Recruiting-Programmen zur Einstellung von Personal (z.B. zum Filtern von Bewerbungen), zur Bewertung von Prüfungen bei Schülern oder zur Kreditvergabe eingesetzt werden.

Für risikoreiche Systeme sollen strenge Vorgaben gelten, die erfüllt sein müssen, bevor sie auf den Markt gebracht werden können. So sollen risikoreiche KI-Systeme unter anderem während ihres gesamten Lebenszyklus der Risikobewertung unterliegen; erkannte Risiken müssen so weit wie möglich gemindert werden. KI-Systeme sollen ihre Aktivitäten protokollieren, um eine Rückverfolgbarkeit der Ergebnisse zu ermöglichen, und sollen robust, sicher und genau sein. Um diskriminierende Ergebnisse und andere Risiken zu vermeiden, sollen die Systeme nur mit umfangreichen Datensätzen gefüttert werden dürfen, die näher festgelegte Qualitätsanforderungen erfüllen. Schließlich muss stets eine effektive menschliche Aufsicht über sie möglich sein.

Anbieter risikoreicher KI-Systeme müssen sicherstellen, dass die KI-Systeme die genannten Anforderungen erfüllen. Ferner müssen sie sicherstellen, dass das KI-System vor dem Inverkehrbringen oder der Inbetriebnahme einer ex-ante-Konformitätsbewertung unterzogen wird. Diese Bewertung soll grundsätzlich der Anbieter selbst durchführen und dann eine CE-Kennzeichnung auf seinen Systemen anbringen. Bei Systemen zur biometrischen Identifizierung und Kategorisierung von Personen muss die Konformitätsbewertung teilweise durch eine unabhängige benannte Stelle durchgeführt werden. Werden die Systeme wesentlich geändert, müssen sie ein neues Konformitätsbewertungsverfahren durchlaufen. Daneben treffen die Anbieter risikoreicher KI weitere Pflichten, u.a. müssen sie ein Qualitätsmanagementsystem einrichten.

Neben den zwingenden Regeln für risikoreiche KI schlägt die Kommission ferner freiwillige Verhaltenskodizes für KI-Anwendungen vor, die kein hohes Risiko darstellen. Ferner sollen „regulatorische „Sandkästen“ Innovationen durch KI erleichtern. In solchen Sandkästen sollen KI-Systeme für begrenzte Zeit unter behördlicher Aufsicht getestet und trainiert werden können.

Verletzen die Anbieter die in der Verordnung geregelten Pflichten, drohen hohe Bußgelder von bis zu vier Prozent des weltweiten Jahresumsatzes oder 20 Millionen Euro (je nachdem welcher Wert höher ist). Bei Verstößen gegen die schwarze Liste oder wenn die Anforderungen an Trainingsdaten nicht eingehalten werden, sind sogar Strafen von bis zu sechs Prozent des weltweiten Jahresumsatzes oder 30 Millionen Euro möglich (je nachdem welcher Wert höher ist).

Die EU-Kommission will zudem einen Europäischen Ausschuss für KI einrichten, der sich aus Vertretern der nationalen Aufsichtsbehörden und dem europäischen Datenschutzbeauftragten zusammensetzt. Dieser Ausschuss soll unter anderem die Zusammenarbeit der nationalen Aufsichtsbehörden fördern und Empfehlungen und Stellungnahmen veröffentlichen.

Teil des von der Kommission vorgestellten KI-Pakets sind ferner eine Mitteilung zur Förderung eines europäischen Konzepts für die KI sowie ein aktualisierter „Koordinierter Plan“ für KI.

Haftungsfragen für KI und andere neue Technologien will die Kommission in separaten Rechtsvorschriften regeln. Hierzu will sie den bestehenden EU-Haftungsrahmen anpassen und die Produkthaftungsrichtlinie und die Richtlinie über die allgemeine Produktsicherheit überarbeiten.

Ergänzend zu dem Verordnungsvorschlag zur KI-Regulierung will die EU-Kommission die Maschinenrichtlinie 2006/42/EG durch eine Verordnung über Maschinenprodukte ersetzen, welche für die sichere Integration von KI-Systemen in Maschinen sorgen soll.

 

Rückblick: Veröffentlichungen des cep im Bereich KI

Das cep hatte zuvor bereits die KI-Strategie der Kommission in drei cepAnalysen untersucht. Passend zu den drei Säulen der Strategie hat sich das cep mit den Investitionen in KI (cepAnalyse Nr. 10/2019), der Anpassung der Bildungs- und Sozialsysteme an die neue Arbeitswelt (cepAnalyse Nr. 12/2019) und den ethischen und rechtlichen Regeln für KI (cepAnalyse Nr. 13/2019) befasst. 

In einer weiteren cepAnalyse Nr. 16/2019 hat das cep die ethischen Leitlinien für KI analysiert und in einem cepInput Nr. 07/2019 mit den Leitlinien der OECD verglichen.

Schließlich hat sich das cep in cepAnalyse Nr. 4/2020 das Weißbuch der EU-Kommission aus dem Jahr 2020 bewertet (vgl. auch cepAdhoc zum geleakten Entwurf des Weißbuchs).

Alle Nachrichten