Risikoklassifizierung nach der KI-Verordnung

Der AI Act und die Risikoklassen

Die KI-Verordnung zielt darauf ab, künstliche Intelligenz im Einklang mit den hohen EU-Standards für Gesundheit, Sicherheit und Grundrechte zu entwickeln und einzusetzen. Sie verwendet einen risikobasierten Ansatz, um sicherzustellen, dass Vorschriften der Intensität und dem Umfang der Risiken von KI-Systemen angepasst sind. Besonders gefährliche Praktiken werden verboten, während Hochrisiko-KI-Systeme strenge Anforderungen erfüllen müssen, um ihren sicheren Einsatz zu gewährleisten. Transparenzpflichten sorgen dafür, dass der Einsatz bestimmter KI-Systeme für betroffene Nutzer nachvollziehbar bleibt.

Im Wortlaut unterscheidet die KI-Verordnung ausschließlich nach verbotenen Praktiken (Art. 5 KI-VO) und Hochrisiko-KI (Art. 6 KI-VO). Weitere Risikoklassen werden nicht direkt angesprochen. Ein vertiefter Blick in die einzelnen Regelungen ermöglicht jedoch die Vornahme einer weitergehenden Klassifizierung. So ist auch von KI-Systemen mit einem begrenzten Risiko, sowie von KI-Systemen ohne Risiko auszugehen. Im Folgenden gehen wir auf die einzelnen Risikoklassen ein und klären auf, welche Kernpflichten sich daraus für betroffene Akteure ergeben.

Verbotene Praktiken (Art. 5 KI-VO)

Die KI-Verordnung verbietet den Einsatz bestimmter KI-Systeme, die als inakzeptabel hohes Risiko eingestuft werden, weil sie besonders tief in die Grundrechte eingreifen und potenziell erheblichen Schaden verursachen können.

Diese Verbote betreffen insbesondere – aber nicht ausschließlich – KI-Systeme:

• die unterschwellige manipulative Techniken nutzen, um das Verhalten von Menschen in einer Weise zu beeinflussen, die ihre Entscheidungsfreiheit untergräbt und ihnen erheblichen Schaden zufügt (Art. 5 Abs. 1 lit. a KI-VO). Solche Systeme können z.B. durch subtile, nicht bewusst wahrnehmbare Reize das Verhalten von Personen so verändern, dass diese Entscheidungen treffen, die sie ohne den Einsatz der KI nicht getroffen hätten. Das praxisrelevante Buzzword hier ist: Dark Patterns.
• die die Schwachstellen von Personen ausnutzen, indem sie die Vulnerabilität aufgrund von Alter, Behinderung oder einer sozialen oder wirtschaftlichen Situation gezielt nutzen, um das Verhalten in schädlicher Weise zu beeinflussen (Art. 5 Abs. 1 lit. b KI-VO). Dies betrifft insbesondere Bevölkerungsgruppen, die aufgrund ihrer Lebensumstände anfälliger für Manipulationen sind. Auch hier handelt es sich um eine Form von Dark Patterns.
• zur sozialen Bewertung, die Menschen über einen bestimmten Zeitraum auf der Grundlage ihres Verhaltens oder persönlicher Eigenschaften bewerten und dies zu sozialer Benachteiligung führt (Art. 5 Abs. 1 lit. c KI-VO). Diese Systeme können diskriminierende Auswirkungen haben, indem sie Personen aufgrund von Daten in sozialen Kontexten unzulässig benachteiligen.
• zur Vorhersage des Risikos zukünftiger Straftaten allein auf Grundlage von Profiling (Art. 5 Abs. 1 lit. d KI-VO). Diese Systeme basieren auf persönlichen Merkmalen und Eigenschaften von Personen, ohne dass objektive und überprüfbare Fakten zugrunde liegen, und sie greifen damit tief in die Rechte der betroffenen Personen ein.
• zur Gesichtserkennung, die durch das ungezielte Auslesen von Gesichtsbildern aus dem Internet oder Videoüberwachungsaufnahmen erstellt werden (Art. 5 Abs. 1 lit. e KI-VO). Solche Systeme können zur Massenüberwachung beitragen.
• zur Emotionserkennung am Arbeitsplatz oder in Bildungseinrichtungen, die den emotionalen Zustand von Personen ableiten, sofern sie nicht aus medizinischen oder sicherheitstechnischen Gründen eingesetzt werden (Art. 5 Abs. 1 lit. f KI-VO). In anderen Kontexten ist der Einsatz dieser Systeme aufgrund der möglichen erheblichen negativen Folgen für die Betroffenen verboten.

Die Verbote des Art. 5 KI-VO dienen dem Schutz der Grundrechte und sollen sicherstellen, dass KI-Technologien nicht auf manipulative oder schädliche Weise eingesetzt werden.

Hochrisiko-KI (Art. 6 KI-VO)

Der tragende Begriff in der KI-Verordnung, an den sich im Wesentlichen der Kern der KI-VO richtet, ist der des Hochrisiko-KI-Systems. Wird ein KI-System als eines mit hohem Risiko eingestuft, folgen weitreichende Pflichten für Anbieter, Betreiber und sonstige Akteure im KI-Lebenszyklus.

Die Einstufung eines KI-Systems als Hochrisiko-KI nach dem AI Act erfolgt durch ein mehrstufiges Verfahren, das in Art. 6 KI-VO geregelt ist. Vereinfacht zusammengefasst erfolgt die Prüfung, ob es sich bei einem KI-System um Hochrisiko-KI handelt wie folgt:

• Zunächst wird geprüft, ob das System als sicherheitsrelevantes Bauteil eines Produkts verwendet wird, das in den Harmonisierungsrechtsvorschriften der Union aufgeführt ist (Anhang I). Sollte dies der Fall sein und das Produkt einer Konformitätsbewertung durch Dritte unterliegen, wird das KI-System automatisch als Hochrisiko-KI eingestuft und unterliegt den damit verbundenen Anforderungen (Art. 6 Abs. 1 KI-VO).
• Fällt das KI-System nicht in diese Kategorie, gilt es Art. 6 Abs. 2 KI-VO zu prüfen. Hier wird geschaut, ob das System in einem der in Anhang III genannten Anwendungsbereiche eingesetzt wird. Beispiele hierfür sind (nicht abschließend):
• KI-Systeme in kritischen Infrastrukturen, die für die Energie- oder Wasserversorgung verwendet werden,
• KI-Systeme im Personalwesen, die Entscheidungen über Einstellungen oder Beförderungen beeinflussen,
• KI-Systeme, die den Zugang zu wichtigen öffentlichen oder privaten Dienstleistungen, wie z. B. bei der Kreditwürdigkeitsprüfung.

Diese Art von Systemen bergen ein erhöhtes Schadenspotenzial für Gesundheit, Sicherheit oder die Grundrechte von Personen.

Anbieter müssen regelmäßig überprüfen, ob ihre KI-Anwendungen von delegierten Rechtsakten der EU betroffen sind, da die Kommission die Liste der Hochrisiko-KI-Systeme erweitern kann. Zudem müssen Betreiber besonders darauf achten, dass auch nach Implementierung eines KI-Systems, welches zu Beginn nicht als hochriskant eingestuft wurde durch die konkrete Art der Verwendung (Art. 25 Abs. 1 lit. c KI-VO) oder durch Aktualisierungen und Anpassungen des KI-Systems durch den Anbieter das betreffende KI-System zu einem Hochrisiko-KI-System werden kann. Somit sind Unternehmen effektiv dazu verpflichtet, stets den aktuellen Stand der eingesetzten KI-Systeme und KI-Modelle sowie die Art und Weise des Einsatzes zu überwachen und die Risikoklassifizierung entsprechend zu überprüfen und aktuell zu halten.

Führt die Prüfung zum Ergebnis, dass es sich um ein Hochrisiko-KI-System handelt, hängt der umfang der Sie treffenden Pflichten von Ihrer konkreten Rolle als Anbieter, Betreiber oder anderen Akteur ab. Mehr zu der Abgrenzung zwischen der Rolle des Anbieters und der des Betreibers als wohl relevanteste Rollen können Sie auch in unserem Beitrag „Anbieter oder Betreiber: Die Schlüsselrollen im AI Act entschlüsselt“ erfahren.

Begrenztes Risiko (Art. 50 KI-VO)

KI-Systeme, die nicht als hochrisiko KI eingestuft werden, sind grundsätzlich erlaubt. Bei bestimmten Einsatzarten und Interaktionsmöglichkeiten mit Endnutzern geht die KI-Verordnung jedoch von einem begrenzten und dennoch bestehenden Risiko aus, das durch entsprechende Informationen an die Nutzenden gemindert werden kann und soll. Um diese Risiken zu bewältigen, definiert der AI Act daher bestimmte Transparenzpflichten, die sich an Anbieter und Betreiber richten.

Ein begrenztes Risiko besteht daher insbesondere dann, wenn:

• KI-Systeme für die direkte Interaktion mit natürlichen Personen bestimmt sind (z.B. Chatbots). In solchen Fällen muss der Anbieter sicherstellen werden, dass die betroffenen Personen darauf hingewiesen werden, dass sie mit einem KI-System interagieren. Ausnahmen: Die Transparenzpflicht entfällt dann, wenn für die Nutzer aus den Umständen offensichtlich ist, dass sie mit einem KI-System interagieren, oder wenn das KI-System zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist (Art. 50 Abs. 1 AI Act);
• KI-Systeme zur Erzeugung synthetischer Audio-, Bild-, Video- oder Textinhalte eingesetzt werden. Hierbei muss der Anbieter sicherstellen, dass die erzeugten Inhalte als künstlich generiert oder manipuliert gekennzeichnet sind. Ausnahmen: Die Transparenzpflicht entfällt, wenn das KI-System eine unterstützende Funktion ausführt und die vom Betreiber bereitgestellten Eingabedaten oder deren Semantik nicht wesentlich verändert, oder wenn es zur Aufdeckung, Verhütung, Ermittlung oder Verfolgung von Straftaten gesetzlich zugelassen ist, ( Art. 50 Abs. 2 AI Act);
• Emotionserkennungssysteme oder Systeme zur biometrischen Kategorisierung verwendet werden. In solchen Fällen muss der Betreiber die betroffenen natürlichen Personen über den Einsatz des Systems informieren. Ausnahme: Die Transparenzpflicht entfällt, wenn das System zur Aufdeckung, Verhütung oder Verfolgung von Straftaten gesetzlich zugelassen ist (Art. 50 Abs. 3 AI Act);
• Deepfake-Technologien zur Anwendung kommen. In diesen Fällen muss der Betreiber offenlegen, dass der erzeugte Inhalt künstlich erzeugt oder manipuliert wurde. Ausnahmen: Die Transparenzpflicht entfällt, wenn es sich um künstlerische, kreative, satirische oder fiktionale Werke handelt oder wenn die Inhalte zur Aufdeckung, Verhütung oder Verfolgung von Straftaten verwendet werden oder (Art. 50 Abs. 4 AI Act).

Die Informationen müssen spätestens bei der ersten Interaktion oder Exposition mit dem KI-System klar und eindeutig bereitgestellt werden und den geltenden Barrierefreiheitsanforderungen entsprechen. Darüber hinaus wird die EU-Kommission die Ausarbeitung von Praxisleitfäden fördern, um die wirksame Umsetzung der Transparenzpflichten zu erleichtern. Gegebenenfalls können weitere Vorschriften zur Konkretisierung dieser Pflichten durch Durchführungsrechtsakte erlassen werden.

Kein Risiko

KI-Systeme, die sich außerhalb der vorgenannten Risikoklassen bewegen, unterliegen somit keiner gesonderten Beschränkung aus dem AI Act und können frei genutzt werden.

Wichtig an dieser Stelle ist jedoch, dass die mit der Implementierung und Verwendung des KI-Systems betrauten Personen über ausreichende KI-Kompetenz im Sinne des Art. 4 KI-VO verfügen. Grundsätzlich ist die KI-Kompetenz eine allgemeine Voraussetzung, die für alle Risikoklassen gilt. Was es genau mit der KI-Kompetenz auf sich hat, können Sie gern in unserem Beitrag „KI-Kompetenz in Unternehmen – brauchen Unternehmen einen KI-Beauftragten? Und wenn ja, wie viele?“ nachlesen.

Fazit

Die KI-Verordnung bringt für Unternehmen neue Herausforderungen und Aufgaben mit sich, doch mit dem richtigen Ansatz lassen sich diese erfolgreich bewältigen. Eine systematische Risikobewertung und die Umsetzung der erforderlichen Maßnahmen können nicht nur die Compliance sicherstellen, sondern auch langfristig Ihre Innovations- und Konkurrenzfähigkeit stärken.

Was Sie jetzt tun sollten:

• Ermitteln Sie Ihre KI-Systeme und prüfen Sie, in welche Risikokategorie diese fallen.
• Bewerten Sie die rechtlichen Anforderungen für Ihr Unternehmen basierend auf Ihrer Rolle als Anbieter, Betreiber oder anderer Akteur.
• Implementieren Sie die erforderlichen Maßnahmen, um die Einhaltung der Verordnung sicherzustellen.
• Sichern Sie die KI-Kompetenz in Ihrem Unternehmen, um den gesetzlichen Anforderungen zu entsprechen.
• Überwachen Sie kontinuierlich Ihre KI-Systeme, um auf neue Anforderungen oder Anpassungen schnell reagieren zu können.

Wie wir Sie unterstützen können:

Wir helfen Ihnen gerne bei jedem Schritt – von der Risikobewertung über die Implementierung der notwendigen Maßnahmen bis hin zur kontinuierlichen Überwachung Ihrer KI-Systeme. Kontaktieren Sie uns, und lassen Sie uns gemeinsam sicherstellen, dass Sie KI nicht nur gesetzeskonform, sondern auch zukunftssicher einsetzen können.