KI-Assistenten und KI-Agenten: Chancen erkennen, Risiken meistern

Was sind KI-Assistenten und KI-Agenten?

KI-Assistenten erledigen konkrete Aufgaben auf direkte Eingaben der Nutzenden hin: Chatbots in Online-Shops beantworten Fragen rund um Bestellungen und Rücksendungen, Sprachassistenten wie Alexa oder Siri spielen Musik ab, smarte Tools schlagen in E-Mail-Programmen Formulierungen vor oder übersetzen Texte in Echtzeit.

Im Gegensatz dazu agieren KI-Agenten autonom(er). Sie analysieren ihre Umgebung, treffen  eigenständig Entscheidungen und führen komplexe Handlungen durch, ohne auf direkte Eingaben angewiesen zu sein. Aktuelles Beispiel für KI-Agenten ist der Operator in  Research Preview von ChatGPT Pro (OpenAI), der durch Bilderkennung das Nutzerverhalten im Webbrowser erlernt und anschließend eigenständig Aktionen auf Websites durchführt, z.B. Zahlungsinformationen eingeben, Bestellungen abgeben und Nachrichten versenden kann.

Was sind die Vorteile und Risiken von KI-Assistenten und -Agenten?

KI-Assistenten sind auf konkrete Nutzerbefehle oder -anfragen ausgerichtet und lösen vor allem klar definierte Aufgaben. KI-Agenten hingegen agieren eigenständiger und treffen innerhalb eines vorgegebenen Rahmens Entscheidungen oder stoßen Prozesse aktiv an. Während ein KI-Assistent primär unterstützend wirkt, übernimmt ein KI-Agent also eher eine proaktive Rolle mit einem höheren Maß an Autonomie.

So eröffnen KI-Assistenten und KI-Agenten Unternehmen vielfältige Chancen, um sich technologisch weiterzuentwickeln und sich im Wettbewerb zu behaupten. Allerdings sind diese Systeme abhängig von vielen Daten, sind anfällig für Manipulationen von außen und das Risiko ihrer Verwendung steigt mit dem Grad ihrer Autonomie. Entsprechend wichtig ist es, frühzeitig die rechtlichen Rahmenbedingungen zu klären. Denn nur so lassen sich einerseits Risiken minimieren und andererseits nachhaltige, zukunftsfähige KI-Lösungen etablieren.

Was gilt es rechtlich zu beachten?

Wie bei allen KI-Anwendungen gilt auch für KI-Assistenten und KI-Agenten, dass ihr Einsatz an die  geltenden rechtlichen Anforderungen gebunden ist. Neben Fragen zum Datenschutz und zur Datensicherheit, IT Security und Haftungsrisiken, spielen auch Urheber- sowie Verbraucherrechte sowie nicht zuletzt die (zukünftigen) Anforderungen der KI-Verordnung (AI Act) eine zentrale Rolle. Auch vertragliche Vereinbarungen – ob mit Kunden, Entwicklern oder Kooperationspartnern – können eine entscheidende Rolle spielen.

• Datenschutz und Datensicherheit

In Bezug auf personenbezogene Daten, wie Namen, Adressen, aber auch IP-Adressen und sonstige Daten, die einer natürliche Person zugeordnet werden können, gelten auch beim Einsatz von KI-Assistenten und KI-Agenten die Vorgaben aus der DSGVO. Unternehmen müssen sicherstellen, dass sie für jede Verarbeitung eine valide Rechtsgrundlage (Art. 6 DSGVO) haben. Denkbar sind insbesondere die Einwilligung (beispielsweise beim Einsatz eines personalisierten KI-Chatbots auf einer Website), die Vertragserfüllung (zum Beispiel, wenn der KI-Assistent die vereinbarte Dienstleistung zum Support erbringen soll) oder das berechtigtes Interesse des Unternehmens (beispielsweise eine Datenverarbeitung zur Optimierung eines Chatbots zur Verbesserung des Kundenservice).

Darüber hinaus sind auch die sonstigen Vorgaben der DSGVO zu beachten, insbesondere sind  Maßnahmen zur Datenminimierung und Datensicherheit (z. B. Verschlüsselung, Zugriffsbeschränkungen) umzusetzen sowie Betroffenenrechte (z.B. Auskunft und Löschung) zu beachten. Nicht zuletzt wird bei der Datenverarbeitung durch KI-Systeme regelmäßig von einer besonders risikoreichen Anwendungen ausgegangen, sodass zumindest bei den KI-Agenten in der Regel eine Datenschutzfolgenabschätzung (DSFA) erforderlich sein wird.

• Cybersecurity

KI-Assistenten und KI-Agenten können durch ihre Vernetzung und den Zugriff auf umfangreiche Datenbestände ein attraktives Ziel für Angriffe von außen sein. Manipulierte Eingaben, sog. Prompt Attacks oder Schadsoftware-Einschleusungen, können dazu führen, dass das KI-System falsche Informationen herausgibt oder unbefugt auf sensible Daten zugreift. Zudem besteht das Risiko, dass automatisch generierte Inhalte für Phishing-Mails oder andere illegale Aktionen missbraucht werden.

Unternehmen sollten daher frühzeitig in robuste Abwehrmechanismen investieren: Neben etablierten Sicherheitsstandards wie Verschlüsselung oder Zugriffsbeschränkungen gehören regelmäßige Penetrationstests, klar definierte Incident-Response-Prozesse sowie kontinuierliche Sicherheits-Updates zu einer soliden Cybersecurity-Strategie.

• Haftung und Verantwortlichkeit

Für fehlerhafte KI haften in der Regel die Unternehmen, die sie in eigenem Namen einsetzen. Aber auch für Schäden, die durch Urheberrechtsverstöße, die ungewollte Preisgabe von Geschäftsgeheimnissen, Wettbewerbsverletzungen oder unerwünschte Vertragsschlüsse und falsche Ratschläge von KI-Assistenten und -Agenten begangen werden, sind häufig die Unternehmen verantwortlich: kommt durch einen KI-Chatbot etwa ein Vertrag mit dem Nutzenden zustande, ist grundsätzlich das Unternehmen daran gebunden.

Weiterführende Informationen finden Sie in unserem Beitrag „KI und Haftung in der Praxis – ein Überblick“.

• Urheberrecht und geistiges Eigentum

Unternehmen müssen bei der Entwicklung und Implementierung von KI-Assistenten und KI-Agenten genau prüfen, ob und wie geschützte Werke verwendet werden. Dazu gehört auch eine klare Dokumentation von Trainingsdaten und Prompting-Prozessen, um Haftungsrisiken zu minimieren. Auch mit Blick auf den Output ist das IP-Recht relevant: : KI-Assistenten und KI-Agenten erstellen häufig Texte, Bilder oder andere Inhalte. Diese sind in aller Regel nicht schutzfähig, da der menschliche geistige Schöpfung fehlt. Das Risiko einer Urheberrechtsverletzung kann jedoch bestehen, wenn der Output sich zu stark an geschützten Werken orientiert oder Teile daraus übernimmt. Unternehmen müssen daher sicherstellen, dass keine verbotene Übernahme fremder Inhalte erfolgt – insbesondere dann, wenn die KI-Assistenten erstellte Inhalte veröffentlicht oder an Dritte weitergegeben werden.

• KI-Verordnung (AI Act)

KI-Assistenten und KI-Agenten müssen – zumindest zeitnah – auch die Vorgaben der KI-VO einhalten. AI Act der EU sieht ein gestuftes System von Verpflichtungen vor, die sich nach der Risikoklasse der KI-Anwendung und der jeweiligen Rolle des Unternehmens entlang der Wertschöpfungskette bestimmt:

• Verbotene KI-Systeme (Unacceptable Risk)

Verboten sind KI-Assistenten oder -Agenten, die unterschwellige manipulative Techniken einsetzen, die Vulnerabilität bestimmter Gruppen ausnutzen oder eine soziale Bewertung vornehmen, die Menschen diskriminierend benachteiligt (Social Scoring). Gezielte Manipulation von Nutzern von KI-Sprachassistenten, gezielte Täuschungen in Unternehmens-Chatbots oder den Einsatz von Deepfake-Technologie, um Kinder oder alte Personen zu Handlungen zu bewegen, die sie sonst nicht vorgenommen hätten, sind daher ohne Ausnahme verboten.

• Hochrisiko-KI-Systeme (High Risk)

KI-Assistenten und KI-Agenten können Hochrisiko-KI-Systeme darstellen, wenn sie als Produkt oder sicherheitsrelevanter Bestandteil unter eines der in Anhang I der KI-VO genannten Gesetze fallen, z. B. wenn sie in Maschinen, Aufzügen oder Medizinprodukten zum Einsatz kommen.

Die Pflichten für Hochrisiko-KI-Systeme sind auch dann einschlägig, wenn die kleinen KI-Helfer bestimmungsgemäß in einem der in Anhang III genannten Hochrisikobereiche eingesetzt werden, etwa in kritischer Infrastruktur, im Rahmen der allgemeinen oder beruflichen Bildung oder beim Zugang zu wesentlichen Dienstleistungen. Dies ist insbesondere dann der Fall, wenn der KI-Agent erhebliche Entscheidungen automatisiert treffen kann. Zu einem anderen Ergebnis wird man nur kommen können, wenn KI nur vorbereitend oder mit geringem Einfluss auf Entscheidungen zum Einsatz kommt – das wird eher bei KI-Assistenten der Fall sein können. Bei KI-Agenten, die sich ja gerade durch möglichst autonome und weitreichende Entscheidungen auszeichnen, wird man häufiger zu dem Ergebnis kommen, dass der konkrete Agent ein Hochrisiko-KI-System darstellt. Insbesondere, wenn das Profiling natürlicher Personen in solchen Bereichen erfolgt, wird man von einem hohen Risiko ausgehen müssen.

• Systeme mit begrenztem oder geringem Risiko

Sowohl KI-Assistenten und KI-Agenten im Hochrisikobereich als auch solche ohne ein hohes Risiko, werden in der Praxis regelmäßig die Transparenzpflichten  aus Art. 50 KI-VO erfüllen müssen. Diese gelten unter anderem ausdrücklich für KI-Systeme zur direkter Interaktion mit Menschen, was bereits bei klassische KI-Chatbots der Fall ist und regelmäßig auch für KI-Agenten gelten dürfte.

• Vertragliche Umsetzung

Wer KI-Assistenten oder KI-Agenten in sein Geschäftsmodell integriert, sollte schließlich die vertraglichen Konstellationen sauber aufsetzen. Dazu gehören in Verträgen mit externen Dienstleistern, z.B. die Verarbeitung von personenbezogenen Daten (i.R.e. Auftragsverarbeitungsverarbeitung (AVV), Regelungen zu Verfügbarkeit, Reaktionszeiten und Update-Zyklen in Service-Level-Agreements (insbesondere bei cloudbasierten KI-Lösungen („KI-SaaS“), klare Lizenz- und Nutzungsbedingungen sowie  Haftungs- und Gewährleistungsregelungen.

Fazit

KI-Assistenten und KI-Agenten eröffnen Unternehmen zahlreiche Chancen, Prozesse effizienter zu gestalten und Kundeninteraktionen zu verbessern. Dabei gilt es jedoch, die unterschiedlichen Merkmale klar zu beachten: KI-Assistenten unterstützen Nutzer gezielt bei klar definierten Aufgaben und erfordern direkte Eingaben, während KI-Agenten eigenständig Entscheidungen treffen und Prozesse autonom steuern können. Diese höhere Autonomie der KI-Agenten verstärkt rechtliche Herausforderungen, insbesondere im Bereich Datenschutz, Datensicherheit, nach der KI-VO sowie bei Fragen der Haftung.

Unternehmen müssen frühzeitig die spezifischen rechtlichen Anforderungen insbesondere der DSGVO sowie des AI Acts beachten und klare vertragliche Vereinbarungen treffen, ergänzt durch umfassende, aber pragmatische Dokumentation und interne Compliance-Strukturen.

Sie möchten Ihre KI-Projekte auf ein solides, rechtssicheres Fundament und die Potenziale von KI-Assistenten und KI-Agenten optimal nutzen? Wir beraten Sie gern – sprechen Sie uns an!