KI & Datenschutz – Checkliste für den Einsatz künstlicher Intelligenz

Verarbeitung personenbezogener Daten und DGVO-Relevanz

Datenschutzrechtlich ist der Einsatz von KI relevant, wenn dabei personenbezogene Daten verarbeitet werden. Darunter fallen Daten, die es ermöglichen, eine lebende Person zu identifizieren (Art. 4 DSGVO), wie Namen, Adressen und Telefonnummern, aber auch alle mit diesen Daten verbundenen Informationen (z.B. Schriftstücke)..

• Keine DSGVO-Relevanz, da kein Personenbezug: Generierung von Code, Bildern oder Marketingtexten.
• DSGVO-Relevanz, da Personenbezug: Einspeisen von Schriftstücken mit Angaben zu Personen, Hochladen von Bildern fremder Personen als Vorlage, KI über eine Schnittstelle mit einem E-Mail-Programm verbinden oder Datensätze mit Nutzer- oder Kundendaten auswerten, Nutzung durch Mitarbeiter mit personenbezogenen Accountdaten (z.B. max.mueller@unternehmen-xyz.de).

Im Ergebnis ist es sinnvoll, Daten vor dem Einsatz im Rahmen der KI zu anonymisieren. Dieser Grundsatz der Datenminimierung gilt generell, insbesondere wenn die DSGVO zur Anwendung kommt.

Privatpersonen: Die DSGVO ist nicht anwendbar, wenn die Verarbeitung nur persönlicher und familiärer Natur ist. Diese Grenze ist jedoch überschritten, wenn fremde personenbezogene Daten im Internet veröffentlicht werden. Die Verbreitung von Bildaufnahmen von Personen außerhalb des persönlichen Bereichs ist grundsätzlich untersagt. Ob die KI eher einem Cloud-Dienst gleichkommt, der der Privatsphäre zugeordnet wird, oder eher einem öffentlichen Facebook-Profil, ist unklar und kann beidseitig argumentiert werden. Bei Eingaben von Personennamen oder ähnlichen Einzeldaten sind hier eher keine Probleme zu erwarten. Wer jedoch Bilder fremder Personen hochlädt, sollte diese Personen zur Sicherheit vorab um Erlaubnis fragen.

Zulässigkeit und Rechtsgrundlage des Einsatzes der KI

Ein explizites KI-Verbot existiert zwar (noch) nicht. Aber die DSGVO ist so aufgebaut, dass jede Verarbeitung von personenbezogenen Daten zuerst verboten und gesondert gerechtfertigt werden muss.

Die DSGVO erlaubt die Verarbeitung in den folgenden Fällen:

• Erforderlich zur Erfüllung von Vertragspflichten: Diese Rechtsgrundlage kommt vor allem dann zur Anwendung, wenn die KI als Arbeitsmittel eingesetzt wird (Art. 6 Abs. 1 lit. b) DSGVO). Beispielsweise, wenn eine Agentur ihren Kunden den Einsatz von KI als Arbeitsmittel anpreist, ist es eindeutig erforderlich, diese KI einzusetzen. Aber je stärker die KI in den Alltag integriert wird, desto eher kann sie als erforderlich angesehen werden.
• Berechtigte Interessen: Praktisch alle nicht verbotenen Interessen sind erlaubt, so insbesondere betriebswirtschaftliche Interessen (Art. 6 Abs. 1 lit. f) DSGVO). Allerdings dürfen die Schutzinteressen der betroffenen Personen nicht überwiegen. Hier besteht ein Problem darin, dass bei vielen Diensten unklar ist, wie sie Daten verarbeiten (sog. “Blackbox”-Problem). Sie sind aber nachweispflichtig sind, dass die Verarbeitung datenschutzkonform erfolgt.
• Einwilligung: Die Einwilligung ist eine Ausweichnorm, die dann in Frage kommt, wenn sonst keine Erlaubnis greift (Art. 6 Abs. 1 lit. a) DSGVO). Sie hat den Nachteil, dass sie jederzeit widerrufen werden kann und z.B. bei Minderjährigen erst ab einem bestimmten Alter anwendbar ist (z.B. Deutschland ab 16 Jahren, Österreich ab 14 Jahren). Ferner ist eine Einwilligung nur dann wirksam, wenn die betroffene Person hinreichend über die Verarbeitungsprozesse und Risiken informiert wurde, was einen gewissen Erläuterungsaufwand erfordert.

Dies ist nur eine Auswahl von Rechtsgrundlagen, die sich je nach Einsatzumfeld (Unternehmen oder Behörden) oder Art der Daten ändern können (bei besonderen Kategorien von Daten, wie z.B. Gesundheitsdaten, gelten noch strengere Anforderungen).

Eine Erlaubnisgrundlage zu finden ist zudem nur der erste Schritt. Es müssen stets auch die Interessen der betroffenen Personen beachtet und abgewogen werden. Dies gilt auch für die folgenden Datenschutzaspekte in diesem Beitrag.

KI-Verbote und KI-Erlaubnisse für Beschäftigte und Mitarbeiter

Beim Einsatz von KI-Werkzeugen müssen Risiken auf Mitarbeiterebene berücksichtigt werden:

• Risiken für Mitarbeiter: Die Interessen der Mitarbeiterinnen und Mitarbeiter sind gefährdet, wenn sie persönliche Daten als Prompts eingeben. Dies kann ihre Privatsphäre und Datensicherheit betreffen.
• Von Mitarbeitern ausgehende Risiken: Umgekehrt können Mitarbeiterinnen und Mitarbeiter auch Risiken für Dritte darstellen. Dies ist der Fall, wenn sie zum Beispiel E-Mails mithilfe von KI-Angeboten beantworten und dabei Daten Dritter eingeben.

Arbeitgeber können diesen Risiken mit den folgenden zwei Schritten begegnen:

1. Untersagung: Der Einsatz von KI zu betrieblichen Zwecken und die Nutzung von KI-Werkzeugen auf Betriebsmitteln kann untersagt werden.
2. Beschränkte Erlaubnis: Im zweiten Schritt ist eine beschränkte Nutzungserlaubnis möglich, allerdings nur unter bestimmten Voraussetzungen.

Inwieweit der Einsatz von KI zu betrieblichen Zwecken gestattet wird, liegt im Ermessen des Arbeitgebers. Dabei sollten jedoch die folgenden Punkte beachtet werden:

• Festlegung von Zwecken: Für die Überprüfung der Rechtsgrundlage ist es erforderlich, die möglichen Einsatzszenarien der KI zu bestimmen. Gegenüber den Mitarbeiterinnen und Mitarbeitern sollte die Nutzung ausschließlich auf diese Szenarien beschränkt werden, wie zum Beispiel Korrespondenz, Recherche oder Korrekturlesen.
• Prüfung einer Rechtsgrundlage: Auch hinsichtlich der Verarbeitung personenbezogener Daten der Mitarbeiterinnen und Mitarbeiter muss eine Rechtsgrundlage vorhanden sein. Eine Einwilligung sollte nur als letztes Mittel in Betracht gezogen werden, da sie bei Angestellten an hohe Anforderungen bezüglich der Freiwilligkeit geknüpft ist und schnell unwirksam werden kann. Vor allem berechtigte unternehmerische Interessen am Einsatz der KI, die zugleich den Schutz der Mitarbeiterdaten angemessen berücksichtigen, sind relevant.
• Instruktion und Aufklärung: Zur Wahrung des Schutzes der Beschäftigten dient deren Aufklärung über Risiken und Gefahren. Der Arbeitgeber kann zugleich seine Interessen schützen, indem er beispielsweise KI-Klauseln in Datenschutzverpflichtungen der Mitarbeiterinnen und Mitarbeiter aufnimmt. Dabei ist es wichtig, auf die Risiken hinzuweisen und nur bestimmte Tools für den betrieblichen Einsatz zu gestatten. Im optimalen Fall erhalten die Beschäftigten – abhängig vom Risiko, zum Beispiel im Bereich sensibler Daten – Schulungen und spezielle Anleitungen für den Einsatz von KI.
• Nutzung von Proxy-Lösungen: Um die Daten der Mitarbeiterinnen und Mitarbeiter zu schützen (beispielsweise deren Nutzung, Eingaben usw.), ist der Einsatz von Proxy-Lösungen ratsam. Dabei werden die Eingaben, Logs oder die Prompt-Historie nicht an die KI-Anbieter gesendet. Weitere Details hierzu folgen im nächsten Abschnitt.

Zusammenfassen ist der Einsatz von KI-Werkzeugen durch Mitarbeiter datenschutzrechtlich möglich, allerdings nur wenn die vorgenannten Risikopunkte mit einem positiven Ergebnis geprüft – und wegen der Rechenschaftspflicht aus Art. 5 Abs. 2 DSGVO auch protokolliert – werden.

Mitbestimmungsrecht des Betriebsrates: Der Betriebsrat hat Mitbestimmungsrechte, wenn die vom Arbeitgeber eingesetzten Mittel zur Kontrolle der Beschäftigten dienen können (§ 87 Abs. 1 Nr. 6 BetrVG). Dies wurde beispielsweise in Bezug auf den Einsatz von Social Media Tools bejaht. Generell sollten Arbeitgeber davon ausgehen, dass die betriebliche Nutzung von KI-Tools, insbesondere wenn der Arbeitgeber potenziellen Zugang zu Nutzungsintensität, Chatverläufen usw. hat, zustimmungspflichtig ist. Hinweis: In einem Urteil entschied das Amtsgericht Hamburg, dass kein Mitbestimmungsrecht besteht. Dies war jedoch ein spezieller Fall, in dem bereits eine Betriebsvereinbarung vorlag und die KI-Tools nicht vom Arbeitgeber gestellt wurden (AG Hamburg Beschluss vom 16.01.2024, Az. 24 BVGa 1/24).

Nutzung von Proxy-Lösungen

Um die Daten Ihrer Mitarbeiter zu schützen (d.h. deren Nutzung, Eingaben, etc.) ist eine Proxy-Lösung zu empfehlen, bei der die Eingaben, Logs oder Prompt-Historie Ihrer Mitarbeter nicht an die KI-Anbieter gesendet wird. Eine Proxylösung sollte die folgenden Anforderungen erfüllen:

Bei einer Proxy-Lösung werden die Daten zunächst an ein Unternehmen gesendet. Dieses speichert die Daten vorzugsweise auf Servern innerhalb der EU und führt eine Bereinigung durch, um die mitarbeiterbezogenen Daten zu entfernen, bevor sie weitergeleitet werden.

• Standort EU: Die Daten der Mitarbeiter sollten idealerweise auf Servern in der EU gespeichert werden, die von einem EU-Unternehmen betrieben werden. Dies dient dazu, Probleme im Zusammenhang mit der Verwendung von US-Anbietern zu vermeiden.
• Pseudonymisierung von Daten: Es sollten möglichst wenige personenbezogene Informationen an KI-Anbieter übermittelt werden. Wenn Mitarbeiter über den Proxy-Dienstleister arbeiten, werden die Logs dort gespeichert. Im besten Fall werden auch die Chat-Protokolle beim Proxy-Anbieter hinterlegt. Zusätzlich sollte eine Filtermöglichkeit vorhanden sein. Zum Beispiel könnten Namen durch Platzhalter ersetzt werden, die vor der Übermittlung an die KI eingesetzt und danach wieder rückübersetzt werden.
• Auftragsverarbeitungsvertrag: Es ist wichtig, mit dem Anbieter der Proxy-Lösung einen sogenannten Auftragsverarbeitungsvertrag zu schließen. Dieser Vertrag regelt, dass der Anbieter die Daten nur gemäß Ihren Anweisungen verarbeiten darf.

Privacy by Design

Der in Art. 25 DSGVO als “Datenschutz durch Technikgestaltung und durch datenschutzfreundliche Voreinstellungen” bezeichnete Grundsatz verlangt, dass Sie sich vor dem Einsatz von KI-Software folgende Überlegungen machen:

• Warum eine KI-Software eingesetzt werden muss: Bevor Sie personenbezogene Daten einer KI übermitteln, sollten Sie begründen, warum der geplante Zweck der KI-Nutzung nicht auf anderen datenschutzfreundlicheren Wegen erreicht werden könnte.
• Warum es diese eine KI-Software sein muss: Bevor Sie sich für ein System entscheiden, sollten Sie prüfen, ob es datenschutzfreundlichere Alternativen gibt (andere Anbieter, Einsatz von KI auf eigenem Server, etc.).
• Warum Eingaben nicht anonymisiert werden können: Sie sollten erklären, warum Sie personenbezogene Daten an die KI übermitteln und z.B. eine Entfernung von Namen nicht möglich ist.

Das sind einige der Punkte der Prüfung. Allerdings existiert ein großer Argumentationsspielraum, z.B. was Kosten und Fähigkeit alternativer Systeme als Gegenargument für deren Einsatz angeht.

Verbot automatisierter Entscheidungen im Einzelfall

Die DSGVO automatische Entscheidungen, von denen der Abschluss von Verträgen oder sonstige erhebliche Entscheidungen abhängen (Art. 22 DSGVO). Typische Beispiele sind z.B. eine automatische Bonitätsprüfung mit folgendem Ausschluss von Kunden im Hinblick auf z.B. den Rechnungskauf oder automatische Bewerberauswahl.

In solchen Fällen wird daher eine Einwilligung der betroffenen Personen, strenge Erforderlichkeit oder eine menschliche Endprüfung der maschinellen Entscheidung notwendig.

In jedem Fall müssen die betroffenen Personen darüber informiert werden, wenn sie von automatisierten Entscheidungen im Einzelfall betroffen sind.

Verantwortlichkeit und Auftragsverarbeitung beim Einsatz von KI

Ein wesentlicher Aspekt der DSGVO ist die Feststellung der datenschutzrechtlichen Verantwortlichkeit für die Verarbeitungsprozesse. Danach bestimmt sich z.B. welche Arten von Verträgen geschlossen werden müssen und wer für etwaige Rechtsverstöße haftet. Als mögliche Konstellationen kommen in Frage:

• Alleinverantwortung: KI-Anbieter ist alleine für die Verarbeitung im KI-System verantwortlich. Sie sind nur für die Eingabe verantwortlich.
• Auftragsverarbeitung: KI-Anbieter ist Ihr weisungsgebundener Auftragsverarbeiter und Sie sind für die Verarbeitungsprozesse bei dem Anbieter verantwortlich.
• Gemeinsame Verantwortlichkeit: KI-Anbieter und Sie sind gemeinsam verantwortlich, weil Sie die Daten zuführen und wie der Anbieter ein Interesse an dem Verbessern der KI haben

Welche dieser Konstellationen zutrifft, ist derzeit nicht klar und wird von der Art des verwendeten Systems und dessen Einsatzes abhängen.

OpenAI, der Anbieter von ChatGPT, sieht sich z.B. als Auftragsverarbeiter im Hinblick auf die Nutzung via Schnittstelle (API) und stellt einen entsprechenden Auftragsverarbeitungsvertrag zur Verfügung. Ob diese Einschätzung zutreffend ist, kann derzeit nicht gesagt werden, aber immerhin ist so die Nutzung der API ein Stück “rechtssicherer”.

Information der Auftraggeber: Wenn Sie personenbezogene Daten im Auftrag von Kunden verarbeiten und dabei eine KI einsetzen wollen, dann müssen Sie dies den Kunden mitteilen. Je nach Vereinbarung im Auftragsverarbeitungsvertrag kann eine Genehmigung der Kunden erforderlich sein.

EU-US-Datentransfers

Mit der oben diskutierten datenschutzrechtlichen Verantwortlichkeit geht auch die Verantwortung für Datenübertragungen außerhalb der EU, bei KI-Diensten vornehmlich in die USA, einher (Art. 44 DSGVO).

Wenn personenbezogene Daten außerhalb der EU, z.B. in den USA, verarbeitet werden, müssen Sie als datenschutzrechtlich Verantwortlicher auch die Zulässigkeit dieser Datenübertragungen prüfen. Zum Beispiel sollten Sie die Anbieter fragen, ob sie sogenannte Standardvertragsklauseln bereitstellen können.

Hinweis: Seit dem 10. Juli 2023 existiert ein Nachfolger für das “Privacy Shield”, namens “Data Privacy Framework (TADPF)”. Das DPF ist sicherer als Standardvertragsklauseln. Warum der folgende Beitrag jedoch weiterhin aktuell bleibt und ob Sie sich auf das DPF als sichere Rechtsgrundlage für den Einsatz von US-Anbietern, wie Google, Facebook, Amazon, etc. verlassen können, erfahren Sie in unserem Beitrag: Data Privacy Framework (DPF) – Einsatz von US-Dienstleistern nun DSGVO-sicher?

Auskunfts- und Löschungsrechte

Mit der oben genannten datenschutzrechtlichen Verantwortlichkeit geht auch die Verpflichtung zur Erfüllung der Rechte betroffener Personen einher (§ 15 bis 21 DSGVO). Das heißt, Sie sollten auf Anfragen dieser Art vorbereitet sein:

“Bitte teilen Sie mir mit, welche personenbezogenen Daten von mir Sie im Rahmen von KI-Verfahren verarbeiten, übermitteln mir eine Kopie dieser Daten und löschen diese anschließend, da ich deren Verarbeitung widerspreche.”

Diese Anfrage müssen Sie immer, auch wenn negativ, unverzüglich beantworten. Wenn ein Fall der Auftragsverarbeitung oder gemeinsamer Verantwortlichkeit vorliegt und tatsächlich personenbezogene Daten in die KI eingespeist wurden, dann könnte die Auskunft problematisch werden. Umso mehr hilft es, wenn Sie darauf verweisen können, dass personenbezogene Daten gelöscht werden.

Zwar bietet z.B. OpenAI ein Opt-Out-Formular an. Ob und in welchem Umfang es effektiv ist, kann derzeit nicht verifiziert werden.

Datenschutz-Folgenabschätzung

Im Fall besonders risikobehafteter Verarbeitungen, was vor allem beim Einsatz neuer Technologien, Verarbeitung von personenbezogenen Daten im großen Umfang oder besonderer Kategorien von Daten (z.B. Gesundheitsdaten) der Fall ist, muss eine sogenannte Datenschutz-Folgenabschätzung durchgeführt werden (Art. 35 DSGVO).

Das bedeutet, Sie müssen zuerst prüfen, ob eine solche Risikosituation vorliegt und falls ja, die entsprechende Datenschutz-Folgenabschätzung durchführen.

Rechenschaftspflichten

Bei allen Prüfungspunkten sollten Sie immer davon ausgehen, dass die Beweislast für den rechtmäßigen Einsatz bei Ihnen liegt. Das bedeutet, dass Sie die in diesem Beitrag genannten Voraussetzungen der zulässigen Nutzung nachweisen müssen

In der Praxis bedeutet dies, dass Sie alle Aspekte der Nutzung, angefangen bei der Prüfung der Zulässigkeit, protokollieren sollten.

Verzeichnis von Verarbeitungstätigkeiten

Das Datenschutzmanagement erfordert ein internes Verzeichnis von Verarbeitungsprozessen (Art. 30 DSGVO).

In diesem Verzeichnis muss auch der Einsatz der KI und der eingesetzten Anbieter unter Nennung der Zwecke, der Rechtsgrundlagen und der verarbeiteten Daten eingetragen werden.

Datenschutzerklärung

Das zum internen Verzeichnis von Verarbeitungstätigkeiten gesagte gilt auch für die Datenschutzerklärung. Setzen Sie z.B. im Rahmen des Kundensupports ChatGPT ein, dann sollten Sie die Angaben zur Verarbeitung von Kundendaten im Rahmen des Service um Angaben zu dem Diensteanbieter OpenAI als Datenempfänger aufnehmen.

Geschäftsgeheimnisse

In diesem Beitrag geht es vornehmlich um den Datenschutz. Allerdings sollten Sie beim Einsatz von KI auch die eigenen und fremden Geschäftsgeheimnisse beachten. Ansonsten drohen Ihnen die folgenden Nachteile:

• Eigene Geschäftsgeheimnisse: Wenn Sie z.B. eigene Geschäftsgeheimnisse gegenüber der KI preisgeben (s. dazu einen Vorfall bei Samsung) und sie so anderen zugänglich werden, verlieren Sie den Geschäftsgeheimnisschutz mangels angemessener Schutzmaßnahmen (s. § 2 Nr. 1 b) GeschGehG).
• Fremde Geschäftsgeheimnisse: Wenn Sie wiederum fremde Geschäftsgeheimnisse, z.B. im Rahmen der Auswertung der Geschäftskorrespondenz preisgeben, dann liegt ein Verstoß gegen vertragliche Schutzpflichten und u.U. gegen ein mit einer Vertragsstrafe bewehrtes NDA vor.

Natürlich ist die Verletzung der Schutzpflicht oder von Geschäftsgeheimnissen, wie auch des Datenschutzes, eine Frage des Nachweises. Anderseits wissen Sie nicht, wie freigiebig eine KI oder deren Anbieter mit den Eingaben umgehen.

Zusammenfassung und Praxisempfehlung

Derzeit gibt es beim Einsatz von KI in Bezug auf den Datenschutz noch viele offene Fragen. Die Anbieter tragen mit ihrer Intransparenz in Bezug auf ihre datenschutzrechtliche Rolle und Offenlegung interner Prozesse nicht gerade zur Klärung bei.

Wenn KI-Anwendungen im Geschäftsalltag integriert werden sollen, besteht hier noch erheblicher Nachbesserungsbedarf. Neben einer Verbesserung der Transparenz bei den Verarbeitungsprozessen wären auch technische Lösungen, wie z.B. eine lokale Anonymisierung von personenbezogenen Daten, bevor sie der KI zugeführt werden, sinnvoll.

Bis dahin sollten Sie vor allem darauf achten, dass Ihre Eingaben keine personenbezogenen Daten enthalten. Ansonsten sollten Sie das Risiko so weit wie möglich reduzieren und dabei die Vorgaben zur Protokollierung, Ergänzung des Verzeichnisses von Verarbeitungstätigkeiten und Ihrer Datenschutzerklärung beachten.