Erfolgsaussichten für Beschwerde gegen ChatGPT wegen falscher Mordzuweisung

„Die Erfolgsaussichten der Datenschutzbeschwerde sind durchaus hoch einzuschätzen. Gerade die Beteiligung von Noyb könnte dies zu einem echten High-Profile-Case machen. Nyob, geführt von Max Schrems, ist sehr gut vernetzt, gerichtserfahren und persistent. Von ihnen möchte niemand gerne verklagt werden. Sie haben bereits mehrere sehr prominente Fälle gewonnen, etwa die Datenschutzabkommen der EU mit den USA zu Fall gebracht.“

„In Norwegen gilt die DSGVO, da Norwegen zwar nicht zur EU, aber zum Europäischen Wirtschaftsraum gehört. Die DSGVO wiederum beinhaltet das Prinzip der Datenrichtigkeit. Demnach müssen personenbezogene Daten ,sachlich richtig und erforderlichenfalls auf dem neuesten Stand sein; es sind alle angemessenen Maßnahmen zu treffen, damit personenbezogene Daten, die im Hinblick auf die Zwecke ihrer Verarbeitung unrichtig sind, unverzüglich gelöscht oder berichtigt werden‘.“

„Der vorliegende Fall beinhaltet eine besonders krasse Form von unrichtigen personenbezogenen Daten, indem ein Familienvater als Kindesmörder dargestellt wird. Während in einer Beschwerde, die Noyb im vergangenen Jahr in Österreich eingereicht hat, lediglich falsche Geburtsdaten im Zentrum der Beschwerde standen, ist hier eine gänzlich andere Dimension der Belastung der betroffenen Person erreicht.“

„Grundsätzlich könnte die Person sowohl nach allgemeinem Persönlichkeitsrecht als auch nach der DSGVO vorgehen. Die Persönlichkeitsrechte gelten jedoch immer nur für den einzelnen EU/EWR-Mitgliedstaat und unterscheiden sich je nach Mitgliedstaat. Strategisch klug hat sich jedoch Nyob für die DSGVO entschieden: Damit lässt sich ein europaweit geltendes Urteil erstreiten; für einen Schadensersatzanspruch muss kein Verschulden nachgewiesen werden, die Haftung ist also strikter als im Bereich des Persönlichkeitsrechts; und vor allem kann man zunächst auf die Rechtsdurchsetzung durch öffentliche Behörden (die Datenschutzaufsichtsbehörden) setzen und diese den Fall aufrollen lassen.“

„Im Anschluss kann man dann selbst noch eine Zivilklage anstrengen, sich aber dabei auf die kostenlose Vorarbeit der Behörde stützen. Zudem sind die Sanktionen im Datenschutzrecht deutlich schärfer. Sollte ein Verstoß durch derartige sogenannte Halluzinationen der KI – also inhaltlich fehlerhafte oder falsch referenzierte Ergebnisse – nachgewiesen werden, der aufgrund der technischen Gegebenheiten von generativer KI systematische Dimensionen annimmt, stehen Entwickler wie OpenAI potenziell mit dem Rücken zur Wand. Es ist gegenwärtig technisch nur sehr schwer möglich, diese Halluzinationen einzudämmen oder gar auszuschließen. Wenn dementsprechend weitere schwerwiegende Verstöße gegen Datenschutzrecht üblichen sind, kann eine Datenschutzbehörde letztlich ein KI-System – etwa ChatGPT – zeitweilig in der EU sperren, bis das Problem behoben ist. So ist etwa die italienische Datenschutzaufsichtsbehörde mit ChatGPT im Jahr 2023 verfahren und jüngst noch einmal mit DeepSeek [1]. OpenAI könnte dann entweder versuchen, die Suche nach Personen gänzlich zu unterbinden oder mit der Datenschutzaufsichtsbehörde und gegebenenfalls letztlich dem Geschädigten und einem Gericht eine Einigung dahingehend zu erzielen, dass zumindest die Wahrscheinlichkeit derartiger Fehler durch Filtermaßnahmen und ein funktionierendes ,Notice-And-Action-System‘ drastisch reduziert wird. OpenAI hat offenbar schon reagiert und lässt jetzt bei Anfragen zu Personen jedes Mal eine Websuche ablaufen, die verhindern soll, dass das Modell von sich aus fehlerhafte Informationen generiert. Stattdessen sollen aktuelle (und möglichst korrekte) Informationen aus dem Web zusammengefasst werden.“

„Grundsätzlich weniger relevant ist, dass Anbieter jeweils darauf hinweisen, dass ihre Modelle viel ausgeben können. Wie schon der BGH im Fall Autocomplete festgestellt hat, hat demgegenüber die Vermarktungsstrategie und die legitime Erwartungshaltung der Nutzer Vorrang. So werden die aktuellen generativen KI-Modelle grundsätzlich so vermarktet, dass sie in der Regel sinnvolle Informationen bereitstellen – sonst würde man sie ja überhaupt nicht benötigen. Dies ist auch regelmäßig die legitime Erwartung der Nutzer.“

„In der Sache wird es meines Erachtens primär darauf ankommen, inwieweit es sich bei den jeweiligen Unrichtigkeiten um Informationen von eher geringer oder hoher Bedeutung für die Persönlichkeit handelt (Geburtsdatum versus Kindesmord sind hier zwei extreme Pole). Zudem ist entscheidend für die Sanktionen, ob es sich um Einzelfälle oder um systemische Probleme handelt; die technische Literatur legt Letzteres sehr stark nahe. Dann kann am Ende eines Verfahrens durchaus auch eine temporäre Sperre eines Modells stehen.“

„Es handelt sich bei dieser schrecklichen Konfabulation um personenbezogene Daten, da der Beschwerdeführer über den KI-Output identifizierbar ist. Auch wenn Norwegen kein EU-Mitgliedstaat ist, findet damit die DSGVO Anwendung, da diese auch von den EWR-Staaten zugrunde gelegt wird.“

„In Rede steht nun ein Verstoß gegen den Grundsatz der Datenrichtigkeit aus Art. 5 Abs. 1 lit. d DSGVO. Dieser besagt, dass personenbezogene Daten nicht nur richtig sein, sondern dass diese – sofern dies nicht der Fall ist – unverzüglich gelöscht oder berichtigt werden müssen, was hier wohl auch die Trainingsdaten beziehungsweise den Personenbezug innerhalb des KI-Systems meint. Aber genau diese Ausübung der wichtigen datenschutzrechtlichen Betroffenenrechte ist beim Einsatz von KI hochproblematisch. Deren Anbieter stellen sich hier mitunter auf den Standpunkt, die Löschung oder Korrektur sei unmöglich oder unverhältnismäßig. Diese technischen Schwierigkeiten sind freilich bekannt. Daher stellen sich insofern sehr grundlegende Fragen danach, ob Technologie beziehungsweise Technik dem Recht folgen oder das Recht kapitulieren muss, wenn sich Akteure bewusst in ein komplexes, aber gesellschaftlich teilweise gewolltes IT-System ,flüchten‘, um sich danach auf Undurchführbarkeit der Datenschutzrechte zu berufen.“

„Besonders groß dürften die Erfolgsaussichten der Beschwerde derzeit nicht sein – schon in der Vergangenheit hat es in EU-Mitgliedstaaten in ähnlichen Fällen Datenschutzbeschwerden gegeben, die bislang noch nicht entschieden wurden. Pauschale Haftungsausschlüsse auf der Website entbinden zwar nicht von rechtlicher Verantwortlichkeit – und das gilt auch für OpenAI. Jedoch sprechen wir hier über Entscheidungen der Datenschutzaufsicht mit weitreichenden Auswirkungen – und hier will jetzt keine Datenschutzbehörde voreilige Schlüsse ziehen und Präzedenzfälle schaffen, die Tür und Tor für massenhafte Beschwerden und Klagen eröffnen. Allerhöchstens könnte hier mit einem geringfügigen Bußgeld zu rechnen sein. Wahrscheinlicher ist es aber, dass die Behörde OpenAI lediglich auffordert, die in Rede stehenden Daten zu korrigieren, was ja bereits geschehen ist.“

„In der DSGVO gilt der Grundsatz der Datenrichtigkeit – es dürfen dementsprechend keine falschen persönlichen Daten verarbeitet oder als Entscheidungsgrundlage herangezogen werden. Und dieses Prinzip missachten die allermeisten der auf dem Markt gängigen Chatbots leider massenhaft: Entweder weil schon falsche Trainingsdaten verwendet werden oder aber weil die Daten veraltet sind – oder falsch miteinander kombiniert wurden. Und wenn Daten verarbeitet werden, muss der Betroffene darauf hingewiesen werden, denn nur dann kann er auch falsche Daten korrigieren. Genau das ist hier aber auch nicht erfolgt. Wir sprechen hier aber mittlerweile von einem generellen Problem der Unkontrollierbarkeit digitaler Daten: Was mit dem Internet begann, findet jetzt mit KI seinen vorläufigen Höhepunkt.“

„Noyb kann sich legitim an dem Verfahren beteiligen, denn die DSGVO sieht ausdrücklich vor, dass sich betroffene Personen von gemeinnützigen Organisationen vertreten lassen dürfen. Der Hintergrund ist einfach: Internationale Großkonzerne verarbeiten die Daten einer Einzelperson, die sich wirtschaftlich und fachlich ansonsten nicht dagegen zur Wehr setzen könnte. Und genau hier ist Noyb eingesprungen.“

„Angenommen es gäbe ein erhebliches Bußgeld von der norwegischen Datenschutzaufsicht, würde OpenAI mit Sicherheit verwaltungsrechtlich dagegen vorgehen. Wir sprechen hier – sollte es dazu kommen – von einem absoluten Präzedenzfall, denn damit geht es um keine andere Frage als diejenige, ob LLMs und ihre Technologie in der EU in Zukunft unter dem geltenden Datenschutzrecht überhaupt noch rechtskonform angeboten werden können. Und da steckt wirtschaftspolitischer Sprengstoff drin, weshalb ich gegenwärtig nicht von einer derartigen Eskalation ausgehe.“

„Es gab durchaus vergleichbare Fälle in anderen EU-Staaten wie Österreich und Polen, bislang hat man davon aber nichts weiter gehört. Derlei Fälle werden sich in Zukunft aber häufen, und am Ende stehen wir vor der Frage: Geht es um den Datenschutz oder um die Datenwirtschaft? Diese Frage wird immer mehr eine Rolle spielen, und Europa steht hier an einem ganz zentralen Scheideweg. Der gegenwärtige Fall in Norwegen ist letztlich nur die Ausprägung eines viel tiefergehenden Konflikts des zunehmenden Verlustes individueller Datensouveränität.“