Datenrichtigkeit in Large Language Models

Vor diesem Hintergrund veranstaltete die Universität Münster im Rahmen des SMARD-GOV Projekts auf der Konferenz „Computers, Privacy and Data Protection“ (CPDP) in Brüssel einen interdisziplinären Workshop zum Thema Datenrichtigkeit in LLMs. Sprecher:innen waren der Journalist, Blogger und Author Martin Bernklau, der Rechtswissenschaftler Constantin Lessmann von der Friedrich-Alexander-Universität Erlangen-Nürnberg (in Vertretung für Prof. Dr. Paulina Jo Pesch) und die Informatikerin Kristina Magnussen von der Universität Münster.

Den Auftakt des Workshops machte Martin Bernklau mit einem persönlichen Erfahrungsbericht. Darin schilderte er, wie er selbst von Falschaussagen in KI-Chatbots betroffen war. Im Jahr 2024 bezeichnete ihn Bing Copilot unter anderem fälschlicherweise als Sexualtraftäter, Betrüger und Ausbrecher aus einer psychiatrischen Einrichtung(1). Einige Ausgaben enthielten darüber hinaus seine Telefonnummer und Wohnadresse. Tatsächlich ist Martin Bernklau Journalist. Die vom LLM erfundenen Straftaten bezogen sich auf Gerichtsverfahren, über die er berichtet hatte. Diese falschen Behauptungen wurden über Monate hinweg generiert, zunächst von Bing Copilot und später auch von ChatGPT. Nachdem der Fall öffentlich bekannt geworden war und zahlreiche Medien darüber berichtet hatten, reagierte Microsoft mit einem Ausgabefilter ein, der die Ausgabe von Martin Bernklaus Namen durch Bing Copilot vollständig verhinderte.

Nach einer kurzen Diskussion mit den Teilnehmenden zu diesem Fall folgte eine rechtliche Einschätzung zu Datenrichtigkeit in LLMs von Constantin Lessmann. Der Grundsatz der Datenrichtigkeit ist in der Europäischen Datenschutz-Grundverordnung (DSGVO) verankert. Verantwortliche Stellen sind verpflichtet sicherzustellen, dass verarbeitete personenbezogene Daten sachlich richtig sind. Unrichtige Daten müssen unverzüglich korrigiert oder gelöscht werden. Werden durch ein LLM Aussagen über eine identifizierbare Person generiert, stellen auch diese Ausgaben personenbezogene Daten dar. Daher gilt auch in diesen Fällen das Datenrichtigkeitsgebot. Darüber hinaus können diffamierende Falschaussagen die Persönlichkeitsrechte der Betroffenen verletzen. Im Workshop diskutierte Constantin Lessmann unter anderem auch, ob Betroffenen in solchen Fällen Schadensersatzansprüche zustehen und welche grundrechtlichen Fragen sich ergeben, wenn staatliche Stellen Entscheidungen auf Grundlage falscher KI-generierter Informationen treffen.

Obwohl derartige Falschaussagen erhebliche Auswirkungen haben können, sind sie bislang sowohl aus rechtswissenschaftlicher als auch aus technischer Sicht nur unzureichend erforscht. Noch ist weitgehend unklar, wie häufig solche Fehler auftreten, was die genauen Ursachen sind und wie sie sich wirksam verhindern oder zumindest eindämmen lassen. Als Grundlage für die weitere Forschung stellte Kristina Magnussen daher eine erste Taxonomie von Datenrichtigkeitsproblemen in LLMs vor(2). Im Anschluss diskutierten die Teilnehmenden diese Einordnung und brachten Anregungen für ihre Weiterentwicklung ein.

Die Diskussionen machten deutlich, dass viele Teilnehmende Fälle wie den von Martin Bernklau als äußerst besorgniserregend einschätzten, gleichzeitig jedoch nicht überrascht waren, dass solche Probleme auftreten. Trotz der rasanten Verbreitung von LLMs besteht weiterhin erheblicher Forschungsbedarf hinsichtlich ihrer datenschutzrechtlichen Auswirkungen, und viele rechtliche Fragen sind bislang offen. An dieser Stelle setzt das vom Bundesministerium für Forschung, Technologie und Raumfahrt (BMFTR) über die Plattform Privatheit geförderte Projekt SMARD-GOV an, das sich insbesondere mit den datenschutzrechtlichen Herausforderungen beim Einsatz von LLMs in Behörden befasst. Die im Workshop diskutierten Fragen werden dort weiter untersucht, um technische und rechtliche Lösungsansätze für einen datenschutzkonformen Einsatz von LLMs zu entwickeln.

------

(1) https://incidentdatabase.ai/cite/770/

(2) Magnussen, K., Böhme, R., “Personal Data Accuracy is a Blind Spot in LLM Privacy Research – Opinion Paper”, Annual Privacy Forum 2026