KI im Unternehmen: Der Rechtsrahmen nach AI-Act, Datenschutz und Urheberrecht
- Dr. Martin Franz
- 30. Juli
- 8 Min. Lesezeit
Aktualisiert: 5. Aug.
Künstliche Intelligenz im Unternehmen: Wie AI-Act, DSGVO und Urheberrecht den rechtssicheren Einsatz von KI-Anwendungen bestimmen – Grundlagen für Anbieter, Betreiber und Rechtsabteilungen.
Künstliche Intelligenz ist da – und sie bleibt
Künstliche Intelligenz (KI, englisch Artificial Intelligence, AI) bestimmt seit einigen Jahren Beruf und Freizeit zunehmend mit und wird auch nicht mehr verschwinden. Unternehmen können sich auf diese Situation nur einstellen, indem sie AI so gut wie möglich verstehen und beherrschen, statt sich von ihr beherrschen zu lassen.
So faszinierend die Ergebnisse generativer AI und großer Sprachmodelle (Large Language Models, LLM) auch sind, wenn sie innerhalb von Sekunden auf einen einfachen Prompt hin ein seitenlanges, lauffähiges Programm ausgeben – ebenso offensichtlich sind ihre Schwächen, insbesondere Halluzinationen, und ihr Missbrauchspotenzial. Die rechtliche Beurteilung von KI-Anwendungen im Unternehmen beruht primär auf dem AI-Act der EU, der im Kern ein Produktsicherheitsgesetz ist, ergänzt durch die Datenschutz-Grundverordnung (DSGVO), soweit personenbezogene Daten betroffen sind, sowie das Urheberrecht, soweit geschützte Werke tangiert sind.
Was ist Künstliche Intelligenz eigentlich? Eine Definition ohne Fachchinesisch
Der AI-Act definiert ein KI-System als maschinengestütztes System, das für einen unterschiedlich autonomen Betrieb ausgelegt ist, nach Betriebsaufnahme anpassungsfähig sein kann und aus Eingaben Ausgaben wie Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen ableitet, die physische oder virtuelle Umgebungen beeinflussen können (Art. 3 Nr. 3 AI-Act).
Vereinfacht gesagt: Anders als klassische, regelbasierte Software – bei der Menschen feste „Wenn-Dann“-Regeln vorgeben – wird einer AI nur Lernmaterial und das gewünschte Ergebnis vorgegeben (Datasets). Die Software passt sich dann selbst so an, dass sie aus diesem Datensatz einen bestimmten Output errechnet – ein Vorgang, der „Lernen“ oder „Ableiten“ genannt wird. Technisch werden dabei die Parameter künstlicher neuronaler Netze durch Backpropagation verändert. Die internen Regeln sind dabei von außen kaum nachvollziehbar – bekannt als Blackbox-Problem.
AI ist im Kern nichts anderes als die statistische Berechnung von Wahrscheinlichkeiten aufgrund von Lernmaterial, angewendet auf ähnliche Situationen (Pattern Recognition). LLMs berechnen dabei nur Textwahrscheinlichkeiten – wirken aber durch die enorme Menge an Lernmaterial und Rechenleistung, als kämen die Antworten von einem Menschen. Der UK Bar Council bringt es auf den Punkt: Die Fähigkeit von LLMs, überzeugende, aber falsche Inhalte zu erzeugen, wirft ethische Bedenken auf – mit Anthropomorphismus, Halluzinationen und Informationschaos als Hauptrisiken.
Der AI-Act: Die Risikopyramide als Kernprinzip
Der AI-Act verfolgt einen risikobezogenen Ansatz: Je höher das potenzielle Risiko einer AI-Anwendung, desto strenger die Regulierung.
Risikostufe
Unannehmbares Risiko – z. B. Social Scoring, Predictive Policing, Emotionserkennung am Arbeitsplatz, biometrische Kategorisierung
Hohes Risiko – z. B. Bewerber-Screening, Bonitätsprüfung, Kreditrisiko, kritische Infrastruktur, berufliche Bildung
Geringes Risiko – z. B. Chatbots, KI-generierte Inhalte, Deepfakes
Minimales Risiko – z. B. interne Datenanalyse ohne PII, Spamfilter
Rechtsfolge
Verboten (Art. 5); Bußgeld bis 35 Mio. € oder 7 % des weltweiten Jahresumsatzes
Erlaubt mit umfangreichen Kontroll- und Nachweispflichten (Art. 6); Bußgeld bis 15 Mio. € oder 3 % des Jahresumsatzes
Transparenzpflichten (Art. 50), z. B. Kennzeichnungspflicht
Keine besonderen Pflichten aus dem AI-Act
Bei den Sanktionen ist zu erwarten, dass die Behörden ähnlich wie bei der DSGVO vorgehen: zunächst Auskunft verlangen, dann bei kleineren Verstößen mit Strafen drohen und erst bei Missachtung tatsächlich Bußgelder verhängen. Die Höchststrafen wurden bislang vor allem gegen US-Unternehmen ausgeschöpft, die sich bewusst nicht an EU-Recht halten wollten.
Wer wird erfasst? Anbieter und Betreiber
Der AI-Act unterscheidet insbesondere zwischen Anbietern, die KI-Systeme entwickeln oder entwickeln lassen und unter eigenem Namen in der EU in Verkehr bringen, und Betreibern, die ein KI-System in eigener Verantwortung beruflich nutzen. Für Unternehmen entscheidend: Ein Betreiber kann zum Anbieter werden, wenn er ein Hochrisiko-System mit eigener Marke versieht (Branding), es wesentlich verändert oder seine Zweckbestimmung so verändert, dass daraus ein Hochrisiko-System wird – etwa durch Finetuning.
Rutscht ein Betreiber in die Anbieterrolle, unterliegt er einer enorm gesteigerten Pflichtenlast, die er in der Regel weder erfüllt hat noch kurzfristig erfüllen kann. Der AI-Act gilt zudem exterritorial: für alle Anbieter, die ihr System in der EU in Verkehr bringen oder nutzen lassen, unabhängig vom Sitz des Unternehmens.
Zeitplan: Wann gilt was? (Stand 2025, inzwischen wurden die Fristen angepasst)
2. Februar 2025: AI-Systeme mit unannehmbarem Risiko sind verboten.
2. August 2025: Vorschriften für AI mit allgemeinem Verwendungszweck treten in Kraft.
2. August 2026: Regeln für Hochrisikosysteme nach Anhang III (u. a. HR, Bonität, kritische Infrastruktur) treten in Kraft.
2. August 2027: Vorschriften für Hochrisikosysteme nach Anhang I (u. a. sicherheitsrelevante Produktkomponenten) treten in Kraft.
Für vor dem 2. August 2026 in Verkehr gebrachte Hochrisikosysteme gelten Übergangsfristen bis 2030.
Pflichten bei Hochrisiko-Anwendungen
Anbieter von Hochrisikosystemen müssen unter anderem ein Risikomanagementsystem betreiben, Data Governance sicherstellen, umfangreiche technische Dokumentation führen, jede Nutzung protokollieren, menschliche Aufsicht ermöglichen und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit gewährleisten. Vor Inverkehrbringen sind eine EU-Konformitätserklärung, die CE-Kennzeichnung und eine Registrierung in der EU-Datenbank erforderlich.
Betreiber von Hochrisikosystemen haben demgegenüber schlankere, aber keineswegs triviale Pflichten: Sie müssen das System durch kompetentes Personal gemäß Betriebsanleitung bedienen lassen, für repräsentative Eingabedaten sorgen, Probleme und schwerwiegende Vorfälle melden und – beim Einsatz am Arbeitsplatz – Betriebsrat und Arbeitnehmer informieren. Generelle Strategie: Hochrisiko-Systeme möglichst vermeiden, insbesondere durch einen „Human in the Middle“, der die eigentliche Entscheidung trifft.
Datenschutz: Wann greift die DSGVO?
Die DSGVO gilt, sobald AI-Anwendungen personenbezogene Daten verarbeiten. Die Verarbeitung muss unter anderem rechtmäßig, zweckgebunden, angemessen und auf das notwendige Maß beschränkt sein (Datenminimierung) und setzt eine wirksame Rechtsgrundlage voraus – etwa Einwilligung, Vertragserfüllung oder ein überwiegendes berechtigtes Interesse. Hinzu kommen Transparenzpflichten, Auskunfts-, Lösch- und Berichtigungsrechte, technische und organisatorische Maßnahmen (TOMs), ein Verzeichnis von Verarbeitungstätigkeiten (VVT) sowie – bei hohem Risiko, was bei AI häufig der Fall ist – eine Datenschutz-Folgenabschätzung. Werden Dritte im Auftrag tätig, ist zusätzlich ein Auftragsverarbeitungsvertrag (AVV) erforderlich.
Generelle Strategien: so wenig personenbezogene Daten wie möglich verwenden (Pseudonymisierung, Anonymisierung) und, wo nötig, eine wirksame Einwilligung einholen.
Weitere Gesetze neben AI-Act und DSGVO
Da AI menschliche Tätigkeiten auf Software auslagert, können grundsätzlich alle Gesetze relevant werden, die auch die jeweilige menschliche Tätigkeit regeln – je nach Anwendungsfall etwa das Urheber-, Marken- und Designrecht, das Gesetz zum Schutz von Geschäftsgeheimnissen, das Allgemeine Gleichbehandlungsgesetz (AGG) im HR-Bereich, die Bundesrechtsanwaltsordnung (BRAO) in der Rechtsberatung oder die Kapitaladäquanzverordnung (CRR) bei Kreditausfallrisiken.
Typische Anwendungsfälle im Unternehmen
In der Praxis zeigt sich das Zusammenspiel von AI-Act, Datenschutz und weiteren Gesetzen besonders deutlich in bestimmten Unternehmensbereichen: beim Screening von Bewerbungen und Mitarbeiterbeurteilungen im HR, bei der Recherche durch LLMs in der Rechtsabteilung, bei der Prognose von Kreditrisiken im Finanzbereich, bei Chatbots in Marketing und Vertrieb sowie bei der Produktion von Content mit AI-Tools. Die folgenden Fallbeispiele zeigen, welche Risiken sich daraus konkret ergeben.
Fallbeispiele aus der Praxis
Fallbeispiel 1: Bias beim automatisierten Bewerber-Screening (Mobley v. Workday)
Ein über 40 Jahre alter afroamerikanischer IT-Fachmann bewarb sich mehr als 100 Mal bei Unternehmen, die die HR-Software Workday einsetzten – und erhielt jedes Mal eine Absage, teils binnen weniger Minuten mitten in der Nacht. Aus seiner Klage gegen Workday wurde 2025 eine Sammelklage; Workday selbst schätzt, dass potenziell „hunderte Millionen“ Personen betroffen sein könnten. In Deutschland kämen zu einem solchen Sachverhalt Verstöße gegen AI-Act, DSGVO und das Allgemeine Gleichbehandlungsgesetz (AGG) hinzu: KI-Systeme zur Bewerberauswahl gelten als Hochrisikosysteme, bei Diskriminierung trägt der Arbeitgeber nach § 22 AGG die Beweislast, und ein rein automatisiert entscheidendes System verstößt regelmäßig gegen Art. 22 DSGVO.
Fallbeispiel 2: Halluzinierte Urteile vor Gericht
Ein Rechtsanwalt reicht einen Schriftsatz ein und beruft sich dabei auf frühere Gerichtsentscheidungen. Das Gericht stellt fest, dass die zitierten Fundstellen frei erfunden sind – der Schriftsatz wurde von ChatGPT entworfen, das die Zitate halluziniert hatte. Solche Fälle haben sich in den USA, Kanada und UK bereits mehrfach ereignet; den Anwälten drohten Sanktionen bis zum Verlust der Zulassung. Der UK High Court brachte es auf den Punkt: KI-Sprachmodelle antizipieren nur den wahrscheinlichsten folgenden Text, ohne ein Konzept von „Realität“ zu haben. Nach der Bundesrechtsanwaltsordnung ist der „Human in the Middle“ für Anwälte deshalb keine Option, sondern Pflicht – KI-Ausgaben, insbesondere Fundstellen, müssen stets persönlich überprüft werden.
Fallbeispiel 3: Urheberrechtsklagen gegen KI-Anbieter
Weltweit häufen sich Klagen von Rechteinhabern gegen KI-Anbieter: Disney und Universal werfen Midjourney vor, endlose unerlaubte Kopien urheberrechtlich geschützter Werke zu erzeugen; die GEMA klagt gegen Suno Inc., weil dessen KI-Tool Audioinhalte erzeugt habe, die Originalsongs wie „Atemlos“ oder „Mambo No. 5“ zum Verwechseln ähnlich seien; Nintendo geht gegen das weitgehend KI-generierte Spiel Palworld vor, das als „Pokémon mit Pistolen“ bekannt wurde. Der Ausgang dieser Verfahren ist offen, richtet sich aber bislang ausschließlich gegen die Anbieter der KI-Systeme – nicht gegen deren Betreiber.
Fallbeispiel 4: Keine Entlastung durch „die KI war es“
Ein deutsches Gericht hat schon früh klargestellt, dass sich Unternehmen der Haftung für Fehlfunktionen einer KI-Anwendung nicht durch den Hinweis entziehen können, an einem vollautomatisierten Vorgang nicht beteiligt gewesen zu sein, wenn die eingesetzte Software unzulänglich programmiert ist. In einem vergleichbaren Fall sprach das Bundesarbeitsgericht einem Arbeitnehmer Schadensersatz zu, weil der Arbeitgeber dessen Daten ohne ausreichende Einwilligung zu Testzwecken an einen KI-Anbieter übertragen hatte.
Wie Unternehmen KI rechtssicher einsetzen
Die generellen Vorschriften für den Einsatz von AI müssen eingehalten werden – von KI-Kompetenz über das Verzeichnis von Verarbeitungstätigkeiten (VVT) bis zum Auftragsverarbeitungsvertrag (AVV) nach DSGVO. Betreiber sollten KI-Systeme wegen des eigenen Haftungsrisikos stets selbst auf Fehler, Bias und Rechtsverstöße testen, statt sich allein auf den Anbieter zu verlassen. Erforderliche Einwilligungen von Mitarbeitern, Betriebsrat, Bewerbern oder Kunden sowie Hinweispflichten zu KI-generierten Inhalten sind in jedem Einzelfall zu prüfen. Fast immer ist ein „Human in the Middle“ sinnvoll – er vermeidet nicht nur die Einstufung als Hochrisikosystem, sondern deckt auch Bias und andere Fehler frühzeitig auf. Bei Veränderung, Einbindung oder Rebranding bestehender KI-Systeme ist besondere Vorsicht geboten, um nicht ungewollt vom Betreiber zum Anbieter mit stark erhöhter Pflichtenlast zu werden.
Fazit
Die Analyse typischer Anwendungsfälle zeigt: Der AI-Act lässt zentrale Fragen bislang offen, etwa wann ein Betreiber durch Branding oder Finetuning zum Anbieter wird und ob der AI-Act als Schutzgesetz im Sinne des § 823 Abs. 2 BGB gilt. Mit höchstrichterlicher Klärung durch den EuGH ist frühestens ab 2030 zu rechnen. Bis dahin gilt für Unternehmen: KI ist ein Werkzeug, dessen Nutzen und Risiken zu 100 % vom sachgerechten Einsatz abhängen. Je genauer ein Unternehmen den Rechtsrahmen kennt, desto effektiver und risikoärmer lässt sich KI einsetzen.
trustberg begleitet Unternehmen, Anbieter und Betreiber von KI-Systemen bei der rechtssicheren Einführung von AI-Anwendungen, bei AI-Act- und DSGVO-Compliance sowie bei urheberrechtlichen Fragestellungen rund um KI-generierten Content.
Häufige Fragen zu KI im Unternehmen
Was ist der AI-Act und für wen gilt er?
Der AI-Act ist ein EU-Gesetz zur Produktsicherheit von KI-Anwendungen mit risikobezogenem Ansatz. Er gilt exterritorial für Anbieter, die KI-Systeme in der EU in Verkehr bringen, und für Betreiber, die KI-Systeme beruflich in der EU nutzen – unabhängig vom Unternehmenssitz.
Wann wird ein Betreiber zum Anbieter?
Ein Betreiber wird zum Anbieter, wenn er ein Hochrisiko-System mit eigener Marke versieht, es wesentlich verändert oder seine Zweckbestimmung so verändert, dass daraus ein Hochrisikosystem wird – etwa durch Finetuning. Das führt zu einer erheblich gesteigerten Pflichtenlast.
Welche KI-Anwendungen gelten als Hochrisikosysteme?
Unter anderem KI-Systeme für Bewerber-Screening und Personalmanagement, Bonitäts- und Kreditwürdigkeitsprüfung, Risikobewertung bei Lebens- und Krankenversicherung, kritische Infrastruktur und berufliche Bildung – sofern sie die Entscheidungsfindung wesentlich beeinflussen.
Welche Rolle spielt die DSGVO beim Einsatz von KI?
Die DSGVO gilt immer dann, wenn eine KI-Anwendung personenbezogene Daten verarbeitet. Erforderlich sind unter anderem eine wirksame Rechtsgrundlage, ein Verzeichnis von Verarbeitungstätigkeiten und häufig eine Datenschutz-Folgenabschätzung.
Warum ist ein „Human in the Middle“ so wichtig?
Ein menschlicher Entscheider in der Schleife verhindert häufig die Einstufung als Hochrisikosystem, deckt Bias und Fehler frühzeitig auf und ist etwa für Rechtsanwälte nach der Bundesrechtsanwaltsordnung sogar verpflichtend.
Wer haftet, wenn eine KI-Anwendung einen Fehler macht?
„Die KI“ selbst haftet nie – haften können nur die beteiligten natürlichen oder juristischen Personen, insbesondere Anbieter und Betreiber. Deutsche Gerichte haben bereits klargestellt, dass sich Unternehmen nicht damit entlasten können, an einem automatisierten Vorgang nicht beteiligt gewesen zu sein.
Dr. Martin Franz, M.A. ist Partner bei trustberg und als Rechtsanwalt in Deutschland und Kalifornien zugelassen. Er verfügt über mehr als 15 Jahre Erfahrung als General Counsel in der Technologiebranche und war zudem Gründer und Geschäftsführer eines Tech-Startups. Seine Schwerpunkte liegen im Technologie- und IT-Recht, im Urheber- und Medienrecht sowie im Gesellschaftsrecht und M&A. Bei trustberg berät er Unternehmen, Anbieter und Betreiber von KI-Systemen zu AI-Act-Compliance, Datenschutz und digitalen Rechtsfragen.
Dieses essential zeigt, wie Unternehmen AI-Anwendungen rechtssicher einsetzen können. Es stellt die wichtigsten Anwendungsfelder vor und macht Chancen sowie Risiken deutlich. Was darf ich mit AI tun? Wie setze ich AI korrekt ein? Und welche Fehler führen direkt zu rechtlichen Problemen? Dr. Martin Franz liefert praxisnahe Orientierung und konkrete Leitlinien für den erfolgreichen KI-Einsatz im Unternehmen.
