KI im regulierten Umfeld: Worauf es bei der Wahl eines KI-Dienstes ankommt

Ein Leitfaden für Geschäftsführung, IT, Datenschutz und Compliance in Banken, Praxen, Kanzleien, Industrie und kritischer Infrastruktur.

Leitfaden · Stand 5. November 2026 · Lesezeit etwa 12 Minuten · keine Rechtsberatung

KI spart dort am meisten Arbeit, wo die vertraulichsten Daten liegen: in Kreditakten, Befunden, Mandantenakten, Konstruktionsunterlagen oder Vorfallberichten. Genau dort gelten die strengsten Regeln. Dieser Leitfaden zeigt, welche Fragen Sie vor der Auswahl eines KI-Dienstes klären sollten und welche Vorschriften dahinterstehen.

1. Klären Sie, welche Daten betroffen sind

Die wichtigste Frage steht am Anfang: Welche Daten sollen Ihre Beschäftigten mit KI bearbeiten? Davon hängt ab, welche Regeln greifen.

DatenartBeispieleWichtigste Regel
Personenbezogene DatenKundendaten, Mails, Verträge mit NamenDSGVO
Besondere KategorienGesundheitsdaten, GewerkschaftszugehörigkeitArt. 9 DSGVO, im Gesundheitswesen zusätzlich § 393 SGB V
BerufsgeheimnissePatienten- und Mandantenakten§ 203 StGB, Berufsrecht
GeschäftsgeheimnisseKonstruktion, Rezepturen, Kalkulationen§ 2 GeschGehG
Daten von FinanzunternehmenKreditakten, VerdachtsfälleDORA, Bankaufsichtsrecht
Sicherheitsrelevante DatenNetzpläne, VorfallberichteNIS2, KRITIS-Dachgesetz

In der Praxis treffen meist mehrere Kategorien zusammen. Eine Kreditakte enthält personenbezogene Daten und unterliegt zugleich DORA. Ein Arztbrief enthält Gesundheitsdaten und ist ein Berufsgeheimnis.

2. Prüfen Sie, wo die Daten verarbeitet werden und wer darauf zugreifen kann

Jeder KI-Dienst verarbeitet Ihre Eingaben irgendwo auf einem Server. Entscheidend ist, wo das geschieht, wer den Dienst betreibt und welchem Recht der Betreiber unterliegt.

  • Drittlandübermittlung: Daten in Länder außerhalb der EU dürfen nur unter den Voraussetzungen der Art. 44 bis 49 DSGVO übermittelt werden, etwa auf Grundlage eines Angemessenheitsbeschlusses oder von Standarddatenschutzklauseln.
  • USA: Für zertifizierte US-Unternehmen gilt das EU-US Data Privacy Framework. Das Gericht der EU hat es im September 2025 bestätigt; dagegen ist ein Rechtsmittel beim EuGH anhängig. Die beiden Vorgängerregelungen hatte der EuGH aufgehoben.
  • Zugriff durch Behörden: Der CLOUD Act der USA verpflichtet Anbieter, die US-Recht unterliegen, Daten auf Anordnung herauszugeben, auch wenn sie in einem EU-Rechenzentrum liegen. Ein Standort in der EU allein schützt also nicht davor.
  • Unterauftragnehmer: Auch europäische KI-Plattformen nutzen oft Modelle von US-Anbietern. Fragen Sie nach der vollständigen Kette bis zum Modell.
Frage an den Anbieter

Wo genau werden Eingaben und Dokumente verarbeitet und gespeichert, welche Unterauftragnehmer sind beteiligt, und welchem Recht unterliegt jeder von ihnen?

3. Klären Sie, welche Verträge Sie brauchen

  • Auftragsverarbeitung: Verarbeitet der Anbieter personenbezogene Daten in Ihrem Auftrag, ist ein Vertrag nach Art. 28 DSGVO nötig.
  • Berufsgeheimnisträger: Ärzte, Anwälte, Steuerberater und Wirtschaftsprüfer dürfen Dienstleister nach § 203 Abs. 3 und 4 StGB nur einbinden, soweit es erforderlich ist, und müssen sie zur Geheimhaltung verpflichten. § 43e BRAO, § 62a StBerG und § 50a WPO verlangen einen Vertrag in Textform, bei Diensten im Ausland einen vergleichbaren Schutz und für mandatsbezogene Dienste die Einwilligung des Mandanten.
  • Finanzunternehmen: Art. 30 DORA schreibt Mindestinhalte für Verträge mit IKT-Dienstleistern vor, darunter die Orte der Datenverarbeitung, Zugang und Rückgabe der Daten sowie Kündigungsrechte.

4. Was Ihre Branche zusätzlich verlangt

Banken und Finanzdienstleister

Seit dem 17. Januar 2025 gilt DORA. Ein externer KI-Dienst ist in der Regel eine IKT-Dienstleistung und gehört ins Informationsregister (Art. 28 Abs. 3). Unterstützt er kritische oder wichtige Funktionen, sind Ausstiegsstrategien (Art. 28 Abs. 8) sowie Zugangs- und Prüfrechte (Art. 30 Abs. 3) nötig. Die MaRisk in der Fassung vom 30. Juni 2026 stellen klar, dass solche IKT-Dienstleistungen unter DORA fallen und nicht unter AT 9.

Gesundheitswesen

§ 393 SGB V verlangt für die Verarbeitung von Gesundheitsdaten mittels Cloud-Computing ein aktuelles C5-Testat des BSI, seit dem 1. Juli 2025 vom Typ 2, sowie eine Verarbeitung im Inland, in der EU oder in gleichgestellten Staaten mit Niederlassung im Inland. Hinzu kommt die ärztliche Schweigepflicht nach § 9 der Berufsordnung.

Kanzleien und Steuerberatung

Neben § 203 StGB gelten die Vorgaben des Berufsrechts zur Inanspruchnahme von Dienstleistungen. Bei Anbietern mit Sitz oder Verarbeitung im Ausland müssen Sie prüfen, ob der Schutz der Geheimnisse dort vergleichbar ist.

Industrie und Mittelstand

Geschäftsgeheimnisse sind nach § 2 GeschGehG nur geschützt, wenn Sie angemessene Geheimhaltungsmaßnahmen treffen. Wer vertrauliche Unterlagen ohne Regeln in öffentliche KI-Dienste eingibt, schwächt diesen Schutz.

Kritische Infrastruktur und NIS2-Einrichtungen

Seit dem 6. Dezember 2025 gilt das NIS2-Umsetzungsgesetz. Es betrifft nach Schätzung des BSI rund 29.500 Einrichtungen. § 30 BSIG verlangt Risikomanagement einschließlich der Sicherheit der Lieferkette, also auch des KI-Dienstleisters. Für erhebliche Vorfälle ist nach § 32 BSIG binnen 24 Stunden eine erste Meldung fällig. Das KRITIS-Dachgesetz gilt seit dem 17. März 2026 und betrifft vor allem die physische Resilienz.

5. Was die KI-Verordnung von Ihnen verlangt

Wer KI im Unternehmen einsetzt, ist nach der KI-Verordnung (EU) 2024/1689 in der Regel Betreiber. Für einen internen Assistenten für Chat, Dokumente und Mail-Entwürfe bedeutet das vor allem:

  • KI-Kompetenz (Art. 4): Sie ergreifen Maßnahmen, um die KI-Kompetenz Ihrer Beschäftigten zu fördern. Mehr dazu im Leitfaden KI-Kompetenz.
  • Verbotene Praktiken (Art. 5): Die Verbote gelten seit dem 2. Februar 2025.
  • Hochrisiko-Pflichten: Sie greifen nur beim Einsatz in bestimmten Bereichen wie Personalauswahl oder Kreditwürdigkeitsprüfung. Nach der Änderung durch die Verordnung (EU) 2026/1744 gelten sie dafür ab dem 2. Dezember 2027.

Prüfen Sie deshalb, ob Sie KI für Entscheidungen in diesen Bereichen einsetzen wollen. Für die meisten Assistenzaufgaben ist das nicht der Fall.

6. Die Betriebsmodelle im Vergleich

Aus den Abschnitten oben ergeben sich vier typische Wege. Welcher passt, hängt von Ihren Daten ab.

ModellOrt der VerarbeitungDrittlandbezugVertragsaufwand
Öffentlicher KI-Dienstbeim Anbieter, oft weltweitmeist jahoch, oft nicht verhandelbar
KI-Plattform mit EU-HostingEU-Rechenzentrum, Modelle oft von US-Anbieternhäufig über Unterauftragnehmermittel
Eigener Server im Rechenzentrumdedizierter Server nur für Sie, in Deutschlandnein, bei lokalen Modellengering, ein Dienstleister
Eigener Server im Hausin Ihrem Serverraumnein, bei lokalen Modellenam geringsten

Ein Mischbetrieb ist möglich: Vertrauliche Daten bleiben auf dem eigenen Server, für nicht vertrauliche Aufgaben werden Cloud-Modelle gezielt freigegeben.

7. Checkliste in zehn Schritten

  1. Legen Sie fest, welche Datenarten mit KI bearbeitet werden sollen.
  2. Lassen Sie sich Verarbeitungsorte und alle Unterauftragnehmer bis zum Modell nennen.
  3. Prüfen Sie Drittlandbezug und Zugriffsrechte ausländischer Behörden.
  4. Schließen Sie die nötigen Verträge zu Auftragsverarbeitung und Verschwiegenheit, bei Finanzunternehmen auch nach Art. 30 DORA.
  5. Prüfen Sie, ob eine Datenschutz-Folgenabschätzung nach Art. 35 DSGVO nötig ist.
  6. Stellen Sie sicher, dass die KI nur Dokumente sieht, die die fragende Person sehen darf.
  7. Sorgen Sie für Protokollierung, damit nachvollziehbar ist, wer was getan hat.
  8. Planen Sie den Ausstieg mit vollständigem Export, Rückgabe und Löschung der Daten.
  9. Schulen Sie Ihre Beschäftigten und dokumentieren Sie die Schulungen.
  10. Geben Sie eine Nutzungsrichtlinie heraus, damit niemand auf öffentliche Dienste ausweicht.
So setzt inhouse-ki das um

Die Modelle laufen lokal auf einem Server nur für Sie, in einem Rechenzentrum in Deutschland oder bei Ihnen im Haus. Sie erhalten Rechte pro Dokument, ein Audit-Log, vollständigen Export und verschlüsselte Backups; der Support greift nur mit Ihrer Zustimmung zu. Cloud-Modelle kann Ihre IT bei Bedarf zuschalten. Zum Trust Center

Quellen

Dieser Leitfaden gibt einen Überblick und ersetzt keine Rechtsberatung. Ausführliche Erläuterungen finden Sie unter Rechtliche Grundlagen.

Sprechen wir über Ihre Anforderungen

Sie erfahren, wie sich inhouse-ki in Ihre Prüfungen und Register einfügt, und erhalten die passenden Unterlagen.