KI und Datenschutz bei ausgelagerten Dienstleistungen: Warum muss der Auftraggeber den Wirtschaftsteilnehmer vor der Auftragsvergabe bewerten?

vor 1 Tag

4 Min. Lesezeit

Wenn der Vertragsgegenstand die Verarbeitung personenbezogener Daten umfasst – etwa die Verwaltung von Sozial-, Gesundheits-, Bildungs- und Steuerdienstleistungen, Helpdesks, Dokumentendiensten, Inkasso, Personalmanagement, Videoüberwachung, IT-Dienstleistungen und allgemeiner Beratung –, sollte der Auftraggeber nicht einfach eine Dienstleistung erwerben: Er bestellt in der Regel (außer in bestimmten Fällen) einen Auftragsverarbeiter gemäß Artikel 28 der Verordnung (EU) 2016/679. Die Bestellung erfolgt nicht frei, sondern muss von einer Person vorgenommen werden, die „hinreichende Garantien für die Umsetzung geeigneter technischer und organisatorischer Maßnahmen bietet“.

Beabsichtigt der Wirtschaftsteilnehmer, die Dienstleistung ganz oder teilweise mithilfe von Systemen der künstlichen Intelligenz zu erbringen, darf diese Bewertung nicht bis zur Ausführungsphase aufgeschoben werden. Sie muss früher abgeschlossen sein, wenn der Auftraggeber das Spezialrecht festlegt und den Anbieter auswählt.

Es geht nicht darum, künstliche Intelligenz in ausgelagerten öffentlichen Dienstleistungen zu verbieten. Es geht vielmehr darum, zu verhindern, dass die Verwaltung sie entdeckt, sobald sie bereits Teil des Prozesses ist und sie diese nicht mehr kontrollieren kann.

Kennen Sie Ihren Lieferanten wirklich gut.

Die Lieferantenbewertung darf nicht auf allgemeinen Konformitätserklärungen basieren. Wird die Dienstleistung mithilfe von KI-Systemen erbracht, ändern sich die Verarbeitungsarchitektur, die beteiligten Akteure und das Risikoprofil. Insbesondere ergeben sich folgende Änderungen:

die Kette von Unterauftragnehmern , da das Modell oft von einem Drittanbieter bereitgestellt wird, manchmal in der Cloud, manchmal außerhalb der EU;
Datenflüsse mit möglichen Übermittlungen in Drittländer und der daraus resultierenden Notwendigkeit, die Artikel 44 ff. der DSGVO zu überprüfen;
die Frage der Wiederverwendung von Daten für Schulungszwecke, Feinabstimmung oder Serviceverbesserung, die mit der Rolle des Datenverantwortlichen unvereinbar ist, der Daten nur auf dessen Anweisung hin verarbeitet;
die Beibehaltung von Eingabeaufforderungen und Ausgaben , die oft durch die Richtlinien des Modellanbieters und nicht durch die Service-Level-Vereinbarung geregelt werden;
das Ausmaß des tatsächlichen menschlichen Eingriffs in Aktivitäten, die Menschen betreffen.

Eine Verwaltung, die im Laufe ihrer Tätigkeit feststellt, dass die Daten ihrer Bürger von einem externen Datenverarbeitungsdienstleister verarbeitet und bei einem ausländischen Anbieter gespeichert werden, sieht sich mit einer unvorhergesehenen, uninformierten und unregulierten Datenverarbeitung konfrontiert, für die es keine angemessene vertragliche Grundlage gibt.

Späte Abhilfemaßnahmen sind stets kostspieliger als präventive Überprüfungen: Neuverhandlung, teilweise Aussetzung, Aktualisierung der Informationen, mögliche Benachrichtigung über einen Verstoß mit Folgen für die Kontinuität der Dienstleistung.

Hinzu kommt die Frage der substanziellen technischen Kompetenz. Wer Bearbeitungszeiten oder nachhaltige Produktionsmengen ausschließlich durch Automatisierung verspricht, muss dies offenlegen. Andernfalls erfolgt die vergleichende Bewertung auf einer ungleichen Basis: Ein Angebot, das KI auslässt, wird so bewertet, als basiere das Ergebnis auf organisatorischen und fachlichen Ressourcen, die in Wirklichkeit nicht zum Einsatz kommen. Es geht hier um die Zuverlässigkeit des Angebots, um Transparenz und nicht nur um Datenschutz.

Administrative Transparenz und Rechenschaftspflicht

Die Verwaltung, die einen Dienst mit der Verarbeitung personenbezogener Daten beauftragt, ist mehreren Parteien gegenüber rechenschaftspflichtig: den betroffenen Personen, denen sie gemäß Artikel 13 und 14 DSGVO genaue Informationen bereitstellen muss; der Aufsichtsbehörde, der sie gemäß Artikel 5 Absatz 2 DSGVO Rechenschaft ablegen muss; anderen Wettbewerbern, denen sie eine Gleichbehandlung gewährleisten muss; und dem Verwaltungsrichter im Falle eines Streitfalls.

Die Datenschutzerklärung muss die Kategorien der Empfänger, jegliche Datenübermittlungen und das Vorhandensein automatisierter Entscheidungsprozesse offenlegen. Nutzt der Dienst KI-Systeme und ist sich die Verwaltung dessen nicht bewusst, ist die Datenschutzerklärung objektiv unvollständig. Die Informationslücke liegt nicht beim Anbieter, sondern beim Verantwortlichen für die Datenverarbeitung.

Im Hinblick auf administrative Transparenz, Bürgerzugang und die Notwendigkeit öffentlicher Rechenschaftspflicht kann es nicht hingenommen werden, dass eine strukturelle Komponente der Dienstleistungserbringung intransparent bleibt.

Bewerten Sie den Lieferanten und die getroffenen Sicherheitsmaßnahmen im Vorfeld.

Das ist der entscheidende Punkt. Bei der Vorprüfung geht es nicht nur darum, nachzuweisen, dass der Lieferant geprüft wurde, sondern auch darum, die Sicherheitsmaßnahmen zu bewerten, die er tatsächlich umsetzen will. Die Sicherheit der Datenverarbeitung mit KI-Systemen birgt zudem zusätzliche Risiken, die über die üblicherweise in Spezifikationen berücksichtigten hinausgehen. Konkret:

Exfiltration über Input
unkontrollierte Persistenz von Eingabeaufforderungen, Ausgaben, Cache und Protokollen, wobei die Aufbewahrungszeiten einseitig vom Anbieter festgelegt werden;
Schnelle Injektion und Eingabemanipulation ;
Ungenauigkeit der Ergebnisse , die nicht nur im Hinblick auf die Qualität, sondern auch im Sinne des Genauigkeitsgrundsatzes von Art. 5 Abs. 1 Buchst. d DSGVO relevant ist, wenn die Ergebnisse in Dokumente über natürliche Personen einfließen;
nicht deklariertes Profiling und das Risiko im Wesentlichen automatisierter Entscheidungen gemäß Art. 22 DSGVO, auch ohne formale Qualifizierung als solche;
Voreingenommenheit und (potenzielle) Diskriminierung mit direkten Auswirkungen auf die Rechte der betroffenen Personen und Implikationen für Art. 30 des Kodex;
Schwierigkeiten bei der Ausübung von Rechten : Berichtigung, Löschung und Einschränkung werden problematisch, wenn die Daten in Indizes, Caches oder Trainingsprozessen geflossen sind;
undurchsichtige Lieferkette mit Untermanagern auf mehreren Ebenen und technischen Verantwortlichkeiten, die im Falle eines Zwischenfalls schwer zu rekonstruieren sind;
Lock-in und Kontinuität : Abhängigkeit von einem Modell oder Anbieter, dessen einseitige Unterbrechung oder Änderung die Leistungsfähigkeit beeinträchtigt.

Was genau in den Ausschreibungsunterlagen gefordert werden sollte

Beschreibung der Funktionen, für die die KI eingesetzt wird, der Phasen des jeweiligen Dienstes und der Kategorien der beteiligten Daten;
Qualifizierung des Systems im Hinblick auf das KI-Gesetz, einschließlich der Angabe, ob es unter Anhang III fällt, und Identifizierung der Rollen von Lieferant und Anwender;
Identifizierung des Modellanbieters, der Lieferarchitektur und des Behandlungsortes;
ausdrückliches Verbot der Nutzung der Daten der Verwaltung für Schulungs-, Feinabstimmungs- oder eigene Zwecke des Anbieters, sofern nicht ausdrücklich schriftlich etwas anderes angeordnet wird;
Regelung der Speicherung von Eingabeaufforderungen, Ausgaben und Protokollen mit vertraglich festgelegten Zeiträumen, die nicht den Richtlinien des Anbieters überlassen werden;
spezifische Sicherheitsmaßnahmen: Trennung von Umgebungen, Verschlüsselung, Zugriffskontrolle, Minimierung und Pseudonymisierung der Eingabe, Filter zur Verhinderung von Datenverlust;
Beschreibung der menschlichen Aufsicht: Wer validiert, welche Ergebnisse, mit welchen Fähigkeiten und mit welcher Nachvollziehbarkeit der Validierung;
Verpflichtung zur Bereitstellung der für die Datenschutz-Folgenabschätzung (DSFA) bzw. die Folgenabschätzung der Grundrechte des Verantwortlichen erforderlichen Dokumentation sowie, falls zutreffend, der Folgenabschätzung gemäß Art. 27 des AI Act;
Verbot der Verwendung sensibler Daten des Auftraggebers, sofern diese nicht vorhersehbar sind;
vollständige Liste der Unterauftragnehmer, vorherige Genehmigung für Änderungen und vertragliche Kette gemäß Artikel 28 Absatz 4 DSGVO;
Vorfallmanagement mit Benachrichtigungsfristen an den Datenverantwortlichen gemäß Artikel 33 der DSGVO.

Die Vergabe eines Auftrags, der die Verarbeitung personenbezogener Daten beinhaltet, ist hinsichtlich der vom erfolgreichen Bieter eingesetzten Technologie kein neutraler Akt.

Die vorherige Frage, welche KI-Systeme der Betreiber einsetzen will, entspricht nicht einer Logik des Verdachts, sondern der Struktur der Pflichten, die auf dem Datenverantwortlichen und nun auch auf dem Anbieter von KI-Systemen lasten.

Benötigen Sie Hilfe ? Kontaktieren Sie uns! Wir geben Ihnen gerne weitere Informationen.

Ich möchte mehr erfahren

Sie werden auf unsere Seite „Kontakt“ weitergeleitet.