Art. 6 KI-VO - Einstufungsvorschriften für Hochrisiko-KI-Systeme

(1)Ungeachtet dessen, ob ein KI‑System unabhängig von den unter den Buchstaben a und b genannten Produkten in Verkehr gebracht oder in Betrieb genommen wird, gilt es als Hochrisiko-KI‑System, wenn die beiden folgenden Bedingungen erfüllt sind:

a) das KI‑System soll als Sicherheitsbauteil eines unter die in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union fallenden Produkts verwendet werden oder das KI‑System ist selbst ein solches Produkt;

b) das Produkt, dessen Sicherheitsbauteil gemäß Buchstabe a das KI‑System ist, oder das KI‑System selbst als Produkt muss einer Konformitätsbewertung durch Dritte im Hinblick auf das Inverkehrbringen oder die Inbetriebnahme dieses Produkts gemäß den in Anhang I aufgeführten Harmonisierungsrechtsvorschriften der Union unterzogen werden.

(2) Zusätzlich zu den in Absatz 1 genannten Hochrisiko-KI‑Systemen gelten die in Anhang III genannten KI‑Systeme als hochriskant.

ANHANG III – der KI-Verordnung

Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2

Als Hochrisiko-KI-Systeme gemäß Artikel 6 Absatz 2 gelten die in folgenden Bereichen aufgeführten KI-Systeme:

4. Beschäftigung, Personalmanagement und Zugang zur Selbstständigkeit

a) KI‑Systeme, die bestimmungsgemäß für die Einstellung oder Auswahl natürlicher Personen verwendet werden sollen, insbesondere um gezielte Stellenanzeigen zu schalten, Bewerbungen zu sichten oder zu filtern und Bewerber zu bewerten;

b) KI‑Systeme, die bestimmungsgemäß für Entscheidungen, die die Bedingungen von Arbeitsverhältnissen, Beförderungen und Kündigungen von Arbeitsvertragsverhältnissen beeinflussen, für die Zuweisung von Aufgaben aufgrund des individuellen Verhaltens oder persönlicher Merkmale oder Eigenschaften oder für die Beobachtung und Bewertung der Leistung und des Verhaltens von Personen in solchen Beschäftigungsverhältnissen verwendet werden soll.

Art. 2 KI-VO -Anwendungsbereich

(7) Die Rechtsvorschriften der Union zum Schutz personenbezogener Daten, der Privatsphäre und der Vertraulichkeit der Kommunikation gelten für die Verarbeitung personenbezogener Daten im Zusammenhang mit den in dieser Verordnung festgelegten Rechten und Pflichten. Diese Verordnung berührt nicht die Verordnung (EU) 2016/679 bzw. (EU) 2018/1725 oder die Richtlinie 2002/58/EG bzw. (EU) 2016/680, unbeschadet des Artikels 10 Absatz 5 und des Artikels 59 der vorliegenden Verordnung

--> DSGVO findet also uneingeschränkt Anwendung
-->  werden personenbezogene Daten verarbeitet (ist bei Bewerbungen definitiv der Fall), müssen alle Regelungen der DGSVO beachtet werden

Bei Zusammenfassungen über öffentliche Cloud-KI:
vorab alle personenbezogenen Daten aus Anschreiben und Lebenslauf löschen, damit Bewerbungen anonym verarbeitet werden können.

Fazit: Datenschutz-Regeln für das Zusammenfassen von Bewerbungen:

• Keine Eingabe von personenbezogenen Daten in öffentliche KI-Systeme
• bei lokal gehosteten KI-System: Mitarbeiter dahingehend schulen, dass stets alle Datenschutzprinzipien eingehalten werden nach Art. 5 DSGVO (Rechtmäßigkeit, Zweckbindung, Datenminimierung, Richtigkeit, Speicherbegrenzung, Integrität und Vertraulichkeit)
• Ungelöstes Praxisproblem: Training von KI erfordert große Datenmengen <---- > hier steht der Datenschutz dagegen hinsichtlich der Transparenz, der Datenminimierung und der Speicherbegrenzung, oft ist auch eine vollständige Anonymisierung in der Praxis nicht realisierbar

Ungelöstes Praxisproblem: Gewährung von Betroffenenrechten kann u.U. unmöglich werden, wenn personenbezogene Daten in KI-Systemen verarbeitet werden (Löschung/Berichtigung kann ggf. nicht umgesetzt werden – vgl. Beschwerde gegen OpenAI durch noyb) 

Art. 10 KI-VO - Daten und Daten-Governance

(3) Die Trainings-, Validierungs- und Testdatensätze müssen im Hinblick auf die Zweckbestimmung relevant, hinreichend repräsentativ und so weit wie möglich fehlerfrei und vollständig sein. Sie müssen die geeigneten statistischen Merkmale, gegebenenfalls auch bezüglich der Personen oder Personengruppen, für die das Hochrisiko-KI‑System bestimmungsgemäß verwendet werden soll, haben. Diese Merkmale der Datensätze können auf der Ebene einzelner Datensätze oder auf der Ebene einer Kombination davon erfüllt werden.

Art. 26 KI-VO - Pflichten der Betreiber von Hochrisiko-KI-Systemen

(1)Die Betreiber von Hochrisiko-KI‑Systemen treffen geeignete technische und organisatorische Maßnahmen, um sicherzustellen, dass sie solche Systeme entsprechend der den Systemen beigefügten Betriebsanleitungen und gemäß den Absätzen 3 und 6 verwenden.

(2)Die Betreiber übertragen natürlichen Personen, die über die erforderliche Kompetenz, Ausbildung und Befugnis verfügen, die menschliche Aufsicht und lassen ihnen die erforderliche Unterstützung zukommen.

(3)Die Pflichten nach den Absätzen 1 und 2 lassen sonstige Pflichten der Betreiber nach Unionsrecht oder nationalem Recht sowie die Freiheit der Betreiber bei der Organisation ihrer eigenen Ressourcen und Tätigkeiten zur Wahrnehmung der vom Anbieter angegebenen Maßnahmen der menschlichen Aufsicht unberührt.

Unbeschadet der Absätze 1 und 2 und soweit die Eingabedaten ihrer Kontrolle unterliegen, sorgen die Betreiber dafür, dass die Eingabedaten der Zweckbestimmung des Hochrisiko-KI‑Systems entsprechen und ausreichend repräsentativ sind. 

Bewerten von Bewerbungen durch KI: Regeln

• Die Bewertung von Bewerbungen fällt (wahrscheinlich) unter ein Hochrisiko-KI-System (prüfen, ob evtl. eine Ausnahme nach Art. 6 Abs. 3 KI-VO vorliegt --> falls ja: kein Hochrisiko-System gegeben!).
• Hochrisiko-KI-Systeme dürfen keine Bias vorweisen, müssen geeignete technische und organisatorische Maßnahmen einhalten und müssen mit hinreichend repräsentativen Datensätzen trainiert werden
• Faire und transparente Ergebnisse sind sicherzustellen à Verzerrungen sind zu identifizieren und zu korrigieren (durch menschliche Überprüfungen und Eingabekorrekturen)
• Dokumentation zur Bias-Kontrolle muss langfristig vorgehalten werden, um die Vorgehensweise zu überprüfen und nachvollziehen zu können

Bewerten von Bewerbungen durch KI : Datenschutz

Art. 22 DSGVO- Automatisierte Entscheidungen im Einzelfall einschließlich Profiling

(1) Die betroffene Person hat das Recht, nicht einer ausschließlich auf einer automatisierten Verarbeitung – einschließlich Profiling – beruhenden Entscheidung unterworfen zu werden, die ihr gegenüber rechtliche Wirkung entfaltet oder sie in ähnlicher Weise erheblich beeinträchtigt.

(2) Absatz 1 gilt nicht, wenn die Entscheidung

a)für den Abschluss oder die Erfüllung eines Vertrags zwischen der betroffenen Person und dem Verantwortlichen erforderlich ist,

b)aufgrund von Rechtsvorschriften der Union oder der Mitgliedstaaten, denen der Verantwortliche unterliegt, zulässig ist und diese Rechtsvorschriften angemessene Maßnahmen zur Wahrung der Rechte und Freiheiten sowie der berechtigten Interessen der betroffenen Person enthalten oder

c)mit ausdrücklicher Einwilligung der betroffenen Person erfolgt.

--> Der Bewerber müsste demnach explizit in die automatisierte Bewertung seiner Bewerbung durch KI zustimmen

Zentrale Vorschrift der KI-Verordnung:

Art. 14 KI-VO - Menschliche Aufsicht

(1)Hochrisiko-KI‑Systeme werden so konzipiert und entwickelt, dass sie während der Dauer ihrer Verwendung – auch mit geeigneten Instrumenten einer Mensch-Maschine-Schnittstelle – von natürlichen Personen wirksam beaufsichtigt werden können.

(2)Die menschliche Aufsicht dient der Verhinderung oder Minimierung der Risiken für Gesundheit, Sicherheit oder Grundrechte, die entstehen können, wenn ein Hochrisiko-KI‑System im Einklang mit seiner Zweckbestimmung oder im Rahmen einer vernünftigerweise vorhersehbaren Fehlanwendung verwendet wird, insbesondere wenn solche Risiken trotz der Einhaltung anderer Anforderungen dieses Abschnitts fortbestehen.

(3)Die Aufsichtsmaßnahmen müssen den Risiken, dem Grad der Autonomie und dem Kontext der Nutzung des Hochrisiko-KI‑Systems angemessen sein und werden durch eine oder beide der folgenden Arten von Vorkehrungen gewährleistet:

a)Vorkehrungen, die vor dem Inverkehrbringen oder der Inbetriebnahme vom Anbieter bestimmt und, sofern technisch machbar, in das Hochrisiko-KI‑System eingebaut werden;

b)Vorkehrungen, die vor dem Inverkehrbringen oder der Inbetriebnahme des Hochrisiko-KI‑Systems vom Anbieter bestimmt werden und dazu geeignet sind, vom Betreiber umgesetzt zu werden.

1. Datenschutz:

• Kein Profiling! https://dsgvo-gesetz.de/art-22-dsgvo/
• Allgemeine Datenschutzregeln beachten

2. KI-VO:

• Falls Einordnung als Hochrisiko-KI-System: menschliche Aufsicht, wenn automatisierte Entscheidungen getroffen werden sollen
• Anbieter müssen sicherstellen, dass die Entscheidungen nachvollziehbar sind, Kontrollmechanismen implementiert sind und Risiken minimiert werden

Mehr Infos

Stand: März 2025