Hochrisiko-KI-Systeme: Was Anbieter und Betreiber bis 2027 vorbereiten müssen
Hochrisiko ist die Kategorie mit dem umfangreichsten Pflichtenkatalog der KI-Verordnung. Sie erfasst eigenständige Systeme in sensiblen Bereichen wie Personalauswahl, Kreditvergabe oder kritischer Infrastruktur und KI-Komponenten in regulierten Produkten. Diese Seite erklärt, welche Anwendungen darunter fallen, was Anbieter und Betreiber tun müssen und welche Fristen nach dem Digital Omnibus gelten.
- 02.12.2027 Pflichten für eigenständige Systeme nach Anhang III
- 02.08.2028 Pflichten für KI in regulierten Produkten nach Anhang I
- 8 Bereiche listet Anhang III von Biometrie bis Justiz
- 6 Monate mindestens müssen Betreiber die Protokolle aufbewahren
Eigenständige Hochrisiko-Systeme nach Einsatzbereich
Anhang III listet acht Bereiche mit konkreten Anwendungsfällen. Ein System ist Hochrisiko, wenn es für einen dieser Fälle bestimmt ist, unabhängig davon, welche Technologie dahintersteht.
| Bereich | Beispiele für erfasste Anwendungen |
|---|---|
| Biometrie | Biometrische Fernidentifizierung, biometrische Kategorisierung nach sensiblen Merkmalen, Emotionserkennung, soweit nicht verboten |
| Kritische Infrastruktur | Sicherheitskomponenten für Betrieb und Management kritischer digitaler Infrastruktur, Straßenverkehr sowie Wasser-, Gas-, Wärme- und Stromversorgung |
| Bildung und Berufsbildung | Zugang und Zulassung zu Bildungseinrichtungen, Bewertung von Lernergebnissen, Einstufung des Bildungsniveaus, Überwachung von Prüfungen |
| Beschäftigung und Personalmanagement | Stellenausschreibung, Sichten und Filtern von Bewerbungen, Bewertung von Bewerbenden, Entscheidungen über Beförderung und Kündigung, Aufgabenzuweisung, Leistungs- und Verhaltensüberwachung |
| Zugang zu wesentlichen Diensten | Anspruchsprüfung für öffentliche Leistungen, Kreditwürdigkeitsprüfung und Bonitätsbewertung, Risikobewertung und Preisbildung in Lebens- und Krankenversicherungen, Priorisierung von Notrufen und Notfalleinsätzen |
| Strafverfolgung | Risikobewertung von Personen, Bewertung der Verlässlichkeit von Beweismitteln, Profiling im Ermittlungskontext |
| Migration, Asyl und Grenzkontrolle | Risikobewertung von Einreisenden, Prüfung von Anträgen, Identifizierung von Personen |
| Rechtspflege und demokratische Prozesse | Unterstützung von Justizbehörden bei Auslegung und Rechtsanwendung, Beeinflussung von Wahlen und Wahlverhalten |
Ausnahme nach Art. 6 Abs. 3: Ein System aus Anhang III gilt nicht als Hochrisiko, wenn es kein erhebliches Risiko für Gesundheit, Sicherheit oder Grundrechte birgt, etwa weil es nur eine eng begrenzte Verfahrensaufgabe erfüllt, das Ergebnis einer abgeschlossenen menschlichen Tätigkeit verbessert, Entscheidungsmuster nur erkennt oder eine vorbereitende Aufgabe übernimmt. Bei Profiling natürlicher Personen gilt die Ausnahme nie. Die Bewertung ist zu dokumentieren.
KI in regulierten Produkten
Die zweite Gruppe sind KI-Systeme, die Sicherheitsbauteil eines Produkts sind oder selbst ein Produkt darstellen, das unter Harmonisierungsrechtsvorschriften der EU fällt und dort einer Konformitätsbewertung durch Dritte unterliegt.
- Abschnitt A
Produkte mit CE-Konformitätsbewertung
Maschinen, Spielzeug, Sportboote, Aufzüge, Geräte in explosionsgefährdeten Bereichen, Funkanlagen, Druckgeräte, Seilbahnen, persönliche Schutzausrüstung, Gasverbrauchseinrichtungen, Medizinprodukte und In-vitro-Diagnostika. Die KI-Anforderungen werden in die bestehende Konformitätsbewertung des Produktrechts integriert.
- Abschnitt B
Sektorale Zulassungsverfahren
Zivilluftfahrt, Kraft- und Nutzfahrzeuge, landwirtschaftliche Fahrzeuge, Schiffsausrüstung, Eisenbahn, Zweiräder. Hier gelten die Hochrisiko-Anforderungen mittelbar über die jeweiligen Rechtsakte, die die Kommission entsprechend anpasst.
Für Hersteller: Wer ein Produkt mit KI-Komponente in Verkehr bringt, wird als Anbieter des KI-Systems behandelt, wenn das System unter seinem Namen mit dem Produkt vermarktet wird. Die Fristen unterscheiden sich: Anhang III ab 2. Dezember 2027, Anhang I ab 2. August 2028.
Was Anbieter von Hochrisiko-Systemen leisten müssen
Sieben Anforderungsbereiche an das System, ergänzt um Qualitätsmanagement, Konformitätsbewertung, Registrierung und Marktbeobachtung.
-
Risikomanagementsystem
Ein kontinuierlicher, iterativer Prozess über den gesamten Lebenszyklus: Risiken für Gesundheit, Sicherheit und Grundrechte identifizieren, bewerten, mit Maßnahmen begegnen, testen. Restrisiken müssen vertretbar sein und den Betreibern mitgeteilt werden.
-
Daten und Daten-Governance
Trainings-, Validierungs- und Testdaten müssen für den Zweck relevant, hinreichend repräsentativ, möglichst fehlerfrei und vollständig sein. Erhebung, Herkunft, Aufbereitung, Annahmen und die Prüfung auf Verzerrungen sind zu dokumentieren.
-
Technische Dokumentation
Nach Anhang IV, vor dem Inverkehrbringen erstellt und aktuell gehalten: Beschreibung des Systems, Entwicklungsprozess, Überwachung und Kontrolle, Risikomanagement, Änderungen, Normen und Konformitätserklärung. Sie ist die Grundlage der Konformitätsbewertung.
-
Aufzeichnungen und Protokollierung
Das System muss Ereignisse automatisch protokollieren, damit Risiken erkannt, Änderungen nachvollzogen und der Betrieb überwacht werden können. Anbieter bewahren die Protokolle auf, soweit sie ihrer Kontrolle unterliegen, mindestens sechs Monate.
-
Transparenz und Betriebsanleitung
Betreiber müssen die Ergebnisse angemessen interpretieren und nutzen können. Die Betriebsanleitung nennt Anbieter, Zweckbestimmung, Genauigkeit und Robustheit, bekannte Grenzen, Anforderungen an Eingabedaten, Maßnahmen der menschlichen Aufsicht und die erwartete Lebensdauer.
-
Menschliche Aufsicht
Das System ist so zu gestalten, dass Menschen es während der Nutzung wirksam beaufsichtigen können: Fähigkeiten und Grenzen verstehen, Automatisierungsneigung erkennen, Ergebnisse korrekt interpretieren, das System übersteuern oder anhalten können.
-
Genauigkeit, Robustheit, Cybersicherheit
Angemessenes Genauigkeitsniveau, das in der Betriebsanleitung angegeben wird, Widerstandsfähigkeit gegen Fehler und Störungen, Schutz vor Manipulation durch Dritte, etwa Data Poisoning oder Adversarial Examples. Bei lernenden Systemen Schutz vor verzerrten Rückkopplungsschleifen.
-
Qualitätsmanagement und Konformität
Ein Qualitätsmanagementsystem nach Art. 17, Konformitätsbewertung nach Art. 43, EU-Konformitätserklärung, CE-Kennzeichnung und Registrierung in der EU-Datenbank vor dem Inverkehrbringen. Für die meisten Anhang-III-Systeme ist eine interne Kontrolle vorgesehen, für Biometrie und Anhang-I-Produkte die Beteiligung Dritter.
-
Marktbeobachtung und Vorfallmeldung
Nach dem Inverkehrbringen: System zur Beobachtung der Leistung im Feld, Korrekturmaßnahmen bei Nichtkonformität, Meldung schwerwiegender Vorfälle an die Marktüberwachungsbehörde, Zusammenarbeit mit Behörden und Informationspflicht gegenüber Betreibern.
Was Betreiber nach Art. 26 und 27 tun müssen
Betreiber tragen weniger, aber nicht wenig. Die Pflichten setzen voraus, dass der Anbieter seine Dokumentation geliefert hat und dass im Unternehmen jemand die Verantwortung trägt.
-
Bestimmungsgemäße Nutzung sichern
Technische und organisatorische Maßnahmen, damit das System gemäß Betriebsanleitung genutzt wird. Eingabedaten müssen der Zweckbestimmung entsprechen und hinreichend repräsentativ sein, soweit der Betreiber sie kontrolliert.
-
Menschliche Aufsicht zuweisen
Natürliche Personen mit der erforderlichen Kompetenz, Ausbildung, Befugnis und Unterstützung übernehmen die Aufsicht. Das ist kein Nebenamt: Sie müssen Ergebnisse hinterfragen, übersteuern und das System stoppen können.
-
Betrieb überwachen und Vorfälle melden
Überwachung anhand der Betriebsanleitung. Bei Anhaltspunkten für ein Risiko: Anbieter, Händler oder Einführer und Marktüberwachungsbehörde informieren, Nutzung aussetzen. Schwerwiegende Vorfälle unverzüglich an Anbieter und Behörde melden.
-
Protokolle aufbewahren
Automatisch erzeugte Protokolle, soweit sie der Kontrolle des Betreibers unterliegen, mindestens sechs Monate aufbewahren, sofern nicht anderes Unionsrecht oder nationales Recht, etwa zum Datenschutz, eine andere Dauer vorgibt.
-
Beschäftigte und Betroffene informieren
Vor dem Einsatz am Arbeitsplatz Arbeitnehmervertretung und betroffene Beschäftigte informieren. Natürliche Personen, über die das System Entscheidungen trifft oder unterstützt, sind zu informieren; sie haben ein Recht auf Erläuterung der Entscheidung.
-
Grundrechte-Folgenabschätzung, wo vorgeschrieben
Öffentliche Stellen, Erbringer öffentlicher Dienste sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und Versicherungsrisikobewertung führen vor der ersten Nutzung eine Folgenabschätzung nach Art. 27 durch und melden das Ergebnis der Marktüberwachungsbehörde.
Was wann gilt
Der Digital Omnibus on AI hat die Hochrisiko-Fristen verschoben. Die übrigen Pflichten der Verordnung gelten bereits.
| Datum | Was gilt | Für wen |
|---|---|---|
| 2. Februar 2025 | Verbotene Praktiken nach Art. 5 und KI-Kompetenzpflicht nach Art. 4 | Alle Anbieter und Betreiber, auch von Hochrisiko-Systemen |
| 2. August 2026 | Governance-Strukturen, Sanktionen, Transparenzpflichten nach Art. 50; nationale Marktüberwachungsbehörden zuständig | Alle Anbieter und Betreiber |
| 2. Dezember 2027 | Hochrisiko-Pflichten für eigenständige Systeme nach Anhang III: Anbieterpflichten, Betreiberpflichten, Konformitätsbewertung, Registrierung | Anbieter und Betreiber von Anhang-III-Systemen |
| 2. August 2028 | Hochrisiko-Pflichten für KI als Sicherheitsbauteil in regulierten Produkten nach Anhang I | Hersteller regulierter Produkte und deren Betreiber |
Bestandssysteme: Systeme, die vor dem jeweiligen Stichtag in Verkehr gebracht oder in Betrieb genommen wurden, unterliegen den Hochrisiko-Pflichten erst, wenn sie danach wesentlich verändert werden. Wer heute ein System einführt, das nach 2027 im Einsatz bleibt, sollte trotzdem so planen, als gälten die Pflichten schon, denn jede größere Anpassung kann sie auslösen.
Hochrisiko-Fahrplan in vier Schritten
Wir prüfen mit Ihnen, welche Systeme betroffen sind, in welcher Rolle Sie stehen und was bis zu den Stichtagen vorzubereiten ist.
-
Screening gegen Anhang III und Anhang I
Alle eingesetzten und geplanten KI-Systeme aus dem Inventar gegen die Bereiche und Anwendungsfälle prüfen. Für Grenzfälle die Ausnahme nach Art. 6 Abs. 3 bewerten und dokumentieren.
-
Rolle klären
Betreiber, Anbieter oder beides? Prüfung von Eigenentwicklungen, Feinabstimmungen, White-Label-Einsatz und wesentlichen Änderungen. Das Ergebnis bestimmt den Pflichtenkatalog.
-
Anforderungen an Anbieter einfordern
Betriebsanleitung, Konformitätsfahrplan, Angaben zu Genauigkeit und Grenzen, Protokollierung, Support. Vertragliche Verankerung im Einkauf, damit Sie die Betreiberpflichten überhaupt erfüllen können.
- Checkliste für Anbietergespräche
- Klauseln für bestehende und neue Verträge
-
Betreiberpflichten aufbauen
Aufsichtsrollen und Schulung, Überwachungs- und Meldeprozess, Protokollaufbewahrung, Information von Beschäftigten und Betroffenen, Grundrechte-Folgenabschätzung, wo vorgeschrieben. Meilensteine bis zum 2. Dezember 2027.
Vertiefung zur KI-Verordnung
-
AI-Act-Übersicht
Anbieter oder Betreiber, Risikoklassen, Zeitplan bis 2028 und was heute schon gilt.
-
KI-Inventar und Governance
Alle KI-Systeme erfassen, Rolle und Risikoklasse zuordnen, Schatten-KI einfangen, Richtlinie und Freigabeprozess aufbauen.
-
KI-Kompetenz nach Art. 4
Die Schulungspflicht, die seit Februar 2025 gilt: Zielgruppen, Inhalte, Nachweis und Verhältnismäßigkeit.
Hochrisiko-KI kurz beantwortet
Unser Bewerbermanagement sortiert Lebensläufe mit KI vor. Ist das Hochrisiko?
KI-Systeme für die Einstellung oder Auswahl natürlicher Personen, insbesondere für gezielte Stellenanzeigen, das Sichten oder Filtern von Bewerbungen und die Bewertung von Bewerbenden, sind in Anhang III unter Beschäftigung aufgeführt. Ein System, das Lebensläufe nach Eignung sortiert, fällt in diese Kategorie. Prüfen Sie, ob die Ausnahme nach Art. 6 Abs. 3 greift, etwa bei einer rein vorbereitenden Aufgabe ohne Einfluss auf die Entscheidung; bei Profiling natürlicher Personen greift sie nicht.
Wir nutzen ein Hochrisiko-System eines Anbieters. Was müssen wir als Betreiber tun?
Das System gemäß Betriebsanleitung verwenden, die menschliche Aufsicht kompetenten Personen zuweisen, sicherstellen, dass Eingabedaten dem Zweck entsprechen, den Betrieb überwachen und den Anbieter über Risiken und schwerwiegende Vorfälle informieren, automatisch erzeugte Protokolle mindestens sechs Monate aufbewahren, Beschäftigte und Betroffene informieren und gegebenenfalls eine Grundrechte-Folgenabschätzung durchführen. Für die Konformität des Systems selbst bleibt der Anbieter verantwortlich; Sie sollten seine Dokumentation aber einfordern und prüfen.
Wann wird aus unserem Betreiber-Einsatz eine Anbieterrolle?
Wenn Sie ein Hochrisiko-System unter eigenem Namen oder eigener Marke einsetzen, seine Zweckbestimmung so ändern, dass es zum Hochrisiko-System wird, oder es wesentlich verändern. Dann treffen Sie die Anbieterpflichten einschließlich Konformitätsbewertung. Die Feinabstimmung eines Basismodells für einen Hochrisiko-Zweck oder der Bau einer eigenen Anwendung auf einem GPAI-Modell können diese Grenze überschreiten.
Was verlangt die Grundrechte-Folgenabschätzung, und wer muss sie machen?
Öffentliche Stellen und private Einrichtungen, die öffentliche Dienste erbringen, sowie Betreiber von Systemen zur Kreditwürdigkeitsprüfung und zur Risikobewertung in Lebens- und Krankenversicherungen müssen vor der ersten Nutzung eines Hochrisiko-Systems nach Anhang III bewerten, welche Auswirkungen auf Grundrechte der Einsatz haben kann: Prozesse, Dauer und Häufigkeit der Nutzung, betroffene Personengruppen, Schadensrisiken, Maßnahmen der menschlichen Aufsicht und Abhilfe. Das Ergebnis ist der Marktüberwachungsbehörde mitzuteilen.
Was hat der Digital Omnibus an den Fristen geändert?
Mit der politischen Einigung zum „Digital Omnibus on AI“ im Frühjahr 2026 wurden die Hochrisiko-Pflichten verschoben: Für eigenständige Systeme nach Anhang III gelten sie ab dem 2. Dezember 2027, für KI als Sicherheitsbauteil in regulierten Produkten nach Anhang I ab dem 2. August 2028. Die bereits geltenden Pflichten, etwa Verbote, KI-Kompetenz und Transparenz, bleiben unberührt. Prüfen Sie Details der Umsetzung anhand des veröffentlichten Rechtstexts.
Reicht es, den Anbieter nach seinem CE-Zeichen zu fragen?
Nein. Das CE-Zeichen und die EU-Konformitätserklärung belegen die Konformität des Systems, ersetzen aber nicht Ihre Betreiberpflichten. Sie müssen die Betriebsanleitung kennen und einhalten, die Aufsicht organisieren, Protokolle aufbewahren und Betroffene informieren. Fordern Sie zusätzlich die Angaben ein, die Sie dafür brauchen: Zweckbestimmung, Grenzen, Genauigkeit, Anforderungen an Eingabedaten und Aufsicht.
Marcel Rieger
Finden Sie heraus, ob Ihre KI-Systeme Hochrisiko sind
Im kostenlosen Erstgespräch prüfen wir Ihre wichtigsten KI-Anwendungen gegen Anhang III und Anhang I, klären Ihre Rolle und benennen, was bis Dezember 2027 vorzubereiten ist.
- Einordnung Ihrer Systeme als Hochrisiko oder nicht, mit Begründung
- Ihre Pflichten als Betreiber oder Anbieter
- Fahrplan bis zum 2. Dezember 2027 bzw. 2. August 2028
Danke, wir rufen Sie an.
Sie hören innerhalb eines Werktags von uns, meist deutlich schneller. Wenn Sie lieber gleich einen festen Termin wählen möchten, geht das direkt im Kalender auf jamorie.eu.
Termin selbst wählen