Governance & Regulierung: AI Act, NIST AI RMF, Safety Institutes
Begriffe vorab
- Hochrisiko-KI: KI-Systeme in sensiblen Bereichen, für die die EU-Verordnung strengere Pflichten vorsieht.
- Anbieter / Betreiber: wer ein System entwickelt bzw. wer es einsetzt – mit unterschiedlichen Pflichten.
- Konformitätsbewertung: die Prüfung, ob ein System die Anforderungen erfüllt.
EU-KI-Verordnung (AI Act)
Die EU-KI-Verordnung (Regulation (EU) 2024/1689), veröffentlicht am 12. Juli 2024 und am 1. August 2024 in Kraft getreten, stuft KI-Systeme nach Risikostufen ein (unannehmbares, hohes, begrenztes, minimales Risiko) und verlangt für Hochrisiko-Systeme u. a. Dokumentation, Tests und menschliche Aufsicht. Ihre einzelnen Bestimmungen treten gestaffelt über mehrere Jahre in Kraft.
NIST AI Risk Management Framework
Das NIST AI Risk Management Framework (AI RMF 1.0) aus den USA ist ein freiwilliges, aber breit rezipiertes Vorgehensmodell, das Organisationen hilft, Risiken von KI-Systemen über deren gesamten Lebenszyklus zu identifizieren, zu bewerten und zu steuern, strukturiert in die Funktionen Govern, Map, Measure und Manage.
Staatliche AI-Safety-Institute
Im Nachgang des britischen AI Safety Summits in Bletchley Park (November 2023) entstanden mehrere staatliche Institutionen, die sich gezielt mit der Sicherheitsbewertung leistungsfähiger KI-Modelle befassen:
- Im Vereinigten Königreich entwickelte sich aus der im April 2023 gegründeten „Frontier AI Taskforce“ im November 2023 das AI Safety Institute, das im Februar 2025 in AI Security Institute umbenannt wurde.
- In den USA wurde im November 2023 im Rahmen des NIST das US AI Safety Institute gegründet; es wurde später in Center for AI Standards and Innovation (CAISI) umbenannt.
Freiwillige Selbstverpflichtungen
Neben gesetzlicher Regulierung haben führende KI-Unternehmen wiederholt freiwillige Selbstverpflichtungen unterzeichnet, etwa zu Sicherheitstests vor der Veröffentlichung besonders leistungsfähiger Modelle oder zur Zusammenarbeit mit den genannten staatlichen Instituten bei deren Bewertung.
Namen, Zuständigkeiten und genaue Anforderungen dieser Institutionen und Regelwerke ändern sich weiterhin recht häufig. Für eine verbindliche, aktuelle Einordnung lohnt sich immer ein Blick auf die jeweiligen offiziellen Webseiten statt auf diese Lektion allein.
Ein Beispiel: Bewerbungsvorauswahl
Ein Unternehmen nutzt ein System, das Bewerbungen vorsortiert. Solche Systeme im Personalwesen fallen nach der EU-Verordnung typischerweise in die Hochrisiko-Kategorie. Der Anbieter muss dann unter anderem Risiken bewerten, Daten und Funktionsweise dokumentieren und menschliche Aufsicht ermöglichen; der Betreiber muss das System bestimmungsgemäß einsetzen und Betroffene informieren.
Verbindlich und freiwillig
- Verbindlich: Gesetze wie die EU-KI-Verordnung, mit Sanktionen bei Verstößen.
- Freiwillig: Rahmenwerke wie das NIST AI RMF und unternehmensinterne Richtlinien, die Orientierung geben.
Worauf man als Nutzer achten sollte
Wer KI in einer Organisation einsetzt, sollte klären, in welche Risikokategorie der Einsatz fällt, wer intern verantwortlich ist und welche Dokumentation nötig ist. Da sich Fristen und Detailregeln in Stufen entfalten, lohnt der regelmäßige Blick in die offiziellen Quellen und gegebenenfalls rechtliche Beratung.
Prüfstatus: Belegt (Stand 1. Oktober 2026): Jahreszahlen, Zahlen, Namen und Quellenangaben dieser Lektion, soweit die Quellenliste sie nennt, wurden gegen Primärquellen geprüft. Nicht einzeln belegt: erklärende Darstellung nach Lehrbuchstand und Quellen, die in der Liste als „allgemeine Referenz“ markiert sind.
Quellen
- Verordnung (EU) 2024/1689 (KI-Verordnung, AI Act)
- NIST – „AI Risk Management Framework“ (AI RMF 1.0)
- UK AI Safety Institute / AI Security Institute; US AI Safety Institute (NIST) / Center for AI Standards and Innovation (CAISI) – offizielle Ankündigungen rund um den AI Safety Summit, Bletchley Park, November 2023 (allgemeine Referenz, nicht Zeile für Zeile geprüft)