Wer sich die Mühe macht, die 144 Seiten starke KI-Verordnung [1] zu lesen, stellt sehr schnell fest, dass es sich um ein umfangreiches und durchaus kompliziertes Werk handelt. Das ist zwar der gestellten Aufgabe angemessen, doch ist es dadurch gar nicht so leicht, die eigentliche Struktur dahinter zu verstehen. In diesem Artikel wollen wir einige speziell für die Qualitätssicherung wichtigen Aspekte und Rahmenbedingungen daraus aufzeigen.
Regulierte Bereiche
Ein wesentliches Prinzip, welches in der Europäischen KI-Verordnung zur Anwendung kommt, ist die Risikobetrachtung. Je höher die vermuteten Risiken eines KI-Systems, desto höher ist Risikoeinstufung und desto umfangreicher ist das einzuhaltende Regelwerk. Abbildung 1 zeigt eine bildliche Anordnung verschiedener Regulierungsaspekte in einer Risikopyramide.
Abb. 1: Darstellung verschiedener Regulierungsaspekte der KI-Verordnung, angeordnet als Risikopyramide – die Risiken steigen nach oben an
Es gibt einerseits regulierte, aber auch nicht regulierte Bereiche, wie militärische Anwendungen, wissenschaftliche Forschung und Entwicklung sowie private KI-Systeme.
Am oberen Ende der Risikopyramide finden wir dabei Anwendungen, die grundsätzlich verboten sind. Artikel 5 der Verordnung beschreibt beispielsweise KI-Systeme, die fähig sind, unterschwellig – also nicht bewusst wahrnehmbar – das Meinungsbild oder Verhalten von Menschen durch manipulative oder täuschende Techniken zu beeinflussen. Ebenso verboten sind beispielsweise Emotionserkennung an Arbeitsplätzen oder eine ungezielte Gesichtserkennung auf Grundlage von Videoüberwachungsbildern oder Bildern aus dem Internet.
Am unteren Ende sehen wir, dass die Verordnung besondere Transparenz bei „bestimmten Systemen“ einfordert. Artikel 50 beschreibt diese noch genauer. Es geht dabei beispielsweise um Systeme, die direkt mit Menschen interagieren, zum Beispiel Chatbots oder Sprachassistenz-Systeme. Bei solchen Systemen muss den Nutzenden gegenüber eindeutig kenntlich gemacht werden, dass sie es mit einem KI-System zu tun haben. Auch die Ergebnisse von generativer KI müssen beispielsweise eindeutig als synthetisch generierte Daten gekennzeichnet werden.
Der weitaus größte Teil der Regulierung betrifft aber die dazwischen liegenden Bereiche, die von der Verordnung weiter in „Hochrisiko-KI-Systeme“ und „KI-Modelle mit allgemeinem Verwendungszweck“ unterschieden werden. KI-Systeme sind dabei komplette Anwendungen, die einem klaren Anwendungszweck beziehungsweise Aufgabenbereich dienen. KI-Modelle mit allgemeinem Verwendungszweck sind hingegen Komponenten, die nicht nur für eine, sondern für vielfältige Anwendungsmöglichkeiten geeignet sind. Hier fallen uns typischerweise große Sprachmodelle als Beispiel für allgemeine Verwendungszwecke ein. Sind mit solchem KI-Modellen, etwa aufgrund ihrer enormen Reichweite oder Nutzerzahl, systemische Risiken verbunden, gelten zudem noch restriktivere Anforderungen.
Der Zeitplan
Bei der Fülle an Vorschriften ist es nur hilfreich, sich an für die KI-Verordnung relevanten Stichtagen zu orientieren (siehe Abb. 2).
Abb. 2: Schlüsseltermine der EUKI-Verordnung – obwohl seit August 2024 in Kraft, müssen manche Artikel und Abschnitte erst deutlich später eingehalten werden
So müssen die meisten Artikel beispielsweise erst ab dem 2. August 2026 eingehalten werden. Insbesondere umfasst dies die Anforderungen, die an Hochrisiko-KI-Systeme gestellt werden.
Andererseits gibt es auch Vorschriften, die bereits ab August 2025 gelten. Dabei geht es einerseits um EU- und nationale Strukturen und Institutionen, die eingerichtet werden müssen, beispielsweise das Europäische Büro für Künstliche Intelligenz, das KI-Gremium und ein wissenschaftliches Gremium unabhängiger Sachverständiger, um nur einige zu nennen. Doch auch die Regelungen, die KI-Modelle mit allgemeinem Verwendungszweck betreffen, sind schon so frühzeitig einzuhalten – auch, wenn die dazugehörigen Sanktionen dann noch nicht greifen.
Eine Ausnahme bilden die ersten fünf einleitenden Artikel: Diese gelten bereits seit dem 2. Februar 2025. Im Wesentlichen betreffen diese das Verbot bestimmter Praktiken (Art. 5), aber auch die Erwartung, dass Anbieter und Betreiber von KI-Systemen Personal mit ausreichender Kenntnis entsprechend ihren Aufgaben beschäftigen und laufend Aus- und Weiterbildungen zukommen lässt (Art. 4).
An dem Zeitplan in Abbildung 2 erkennen wir aber auch, dass schon heute die Zeit drängt: Institutionen und Gremien müssen gegründet und mit fachkundigen Experten besetzt werden, Leitlinien erarbeitet, um frühzeitig für Klarheit zu sorgen. Auch Normungsorganisationen wie CEN/CENELEC, ETSI auf europäischer Ebene oder das DIN in Deutschland stehen unter Druck, einen gemeinsamen Nenner für die einzuhaltenden Kriterien untereinander zu finden.
Normungsarbeiten
Schon seit Längerem sind einige Normungsgremien aktiv gewesen und haben sich dem Bereich der KI gewidmet. Speziell die ISO (International Organization for Standardization) und die IEC (International Electrotechnical Commission) erarbeiten derzeit diverse Normen in ihrem gemeinsamen Unterausschuss JTC1/SC42 und SC7. Eine der bekanntesten Normen hier ist wohl die ISO/IEC 22989:2022, die sich mit KI-Konzepten und -Terminologie beschäftigt. Sie bildet eine wesentliche Grundlage anderer Normen und ist sogar kostenfrei verfügbar. Die ISO/IEC 42001:2023 ist ein weiteres erwähnenswertes Werk, das sich mit risikobasiertem Management von Systemen für KI beschäftigt. Es ist insbesondere deswegen so wichtig, weil auch die KI-Verordnung von Anbietern und Betreibern ein auf KI ausgerichtetes Risikomanagement-System erwartet (Artikel 9).
Daneben gibt es bei ISO/IEC auch schon diverse Technische Berichte, die sich konkreter mit Aspekten beschäftigen, die auch in der KI-Verordnung explizit genannt werden. Der Test von KI-basierten Systemen im ISO/IEC TR 29119-11:2020 oder die Robustheit (Artikel 15), die im ISO/IEC TR 24029-1:2021 speziell für neuronale Netzwerke behandelt wird. Aber auch das DIN hat bereits mehrere lohnende Spezifikationen herausgegeben, wie die DIN SPEC 92001-2:2020-12 zur Robustheit und die DIN SPEC 92001-3:2023-08 zur Erklärbarkeit, um nur zwei zu nennen. Beide DIN SPECs sind kostenfrei bestellbar.
Auch die ETSI (Europäisches Institut für Telekommunikationsnormen) ist aktiv und formuliert derzeit ein Konzept zur Dokumentation von KI-basierten Systemen, Daten und Prozessen, das den geforderten Erwartungen der KI-Verordnung entsprechen soll [2].
Wir sehen also, dass hier bereits einiges existiert. Jedoch gibt es noch diverse offene Bereich, die gerade intensiv diskutiert und bearbeitet werden, etwa Vorgehensweisen zur Qualitätssicherung von Sprachmodellen oder, weiter gefasst, von KI-Modellen mit allgemeinem Verwendungszweck.
Handlungsbedarf in der QS
Im Fokus der Verordnung stehen natürlich Hochrisiko-KI-Systeme, für die besonders hohe Prüf- und Dokumentationspflichten existieren und ab August 2026 eingehalten werden müssen. Gemäß Artikel 9 muss durch Testen sichergestellt werden, dass Hochrisiko-KI-Systeme stets im Einklang mit ihrer Zweckbestimmung funktionieren und die Anforderungen der KI-Verordnung erfüllen. Darüber hinaus wird auch ein Test von Hochrisiko-KI-Systemen unter Realbedingungen außerhalb von KI-Laboren gefordert (Art. 60). Für diesen Test wird ein Testplan erwartet, welcher an die regulierende Behörde eingereicht und von ihr genehmigt werden muss.
Wir müssen daher in der QS unter anderem in unserer Planung:
- unser KI-System bezogen auf Anwendung und Risiken richtig einstufen (Art. 6 und Anhang III),
- frühzeitig Tests während der gesamten Entwicklung und auch in KI-Reallaboren einplanen und geeignete Metriken festlegen (Art. 9) und
- explizit ein QM-System beschreiben, das alle Maßnahmen zur Einhaltung der Verordnung erfasst und deren Umsetzung festlegt (Art. 17).
Nach KI-Verordnung müssen wir zudem für technische Dokumentationen für Hochrisiko-KI-Systemen sorgen. Aus QS-Sicht relevant sind beispielsweise (Art. 11 und Anhang IV) allgemeine Informationen wie etwa:
- die Zweckbestimmung des Systems,
- in welcher Form man mit dem System interagiert oder wie es selbst mit Hardware, Software oder anderen KI-Systemen interagiert,
- eine Beschreibung aller Formen, in denen es in Verkehr gebracht oder in Betrieb genommen wird.
Es werden aber auch sehr detaillierte Informationen gefordert wie:
- die zur Entwicklung verwendeten Methoden, Schritte oder vortrainierten Modelle,
- Details zum Entwurf, seiner Architektur, Algorithmen oder der getroffenen Annahmen hierfür,
- welche Maßnahmen zur menschlichen Aufsicht als erforderlich bewertet wurden,
- Anforderungen, die an die Daten für das Training gestellt wurden, und Informationen zu Quellen, Umfang und Merkmalen oder Kennzeichnungsverfahren (Labelling), die verwendet wurden,
- Verfahren, die für Validierung und Test herangezogen wurden, ebenso wie die zentralen Eigenschaften der zugehörigen Daten oder die vollständige Liste der Parameter und Merkmale, die ermittelt wurden, wie Genauigkeit, Präzision, Robustheit, Sicherheit usw.
- ...
Wir tun also gut daran, so früh wie möglich zum Beispiel in Projekten nachvollziehbar zu erfassen, welche Daten woher kommen, wie sie aufbereitet wurden und nach welchen Kriterien das Training und Tuning der Modelle genau durchgeführt wurde.
Schon seit dem 2. Februar 2025 werden, gemäß Artikel 4 zur KI-Kompetenz, auch die Aus- und Weiterbildung beziehungsweise Erfahrung und Kenntnisse von Mitarbeitern eingefordert, die bei der Entwicklung von KI-Systemen beteiligt sind. Offen dabei ist, welche Kenntnisse als ausreichend und welche Aus- und Weiterbildungen als erforderlich betrachtet werden. Vielleicht ist der seit einigen Jahren bereits etablierte ISTQB® Certified Tester AI-Testing ein geeigneter Ansatz. Wer hier als Einsteiger nach Orientierung in der Welt der KI-Begriffe sucht, findet unter anderem auf der ai-glossary.org-Webseite eine geeignete Sammlung.
Ausblick
Auch wenn noch viel auf uns als Tester und Qualitätssichernde zukommt, so haben wir hoffentlich in diesem Artikel bereits deutlich machen können, dass wir nicht mit leeren Händen dastehen. Es gibt schon jetzt etablierte Normen und Standards, die wir nutzen können. Und es werden auch noch mehr kommen, die uns helfen, Struktur in unsere Arbeit zu bringen. Wer genügend Zeit und Expertise mitbringt, kann aktuell sogar noch bei der Normungsarbeit mitwirken! Wir sind auf die kommende Entwicklung gerade in diesem Bereich gespannt, aber durchaus zuversichtlich.
Literaturangaben
[1] Europäische KI-Verordnung 2024/1689, „Verordnung über künstliche Intelligenz“, vom 13.6.2024, siehe: https://eur-lex.europa.eu/legal-content/DE/TXT/PDF/?uri=OJ:L_202401689
[2] ETSI-Projektseite zu Taskforce T038, „Towards a Harmonized Documentation Scheme for Trustworthy AI“, siehe: https://portal.etsi.org/xtfs/#/xTF/T038
