Der Digital Operational Resilience Act¹ (DORA) ist eine Verordnung der EU zur Regulierung für Unternehmen des Finanzsektors. DORA stellt sehr detaillierte Anforderungen an die IT dieser Unternehmen mit dem Ziel, die Widerstandsfähigkeit des IT-Betriebs zu erhöhen. Die Unternehmen sollen sich damit besser in die Lage versetzen, Krisen ihrer IT vorzubeugen bzw. auf eine Krise – etwa im Falle eines Cyber-Angriffs – zu reagieren. Alle größeren Unternehmen des Finanzsektors haben nach Inkrafttreten der Verordnung im Januar 2023 Projekte aufgesetzt, um die Compliance mit den Anforderungen von DORA herzustellen. Zur Überprüfung der Compliance griffen die Unternehmen dabei im Rahmen einer Gap-Analyse zunächst auf die Dokumentation ihrer eigenen IT-Systeme und Prozesse zurück. Die wesentlichen Quellen der Gap-Analyse (gesetzliche Anforderungen und unternehmensspezifische Dokumentation) standen folglich in natürlicher Sprache zur Verfügung. Deshalb lag es schon in dieser ersten DORA-Projektstufe nahe, generative KI zu nutzen, um die Aufwände und Kosten dafür so gering wie möglich zu halten bei gleichwohl hoher Ergebnisqualität.

Die DORA-Gap-Analyse steht stellvertretend für eine Vielzahl von Anwendungsfällen generativer KI. Sie sind datenreich und komplex und unterscheiden sich von einfachen datenreichen Anwendungsfällen in zweierlei Hinsicht: 

• Die Inhalte stammen aus unterschiedlichen Quellen mit jeweils unterschiedlicher Funktion – bei DORA ein Gesetzestext auf der einen, die Dokumentation der IT auf der anderen Seite. 
• Daraus resultierend geht es nicht nur um die richtige Beantwortung von Fragen durch den Rückgriff auf die Inhalte eines Dokuments. Vielmehr geht es um Ermittlung etwaiger Unterschiede zwischen verschiedenen Texten. 

Komplexe Anwendungsfälle stellen deshalb höhere Anforderungen sowohl an die generative KI als auch an das Design und die Umsetzung der Lösung. Um diese Anforderungen besser zu verstehen, schauen wir auf eine weitere Gap-Analyse, die Unternehmen auf ihrem Weg zur DORA-Compliance durchführen müssen. 

DORA und Auslagerungsmanagement

DORA formuliert sehr spezifische Anforderungen an die Verträge, die ein Unternehmen des Finanzsektors mit externen IT-Dienstleistern hält. Beispielsweise müssen diese eine Kündigungsregel enthalten.² Unternehmen stehen demnach vor der Herausforderung, ihre IT-Verträge auf diese und alle weiteren Anforderungen aus DORA zu überprüfen. Auch bei kleineren Organisationen ist hier schnell eine dreistellige Zahl an Verträgen betroffen. Hinzu kommt, dass sich die Verträge in Struktur, Umfang und Granularität unterscheiden. Der Umfang und ihre Vielfalt führen dazu, dass ohne den Einsatz generativer KI ein erheblicher manueller Aufwand zu erwarten ist.

Wie geht man also am besten bei der Bearbeitung dieses komplexen datenreichen Anwendungsfalls mit Hilfe generativer KI vor?

Im ersten Schritt sind die für die IT-Verträge einschlägigen Stellen der DORA-Verordnung zu identifizieren. Aus diesen Stellen müssen dann Regeln abgeleitet werden. Kommen wir wieder auf das Beispiel der Vertragslaufzeit zurück Die Regel lautet hier:

Prüfe, ob im Vertrag eine Kündigungsregel hinterlegt ist!

Diese und andere Regeln werden im Prompt formalisiert. An dieser Stelle kommen wir der klassischen, regelbasierten KI sehr nahe, wie sie etwa in der Rechnungsprüfung seit den neunziger Jahren praktiziert wird. Die Unterschiede zwischen den Anwendungsfällen DORA und Rechnungsprüfung sind dennoch deutlich erkennbar. Im Regelwerk einer Input-Management-Anwendung ist z. B. zum Thema Rechnungsdatum hinterlegt:

• Jede Rechnung muss ein Rechnungsdatum enthalten. 
• Das Rechnungsdatum muss ein bestimmtes definiertes Format haben (TT.MM.YYYY, TT.MM,YY etc.).
• Um das Rechnungsdatum in der Rechnung zu finden, suche nach bestimmten Begriffen wie „Rechnungsdatum“, „Rechnung vom“ etc.
• Prüfe, ob die Zeichen hinter diesen Begriffen einem der definierten Formate des Rechnungsdatums entsprechen. 
• Wenn ja, verwende das auf diese Weise identifizierte Datum als Rechnungsdatum.

Da generative KI natürliche Sprache „versteht“, kann auf eine solche detaillierte Ausformulierung der Regeln beim Dokumentvergleich verzichtet werden. In welchem Detailgrad die DORA-Regeln niederzuschreiben sind muss vielmehr der Fachexperte über die sukzessive Anpassung seines Prompts definieren, so dass das Ergebnis immer besser wird. 

Die Erfahrung zeigt: Schon kleinere Änderungen am Prompt können zu einem besseren Ergebnis führen. Gerade bei umfangreicheren Prompts kann es im Falle von Anpassungen immer wieder zu unerwünschten Seiteneffekten kommen. Umso wichtiger ist es, dass der Fachexperte selbst über eine gewisse technische Expertise in generativer KI verfügt. Alternativ oder auch additiv braucht es ein enges Zusammenspiel zwischen dem Fachexperten und dem KI-Experten. Für die Zusammenarbeit zwischen Fachbereich und IT eignet sich im Kontext generativer KI deshalb ein agiles Modell. Weil es häufig um Kleinigkeiten geht, erfordern erfolgreiche generative KI-Projekte in der Regel einen häufigeren Austausch als andere agile Projekte.

KI im Zusammenspiel mit dem Experten

Generative KI kann bei einem komplexen Anwendungsfall wie der DORA-Vertragsprüfung lediglich unterstützen. Das letzte Wort hat noch immer der Experte. In der Praxis hat sich deshalb ein dreistufiges Verfahren etabliert:

1. Einen Prompt erstellen und im Zuge umfassender Tests so verfeinern, dass er zu guten Ergebnissen führt.
2. Den Prompt „produktiv“ auf echte Verträge anwenden.
3. Kontrolle der Ergebnisse der generativen KI durch den Experten.

Um die Arbeit des Experten so einfach wie möglich zu gestalten, werden Ergebnisse der generativen KI in einer Excel-Datei ausgegeben. Die Ergebnisse können dabei farb-codiert sein, etwa mit Hilfe eines Ampel-Schemas: Grün markiert alle Stellen im Vertrag, die den DORA-Anforderungen entsprechen, Abweichungen werden in Rot gekennzeichnet und Textstellen mit unklarem Status erscheinen gelb. Die farbliche Sortierung hilft, sich besser zurechtzufinden und führt bei entsprechend hoher Qualität des Prompts zu deutlich geringeren Aufwänden. 

Der Experte bleibt also mit seinem Urteilsvermögen gefragt. Allerdings reduziert sich der Umfang seines Engagements dank der vorbereitenden Leistung der generativen KI.

Vorbereitende Arbeiten nicht unterschätzen

Die Prompts sollten schon in der ersten Testphase an echten Dokumenten erprobt werden. Zwar ist es mit vergleichsweise geringem Aufwand möglich, Beispielverträge mit Hilfe generativer KI zu erzeugen – ein typischer datenarmer Anwendungsfall. Allerdings gibt es in echten Verträgen immer wieder Überraschungen im Vergleich zu simulierten Verträgen. Die echten Verträge gewinnen erst mit Unterzeichnung Geltungskraft. Ohnehin nutzen immer mehr Unternehmen digitale Verfahren zur Unterzeichnung. Allerdings liegen auch bei diesen Unternehmen häufig ältere Verträge noch als gescannte Version eines Papierdokuments vor. Die Inhalte dieser Dokumente müssen deshalb zunächst in ein maschinenlesbares Format überführt werden.

Hierzu werden u. a. von den Hyperscalern inzwischen sehr leistungsfähige Services angeboten. Gerade bei komplexen Dokumenten, die z. B. Grafiken oder Tabellen enthalten, kann es gleichwohl auch mit diesen Services zu Komplikationen kommen. Bei der Projektplanung sollten solche Komplikationen vorab berücksichtigt und genügend Zeit für die Bereitstellung aller DORA-relevanten Verträge im richtigen Format vorgesehen werden.

Lesen Sie im nächsten Artikel dieser Serie über einen weiteren, technisch aber etwas anders gelagerten komplexen datenreichen Anwendungsfall. Wussten Sie schon: Die für eine schnelle und reibungslose Umsetzung dieser und anderer komplexer Anwendungsfälle erforderlichen Tools hat Capco bereits entwickelt und in vielen Projekten erfolgreich zum Einsatz gebracht. Haben Sie Fragen oder Interesse an einem Gespräch? Wir stehen Ihnen gerne zur Verfügung. 

¹ Der deutsche Text findet sich hier: Publications Office
² Siehe hierzu Artikel 30 (2) h) der Verordnung (Publications Office).