Die Defects-Behandlung umfasst oft einen erheblichen Anteil der Aufwände, die in der Qualitätssicherung anfallen, weil es hier nicht nur um Defect-Erfassung, sondern auch um Klassifizierung, Routing, Abstimmung mit der Entwicklung sowie um den Re-Test von Defects geht. Somit liegen hier auch große Potenziale für eine Prozessoptimierung im Sinne einer Verminderung von Aufwänden und Durchlaufzeiten durch Einsatz von Automatisierung.
Grundsätzlich sind die im Defect-Management-Prozess anfallenden Aufgaben schwer zu automatisieren, da sie nicht in einem strikten logischen Regelwerk abzubilden sind. Der Einsatz von KI ermöglicht hier jedoch auch Lösungsansätze für die automatisierte Bearbeitung von Aufgaben. Wie insbesondere bei Klassifizierung und Routing von Defects bereits die ersten erfolgreichen Schritte mit KI gemacht werden konnten, darüber möchten wir anhand einer bereits vorhandenen Implementierung berichten.
Optimierung des Defect-Managements
Es existiert eine ganze Reihe von Ideen zu Ansatzpunkten im Software Development Life Cycle (SDLC), über die der Einsatz Künstlicher Intelligenz (KI) in Stellung gebracht werden kann, um den Softwareentwicklungsprozess zu optimieren (siehe Abbildung 1). Diese reichen von der Identifikation von Backlog-Items, die mit einer hohen Fehlerwahrscheinlichkeit bei der Implementierung behaftet sind, bereits im Bereich der Anforderungsanalyse bis hin zur automatischen Incident-Bearbeitung am anderen Ende des SDLC.
Abb. 1: Ansatzpunkte für den Einsatz von KI im SDLC
Im Cross-Bereich XQT Test & Quality Management der msg systems haben wir uns auf den Testaspekt im SDLC konzentriert und hier als möglichen Ansatzpunkt das Defect-Management herausgegriffen. Konkret haben wir die Komponenten Erfassung und Klassifizierung von Defects als vielversprechende Kandidaten im Aufgabenspektrum des Defect-Managers identifiziert, welche auch von einer KI erledigt werden können.
Zur Verprobung unseres Ansatzes haben wir die Optimierung des Defect-Managements einer von der msg systems ag entwickelten Software in Angriff genommen.
Ausgangssituation
Die Rückversicherungssoftware SAP FS-RI unterliegt den SAP spezifischen Service Level Agreements (SLAs) und Incident-Management-Prozessen. SAP-Kunden, die SAP FS-RI im Einsatz haben und in der Konfigurierung oder Ausführung der Standard-Software Fehler feststellen, registrieren diese auf der SAP-eigenen Incident-Plattform (CSS – Customer Support System).
CSS-Incidents für SAP FS-RI liegen in der Wartungsverantwortung der msg Produktentwicklung und müssen gemäß geltenderSLAs in entsprechenden Zeiträumen bearbeitet werden. Dafür zuständig ist der für diese Software eingerichtete 1st-Level-Support (https://de.wikipedia.org/wiki/IT-Support ), der den Eingang von Incidents regelmäßig prüft und verarbeitet.
Für die Verarbeitung der Betriebsstörungen beziehungsweise Incidents werden diese in einem ersten Schritt unter Berücksichtigung komplexer Regeln manuell aus dem Vorsystem (CSS) nach Micro Focus ALM übertragen, welches vollständig der Kontrolle der msg Produktentwicklung unterliegt, und als Defects weitergeführt. In den nachfolgenden Schritten erfolgt durch die höheren Support-Level eine tiefergehende Analyse und die Behebung des Defects.
Im Rahmen des ersten Schrittes müssen:
- manuell (Copy & Paste) die Daten von SAP CSS nach Micro Focus ALM übertragen,
- unerlaubte Sonderzeichen in den kopierten Texten eliminiert und
- die übertragenen Defects klassifiziert werden.
Zielsetzung
Vor dem Hintergrund dieser Ausgangssituation haben wir uns folgende Ziele gesetzt.
Verminderung des Aufwands für die Erfassung der Defects
Die manuelle Übertragung von Daten von SAP CSS nach Micro Focus ALM nimmt viel Zeit und Mitarbeiterkapazität in Anspruch, insbesondere wenn hierbei Fehler passieren. Alleine der Report von unerlaubten Sonderzeichen kann zu einem Ausfall des gesamten Micro Focus ALM Project führen und eine aufwendige und zeitintensive Datenbereinigung notwendig machen. Höchstmögliche Sorgfalt ist daher bei der Defect-Erfassung gefordert, diese führt aber auch zu hohen Aufwänden.
Erhöhung der Treffergenauigkeit bei der Defect-Klassifizierung
Die richtige Klassifizierung legt fest, welchem Mitarbeiter oder Bereich die Analyse und Korrektur des Defects zugewiesen werden soll. Eine falsche Klassifizierung resultiert darin, dass die falschen Mitarbeiter oder Bereiche sich mit mäßigem Erfolg mit dem Defect auseinandersetzen, bevor er nach Umwegen dem richtigen Bereich oder der richtigen Person zugewiesen wird.
Verminderung der Prozess-Durchlaufzeit eines Defects
Aufgrund der aufwendigen und nur schlecht parallelisierbaren manuellen Tätigkeiten ist es schwierig, angemessene Service-Levels im Hinblick auf Durchlaufzeiten zu halten.
Erhöhung der Mitarbeiterzufriedenheit
Die Ausführung der Arbeit des 1st-Level-Supports erfordert einen hohen Grad an Sorgfalt und Produktverständnis, ist aber in der Ausführung wenig herausfordernd. Die hierfür eingesetzten Mitarbeiter äußern deshalb häufig nach relativ kurzer Zeit den Wunsch, anspruchsvollere Aufgaben durchzuführen. Es besteht daher ein hohes Risiko von Mitarbeiterfrustration und Mitarbeiterverlust.
Verminderung des Aufwands für Knowledge-Transfer
Der kurzfristige Ausfall von Mitarbeitern und die temporäre Übergabe von Aufgaben des 1st-Level-Supports zum Beispiel bei Urlaubsvertretung macht einen aufwendigen Knowledge-Transfer notwendig und erhöht das Risiko von Fehlern in der Bearbeitung von Defects.
Lösung
Um diese Ziele zu erreichen, haben wir mit unserer Lösung unter Verwendung von KI-Ansätzen die im 1st-Level-Support anfallenden Arbeitsschritte weitestgehend automatisiert.
Übertragung und Bereinigung von Input-Daten
Die Daten aus SAP CSS, bestehend aus den dort vom Bearbeiter manuell erfassten Incident-Daten und angehängten Dokumenten unterschiedlicher Datei-Formate, werden von dort exportiert, eingelesen, analysiert, verarbeitet und die Ergebnisse automatisch in das Zielsystem Micro Focus ALM eingetragen.
Die entwickelte Lösung ist in der Lage, über OCR (Optical Character Recognition) die Incident-Daten aus SAP CSS, die von dort in Form einer PDF-Datei exportiert werden, korrekt auszulesen und in die entsprechenden Felder einzutragen, aus denen in einem zweiten Verarbeitungsschritt die Zielfelder der Defect-Erfassung in Micro Focus ALM gefüllt werden.
Eine feldspezifische Geschäftslogik, zum Beispiel für die Erzeugung der Defect-ID, die automatische Errechnung des Enddatums oder die Validierung von Kunden mit Servicevertrag, ermittelt die benötigten Zielwerte aus den transferierten Input-Daten.
Klassifizierung der Defects
Der Hauptteil der Lösung ist die KI-basierte Klassifizierung von eingehenden Incidents in eine der 19 Kategorien, über die eine Weiterverarbeitung des Defects gesteuert wird. Diese Kategorie entscheidet nicht nur darüber, wer in Folgeschritten mit der Analyse und Behebung des Defects beauftragt wird, sondern liefert erste Hinweise zur Lösung selbst, sofern der betroffene Teilbereich richtig identifiziert wird.
Die Klassifizierungsentscheidung der KI gründet auf Daten nicht nur aus der textuellen Beschreibung des Defects, sondern auch aus den angehängten Dokumenten, die zuvor über OCR ausgelesen wurden (siehe Abbildung 2). Es können über OCR alle Dateiformate in Bild und Schrift berücksichtigt und analysiert werden. Die beim Einsatz unserer Lösung mittels Machine Learning (ML) angewandten Klassifizierungsalgorithmen lernen aus historischen Daten (ca. 11.000 Defects), bei denen durch menschliche Experten (2nd- und 3rd-Level-Support) bereits eine Klassifizierung eingehender Incidents nach entsprechenden Fehlerklassen durchgeführt wurde.
Abb. 2: Architektur der KI-Lösung zur automatischen Defect-Klassifizierung
Im Laufe der Entwicklung zeigte sich, dass eine generische Lösung unter Benutzung von neuronalen Netzen (Deep Neural Networks) zu keinen brauchbaren Ergebnissen führte. Die erzielten Ergebnisse waren nur unwesentlich besser als eine rein zufällige Klassifizierung. Es mussten daher Verfahren gefunden werden, mit denen das Expertenwissen, die Heuristiken der Analysten auf eine ML-basierte Lösung übertragen werden konnte. Dies wurde mit folgenden Schritten erfolgreich durchgeführt:
- Intensive Betrachtung der Vorgehensweisen und Lösungsschritte der Experten (2nd- und 3rd-Level-Support) bei der Fehlerklassifizierung: Welche Überlegungen und Informationsquellen leiten die Entscheidungsfindung der Analysten?
- Verständnis der durch die Experten angewandten Analyseverfahren unter Benutzung geeigneter Software- und Entwicklungsdokumente und Übertragung auf die KI.
Es wurde damit ein Verfahren geschaffen, mit dem umfassend fachliche Expertise und in Dokumenten abgelegtes Wissen einer KI antrainiert wurde.
Über das Basistraining hinaus haben wir einen automatischen kontinuierlichen Trainingsprozess in unsere Lösung integriert. In den Fällen, in denen eine durch die KI vorgenommene Fehlerklassifizierung nachträglich durch einen Experten (2nd- und 3rd-Level-Support) geändert wird, werden solche Korrekturen registriert und für eine Verbesserung der Klassifizierungsalgorithmen verwendet. Sie dienen als Input, um die ML-Modelle mit zusätzlichen Daten neu zu trainieren und entsprechend ihre Ergebnisse kontinuierlich zu verbessern.
Ergebnis
Der quantitativ und qualitativ messbare Nutzen der Lösung ergibt sich aus der Optimierung folgender Zielgrößen: Aufwandsreduktion, Prozessbeschleunigung, Qualitätsverbesserung und Mitarbeitermotivation.
Aufwandsreduktion
Durch den operativen Einsatz der Incident-Automatisierung im FS-RI-Produktsupport haben sich die Aufwände für die Anlage von Defects in Micro Focus ALM auf ein Drittel reduziert. Einsparungen bei indirekten Kosten, wie Vermeidung von Fehl-Routing, Mitarbeiterverlust und Trainingsaufwände, sind hier noch nicht eingerechnet, da diese erst über längere Zeiträume hinweg quantifiziert werden können.
Prozessbeschleunigung
Die Automatisierung der Defect-Verarbeitung resultierte in einer signifikanten Beschleunigung des Prozesses. Diese Beschleunigung ist einmal die Folge der Automatisierung selbst, da durch sie langsame manuelle Ausführungsschritte bei der Bearbeitung eines einzelnen Defects durch schnelle automatische Schritte ersetzt werden.
Zum anderen führt die qualitative Verbesserung bei der Klassifizierung des Defects zu einem effizienteren Routing des Defects, der zuverlässig dem geeigneten Bearbeiter zugewiesen wird und dadurch unnötige Aufwände vermeidet, die entstehen, wenn eine inkorrekte Zuordnung erfolgt.
Wenn man vergleicht, mit welcher Genauigkeit Personen im 1st-Level-Support und eine KI gestützte Lösung Klassifizierungen von Defects ausführen, erweist sich die KI als überlegen: KI-Modelle – trainiert durch Klassifizierungen von Experten aus dem 2nd- und 3rd-Level-Support – haben eine Klassifizierung in 66 Prozent der Fälle korrekt ausgeführt. Eine durch den 1st-Level-Support ausgeführte Klassifizierung war in 43 Prozent der Fälle richtig. Die KI-Lösung hat damit zu einer Verbesserung der Klassifizierung um 53 Prozent geführt.
Qualitätsverbesserung
Neben der dargestellten Verbesserung der Klassifizierungsgenauigkeit hat die Automatisierung auch zu einer Verbesserung der Datenqualität insgesamt geführt, da manuelle Fehler bei der Übertragung von SAP CSS nach Micro Focus ALM vermieden werden.
Die Lösung erreichte eine Genauigkeit von 95 Prozent bei der Berechnung des Enddatums, zu dem eine Lösung des Fehlers vertraglich zu erfolgen hat. Fehler, die durch die Übertragung unerlaubter Sonderzeichen nach Micro Focus ALM verursacht werden, wurden gänzlich eliminiert. Der Übertrag fand in 100 Prozent der Fälle korrekt statt, alle unerlaubten Sonderzeichen wurden erkannt und entfernt.
Mitarbeitermotivation
Die Bearbeitungsschritte, die für eine Fehlerbearbeitung durch den 1st Level erforderlich sind, haben sich durch die Automatisierung signifikant reduziert. Die Anlage eines neuen Defects in Micro Focus ALM erfordert nur noch das Hochladen einer PDF-Datei und ggf. angehängter Dokumente.
Die Automatisierung hat zur Folge, dass der Lernaufwand zur Ausführung der Tätigkeit erheblich reduziert wurde. Bei Übergaben und Urlaubsvertretungen ist weniger Aufwand notwendig, die Tätigkeiten zu erklären; Risiken, die durch Bearbeitungsfehler unerfahrener Mitarbeiter entstehen können, sind damit minimiert.
Ausblick
Die Ergebnisse zeigen deutlich, dass es sich im Umfeld von Testprozessen lohnt, auch über die Testausführung hinaus Automatisierungspotenziale zu identifizieren und konsequent zu heben. Weitere Ansatzpunkte insbesondere für den Einsatz von KI im Testprozess können in unserem konkreten Kontext das Aussortieren von Benutzerfehlern sowie die Eliminierung und Identifikation von Defect-Dubletten sein. Generell sehen wir große Potenziale bei Defect Prediction und Unterstützung von risikobasiertem Testen.
