Das Wissensportal für IT-Professionals. Entdecke die Tiefe und Breite unseres IT-Contents in exklusiven Themenchannels und Magazinmarken.

heise conferences gmbh

(vormals SIGS DATACOM GmbH)

Rheinwerkallee 4, 53227 Bonn

Tel: +49 (0)511/53527-100

service-sigs@heise.de

Ein Experiment mit QA-Agenten, unlösbaren Bugreports und einer unbequemen Erkenntnis: Struktur legitimiert Falschheit

QA-Agenten liefern Testfälle auch dann, wenn der Bugreport inhaltlich widersprüchlich oder frei erfunden ist. Das gefährdet gerade sorgfältige Teams: Was sauber aussieht, wird irgendwann nicht mehr hinterfragt. Ein Experiment mit 400 Läufen zeigt: Fehlendes wird zu 100 Prozent erkannt, Falsches zu 0 Prozent. Der Agent erkennt also, was fehlt – aber nicht, was falsch ist. Fünf Maßnahmen schließen genau diese Lücke: ohne neue Plattform, umsetzbar ab Montag.

Ein Testfall, der keiner sein dürfte

Ein QA-Agent erhält einen Bugreport: „Im QuantumSync-Modul bricht die Hyperreplikation ab, wenn man den Flux-Abgleich startet.“ Der Agent liefert sofort einen Testfall mit ID, Priorität, Klassifikation und der Vorbedingung: „Das QuantumSync-Modul ist installiert und gestartet.“ Der Reviewer überfliegt ihn: sauber formatiert. Freigabe.

Es gibt nur ein Problem: Das QuantumSync-Modul existiert nicht. Wir haben es erfunden (siehe Abb. 1). Zehn von zehn Läufen lief…