Ein Testlauf ist erst fertig, wenn jemand anderes ohne Rückfrage sehen kann, was geprüft wurde, wie das Ergebnis lautet und wer handeln muss. Dieser Artikel zeigt, wie ich die Ergebnisse meiner D365-Testautomatisierung dokumentiere: mit einer Ergebnis-Excel für die Fachseite und einem Lauf-Bericht für Produktteam und Entwickler.
Der Artikel setzt Teil 3 fort. Dort geht es darum, technische Fehler auf null zu bringen und nur noch Befunde übrig zu behalten. Hier geht es darum, wie ein Befund zum richtigen Empfänger kommt und später noch nachvollziehbar ist. Die Grundlagen stehen in Teil 1 und Teil 2.
1. Wer liest die Ergebnisse, und was braucht er?
Bei mir lesen vor allem Keyuser und das Produktteam die Ergebnisse. Entwickler greifen darauf zurück, wenn ein Fehler analysiert werden muss. Außerdem werden die Ergebnisse abgelegt, damit sie bei Audits und Nachfragen zur Verfügung stehen. Jede dieser Gruppen stellt eine andere Frage:
| Leser | Frage | Artefakt |
|---|---|---|
| Keyuser | Ist der Prozess in Ordnung, und was wurde geprüft? | Ergebnis-Excel mit Soll und Ist je Fall |
| Produktteam | Was ist ein echter Befund, und wo analysiere ich? | Lauf-Bericht mit gruppierten Ursachen und Belegen |
| Entwickler | Warum ist es gescheitert, und was wurde ausgeführt? | Detaillog, Fehlerbeleg, Metadaten des Laufs |
| Audit | Was wurde wann mit welchem Stand geprüft? | Der vollständige Lauf-Ordner |
2. Das Lauf-Archiv: ein Ordner pro Lauf
Jeder Lauf legt seine Artefakte in einem eigenen Ordner ab. Der Name enthält den Bereich, die Lauf-ID, den Namen des Laufs und das Ziel (etwa UAT oder DEV). Er zeigt außerdem, ob der Lauf per Skript oder per KI-Assistent gestartet wurde.
runs/<domäne>/<lauf>/
summary.html Lauf-Bericht: Verdikt, Phasen, Ursachen
summary.json dieselben Daten, maschinenlesbar
meta.json Zeitpunkt, Dauer, Ziel, Version, Parameter
ergebnisse/ Ergebnis-Excel (Kopie der Eingabetabelle)
fehler/ je Fehlerfall: Ursache und Screenshot
run.log Konsolen-Rohstrom (Detaillog)
events-w*.ndjson strukturiertes Ereignislog
timing/ Zeitdaten je Baustein und Phase
junit.xml Testergebnis für die Pipeline
Drei Regeln aus Teil 2 gelten hier weiter: Die Quelldatei bleibt unverändert, jeder Worker schreibt in eine eigene Datei, und alte Läufe bleiben als Historie liegen. Dadurch beeinflusst kein Lauf den nächsten, und ein Ergebnis lässt sich auch Wochen später noch öffnen.
3. Reproduzierbarkeit: was ein Lauf über sich selbst weiß
Ein Ergebnis ohne Kontext ist schwer zu bewerten. Deshalb schreibt jeder Lauf mit, unter welchen Bedingungen er stattfand:
- Zeitpunkt und Dauer des Laufs.
- Ziel: gegen welche Testumgebung er lief.
- Stand des Testcodes: Commit und die Zahl geänderter Dateien, die noch nicht eingecheckt waren.
- Parameter: etwa die Zahl der Lanes und der Testumfang.
Der Nutzen zeigt sich beim Vergleichen: Ein Lauf mit 4 Lanes und reduziertem Testumfang ist mit einem Lauf mit 2 Lanes und vollem Umfang nur bedingt vergleichbar. Der Bericht nennt diese Bedingungen direkt im Kopf, statt sie dem Leser zu überlassen.
4. Der Lauf-Bericht: Verdikt, Phasenmatrix, gruppierte Ursachen
Der Lauf-Bericht (summary.html) ist die Sicht für Produktteam und Entwickler. Er beantwortet drei Fragen in dieser Reihenfolge: Ist der Lauf grün oder rot? Wo fielen Fälle aus? Warum?
Aufbau des Lauf-Berichts
Die Fehlerklassen sind aus Teil 3 bekannt und nach dem Empfänger benannt: fachlich (Soll ungleich Ist), Testdaten (Eingabe korrigieren), technisch (die Automatisierung ist gescheitert) und übersprungen (mit Grund, etwa weil die Vorphase ausfiel). Ein Fall, der in einer Phase ausfällt, fällt aus den Folgephasen. Der Bericht nennt deshalb pro Fall die Phase des Ausfalls und nicht jede Folgemeldung.
Gruppieren statt auflisten
Der wichtigste Schritt ist das Gruppieren. Die Ursachen werden normalisiert und zusammengefasst. Zehn gleiche Timeouts sind dann eine Ursache mit zehn Fällen und nicht zehn Meldungen, die man einzeln lesen muss. Das Beispiel unten ist nachgebaut und anonymisiert. Es stammt aus einem Lauf gegen eine weitere Testumgebung mit 18 Fällen:
| Anzahl | Klasse | Ursache (Beispiel) |
|---|---|---|
| 13× | Fachlich (Soll ≠ Ist) | Preis (Pos. 1): erwartet [Wert], gefunden <Lesefehler: Preiseinheit nicht lesbar>, Abweichung |
| 4× | Technisch | Timeout nach 30 Sekunden: Lookup-Schaltfläche der Fabrik wurde nicht sichtbar |
| 1× | Technisch | Confirm von D365 abgelehnt: Berichtsdesign der Bestellung nicht gefunden |
Ein Produktteam sieht damit auf einen Blick, dass es sich um drei Ursachen handelt und nicht um achtzehn. Zu jeder Gruppe gehört ein Beleg: eine error.md mit Ursache, Phase und Kette sowie ein Screenshot der Seite im Fehlerzeitpunkt. Wie wichtig das ist, zeigt Teil 2: Das Log nennt das Symptom, der Screenshot oft die Ursache.
5. Die Ergebnis-Excel: Soll und Ist je Fall
Die Ergebnis-Excel ist die Sicht der Fachseite. Sie ist keine neue Tabelle, sondern die Kopie der Eingabetabelle, in die der Lauf seine Ergebnisse schreibt. Dadurch stehen Eingabe und Ergebnis in derselben Zeile, und der Keyuser sieht beides nebeneinander. Die Spalten gliedern sich in vier Bereiche:
| Bereich | Inhalt |
|---|---|
| Eingabe | Standort, Bestellung, Position, Artikel, Menge, Preis, Steuersatz, Lieferant, Land, Skonto, Promotion |
| Zuordnung und Hinweis | Zu welchem Testfall der Rechnungsprüfung die Bestellung gehört, plus Hinweise |
| Prüfung | Gesamtergebnis (OK oder Abweichung) und Prüfergebnis je Feld |
| Phasenstatus | Ergebnis und Fehler je Prozessphase, etwa Ladung, mobiler Wareneingang, Produktzugang, Hedging, Warnung |
Soll und Ist im Klartext
Die Prüfspalte zeigt für jedes geprüfte Feld, was erwartet wurde und was gefunden wurde:
| Feld | Erwartet | Gefunden | Ergebnis |
|---|---|---|---|
| Skonto in % | 3 | 3,00 | OK |
| Menge (Position 1) | 100 | 100,0000 | OK |
| Land (Position 1) | DEU | DEU | OK |
| Steuersatz in % (Position 1) | 19 | 19,00000 | OK |
Auszug aus der Prüfspalte, Werte gekürzt. Die Prüfung vergleicht Zahlen und nicht deren Schreibweise, deshalb gilt „3“ gegen „3,00“ als gleich.
Der Keyuser muss dafür nicht ins Log schauen. Er sieht je Zeile, welches Feld abweicht, und kann sofort entscheiden, ob es ein Testdaten- oder ein fachliches Thema ist.
Unsicherheit kennzeichnen
Eine Hinweisspalte nennt ausdrücklich, wo das Ergebnis eine Einschränkung hat. Ein Beispiel: Passt der Inhalt einer Bestellung auf mehrere Testfälle der Rechnungsprüfung, steht dort, dass die Zuordnung nur nach der Reihenfolge der Datei geraten ist und geprüft werden sollte. Eine Warnspalte hält fest, wenn ein Lauf auf einen Ersatzweg ausweichen musste, etwa auf eine manuelle Bestätigung statt des Batch-Jobs.
6. Vergleich: besser oder schlechter als der letzte Lauf?
Ein einzelner Lauf sagt wenig, wenn man nicht weiß, wie die Läufe davor aussahen. Der Bericht vergleicht deshalb auf zwei Ebenen.
Vergleich zum Vorlauf
Der Bericht nennt, wie viele Fälle gegenüber dem vorigen Lauf neu fehlgeschlagen, neu grün oder weiterhin fehlerhaft sind. Das trennt Neues von Altlast. Ein Produktteam muss einen seit Tagen bekannten Fehler nicht jedes Mal neu bewerten, aber einen neu aufgetretenen Fehler sofort sehen.
Zeit-Ausreißer gegen die Historie
Dauern je Phase werden gegen den Median früherer Läufe verglichen, und zwar nur gegen Läufe mit gleicher Kette, Phase, Ziel und Lane-Zahl. Ausfallzeiten der Umgebung werden abgezogen. Als Ausreißer gilt eine Phase ab dem 1,5-Fachen der üblichen Dauer und mindestens zwei Minuten Abweichung. Gibt es weniger als drei Vergleichsläufe, steht „keine Baseline“ da. So entsteht keine scheinbare Genauigkeit.
| Phase | Dauer | Üblich | Faktor | Bewertung |
|---|---|---|---|---|
| Anlage | 15 Min. 26 Sek. | 14 Min. 15 Sek. | 1,1× | im Rahmen |
| Approve | 9 Min. 47 Sek. | 10 Min. 8 Sek. | 1,0× | im Rahmen |
| MDE-Vereinnahmung | 17 Min. 5 Sek. | 17 Min. 12 Sek. | 1,0× | im Rahmen |
Auszug aus dem Bericht eines Laufs mit 2 Lanes und 18 Bestellungen vom 22. Oktober.
Das verbindet diesen Artikel mit Teil 3: Das Zeitlog liefert die Messwerte, der Bericht macht daraus eine Bewertung. Wird ein Schritt nach einem Update plötzlich doppelt so langsam, sieht man das am Lauf-Ende, ohne ein Log auszuwerten.
7. Aufbewahren und nutzen: Audit und Fehleranalyse
Die Dokumentation wird auf zwei Arten verwendet: als Nachweis und als Arbeitsgrundlage.
Als Nachweis
Der Lauf-Ordner wird abgelegt und steht bei Audits und Nachfragen zur Verfügung. Er enthält alles, was ein Nachweis braucht: den Bericht mit Verdikt, die Ergebnis-Excel mit Soll und Ist je Fall, die Metadaten mit Zeitpunkt, Ziel, Testcode-Stand und Parametern. Weil die Eingabetabelle beim Lauf kopiert wird, bleibt das Original unverändert und das Ergebnis eindeutig einem Stand zuordenbar.
Als Arbeitsgrundlage bei Fehlern
Das Produktteam und die Entwickler gehen immer denselben Weg:
Von der roten Meldung zur Ursache
Der entscheidende Punkt ist die Verbindung zwischen den Artefakten: Jeder Fall trägt als Schlüssel seine Excel-Zeile. Damit lässt sich von jedem Punkt zu jedem anderen springen, vom Bericht zur Eingabe, vom Fehler zum Beleg, vom Beleg zum Log.
8. Empfehlungen und Grenzen
Wer eine eigene Ergebnisdokumentation aufbaut, kann sich an dieser Checkliste orientieren:
- Ein Ordner je Lauf, mit allem, was zum Lauf gehört. Nichts liegt verstreut.
- Kontext mitschreiben: Zeitpunkt, Ziel, Stand des Testcodes, Parameter.
- Fehlerklassen im Bericht, nach dem Empfänger benannt.
- Ursachen gruppieren, nicht auflisten, und jeder Gruppe einen Beleg mitgeben.
- Soll und Ist im Klartext, damit die Fachseite ohne Log prüfen kann.
- Gegen den Vorlauf und die Historie vergleichen, um Neues von Altlast zu trennen.
- Unsicherheit kennzeichnen, wo die Automatisierung rät oder ausweicht.
Neben den Ergebnissen eines Laufs gibt es weitere Dokumentation, die aus der Automatisierung entsteht: Prozesshandbücher mit Bildschirmen aus echten Durchläufen und eine Prüfmatrix, die je Prozessblock Vorab- und Nachprüfung beschreibt. Beide verdienen einen eigenen Artikel und folgen später.
Fazit: Ein Ergebnis ist erst fertig, wenn es gelesen werden kann
- Mehrere Sichten auf dieselben Daten statt eines Dokuments für alle.
- Das Lauf-Archiv macht jeden Lauf eigenständig und nachvollziehbar.
- Der Lauf-Bericht gruppiert Ursachen und liefert Belege.
- Die Ergebnis-Excel zeigt Soll und Ist und benennt Unsicherheit.
Wenn technische Fehler gegen null gehen, wie in Teil 3 beschrieben, bleibt nur noch das übrig, was fachlich zählt. Die Ergebnisdokumentation sorgt dafür, dass dieser Rest die richtigen Leute erreicht.