Parallele UI-Tests für Dynamics 365 sind schnell gebaut und schwer stabil zu bekommen. Dieser Artikel zeigt, wie aus einem Testlauf mit vielen technischen Ausfällen ein verlässliches Werkzeug wurde, und wie dieselbe Fallzahl dabei in der halben Zeit lief.
Der Artikel baut auf Teil 1: Nutzen und Grenzen und Teil 2: Framework-Design und Skalierung auf. Teil 2 beschreibt Architektur, Lanes und Messwerte. Hier geht es um das, was danach kam: Fehler unter Last systematisch beseitigen und die Laufzeit gezielt senken. Er richtet sich an Test Engineers, Solution Architects und alle, die eine D365-Testautomatisierung betreiben oder aufbauen.
Die Beispiele stammen aus dem Purchase-to-Pay-Lauf meines Frameworks. Die Zahlen sind dem Zeitlog und der Versionshistorie entnommen, nicht geschätzt.
1. Ausgangslage: fachlich grün, unter Last rot
Die P2P-Kette lief fachlich korrekt, solange sie mit einer Lane arbeitete. Mit mehreren Lanes begannen die Ausfälle. Im ersten Lauf mit 4 Lanes und 31 Bestellungen fielen allein vor dem Wareneingang 8 Bestellungen aus: 3 beim Einreichen in den Workflow und 5 beim Bestätigen.
Alle Ausfälle sahen im Zusammenfassungslog gleich aus, nämlich als Timeout. Dahinter standen vier verschiedene Ursachen. Das ist das eigentliche Problem paralleler UI-Tests: Dasselbe Symptom verdeckt mehrere Fehler, und jeder braucht eine andere Behandlung.
Der Weg zu null technischen Fehlern
2. Technische und fachliche Fehler trennen
Bevor man Fehler behebt, muss klar sein, wer handeln muss. Nur dann ist ein roter Fall ein verlässliches Signal und kein Rauschen. Ich unterscheide nach dem Empfänger:
| Fehlerklasse | Typisches Beispiel | Wer handelt? |
|---|---|---|
| Testdatenfehler | Anwender haben Ausgangsdaten verändert | Testdaten wiederherstellen |
| Fachlicher Fehler | Geänderte oder fehlerhafte Geschäftslogik nach einem Update | Produktteam, wie ein Incident |
| Technischer Fehler | Timing, Oberflächenzustand, Last, Infrastruktur | Test Engineering, am Framework |
Die Pipeline versucht im Rahmen des Möglichen selbst, Testdaten- und fachliche Fehler zu unterscheiden. Fachliche Befunde gehen wie Meldungen manueller Tester an das Produktteam.
3. Vier Fehlerbilder unter Last
Aus meiner Praxis
Das waren die Ursachen hinter den Timeouts des ersten 4-Lane-Laufs. Nummern von Lieferanten, Bestellungen und Zeilen lasse ich bewusst weg.
- Fehlerdialog als Lightbox. D365 meldete beim Schreiben des Grid-Zustands, dass ein Datensatz bereits existiert. Der Dialog liegt über der Seite, der Folgeklick läuft 30 Sekunden in den Timeout. Er steht nur im Screenshot, nicht im Log. Die Analyse dazu steht in Teil 2, Abschnitt 5.
- Control da, Wert noch leer. Beim Lesen, ob für einen Lieferanten die Collaboration aktiv ist, war das Feld sichtbar, aber noch nicht befüllt. Unter 4 Lanes rendert D365 spürbar später.
- Veraltete Anzeige. Der Antwortstatus des Lieferanten stand auf „Unanswered“, obwohl die Antwort im Portal schon als „Accepted with changes“ eingegangen war. Der Wiederholungsversuch suchte dann eine Schaltfläche, die es nicht mehr gab, und lief 60 Sekunden in den Timeout.
- Leerer Lookup. Die Auswahl der Fabrik blieb auch nach 40 Sekunden und erneutem Öffnen leer. In zwei weiteren Fällen lief es mit einem zweiten Anlauf durch. Anfangs war unklar, ob Last oder fehlende Stammdaten dahinterstehen. Es stellte sich als ebenfalls lastbedingt heraus.
Alle vier Fehlerbilder hängen damit an der Last durch mehrere Lanes und nicht an der Fachlogik. Bei Fehlerbild 1 ist allerdings nicht abschließend belegt, ob der Dialog fachlich harmlos ist. Er wird deshalb behandelt, aber gezählt.
4. Stabilisierungsmuster
Aus den Fehlerbildern und den Folgeläufen haben sich Muster ergeben, die über den Einzelfall hinaus tragen.
Zustand statt Zeit
Nicht einmal lesen und scheitern, sondern pollen, bis der Zustand erreicht ist. Gegen Fehlerbild 2 liest der Baustein jetzt bis zu etwa 15 Sekunden, bevor er einen Fehler meldet.
Frisch lesen
Anzeigen können veraltet sein. Gegen Fehlerbild 3 wird der Status nach dem Round-trip mit einem Form-Refresh nachgelesen.
Idempotente Schritte
Vor jeder Wiederholung prüfen, ob das Ziel schon erreicht ist. Ist die Antwort bereits bestätigt, wird der Round-trip übersprungen. Eine Buchung wird nur wiederholt, wenn sie noch nicht gebucht ist.
Störer behandeln und zählen
Bekannte Dialoge schließt ein globaler Handler, jedes Auftreten landet als Warnung im Log. Nichts wird stillschweigend weggedrückt.
Geteilte Ressourcen serialisieren
Was es nur einmal gibt, etwa die Sitzung eines Lagers im Mobilgerät-Emulator, bekommt eine Warteschlange. Alles andere läuft parallel.
Früh und klar abbrechen
Bei ungültiger Sitzung bricht der Lauf sofort mit Anweisung ab, statt fünf Minuten auf einen unsichtbaren Login zu warten.
Großzügige Wartegrenzen kosten nichts
Stabilität und Geschwindigkeit scheinen sich zu widersprechen: Stabilität verlangt längere Timeouts, Performance kürzere. Aufgelöst wird das durch die Art des Wartens. Ein Polling endet, sobald der Zustand erreicht ist. Das Maximum greift nur im Störfall und kostet im Normalfall nichts.
Ich habe deshalb bei Filter-Flyouts in mehreren Seiten das Maximum von 5 auf 15 Sekunden angehoben. Das verlängert den Normalfall nicht, weil das Warten endet, sobald der Filter da ist. Bei Batch-Jobs ist die Dauer so unterschiedlich (zwischen etwa einer und 19 Minuten beobachtet), dass nur ein großzügiges Maximum mit schneller Erkennung des Abschlusses funktioniert. Ein Beispiel für den Gewinn: Ein bereits beendeter Job wurde nach dem Auslösen früher bis zum 20-Minuten-Timeout abgefragt. Heute prüft der Baustein vorab die Historie und bestätigt sofort.
5. Messen statt raten: das Zeitlog als Werkzeug
Das Zeitlog ist eine von drei Log-Ebenen (Details in Teil 2) und enthält nur Messwerte: Dauer je Baustein, jeweils mit Kette, Fall, Lane und Phase. Daraus entstehen Median und 95-Prozent-Wert je Baustein, eine Historie je Phase und am Lauf-Ende ein Vergleich der Ausreißer gegen diese Historie.
Der Nutzen liegt in der Disziplin, die dahintersteht:
- Nicht gemessen heißt nicht sichtbar. Teilschritte, die zu grob erfasst waren, tauchten in der Auswertung nicht auf. Ich habe sie deshalb nachträglich fein gemessen, etwa die einzelnen Schritte beim Verpacken.
- Die Messung zeigt, wo die Zeit liegt, nicht, wo man sie vermutet. Die Phasen-Historie macht sichtbar, welcher Block den Lauf dominiert.
- Jede Optimierung wird live nachgemessen. Ob sie wirkt, zeigt der Vergleich vorher und nachher, nicht das Gefühl.
Die Optimierungsschleife
6. Performance: Wo die Zeit lag
Teil 2 nennt, dass dieselbe Fallzahl mit 2 Lanes zunächst rund drei Stunden und heute rund anderthalb braucht. Hier ist die Aufschlüsselung. Verglichen werden zwei Läufe mit je 2 Lanes, 18 Bestellungen und null technischen Fehlern, vor und nach den Änderungen vom 13. Oktober:
| Phase | Vorher (12.10.) | Nachher (15.10.) | Einsparung |
|---|---|---|---|
| Approve | 36 Min. | 10 Min. | 26 Min. |
| Produktzugang buchen (PZ) | 37 Min. | 13 Min. | 24 Min. |
| MDE-Vereinnahmung | 32 Min. | 17 Min. | 15 Min. |
| Submit to Workflow | 31 Min. | 15 Min. | 16 Min. |
| Confirm | 25 Min. | 15 Min. | 10 Min. |
| Anlage | 13 Min. | 15 Min. | unverändert |
| Übrige Phasen | 9 Min. | 7 Min. | 2 Min. |
| Gesamt | 183 Min. | 92 Min. | 91 Min. |
Quelle: Zeitlog. Der Lauf vom 13.10. vor den Änderungen lag mit 190 Minuten auf demselben Niveau, die späteren Läufe vom 21. und 22.10. mit 88 und 90 Minuten bestätigen die neue Größenordnung. Phasen in Minuten gerundet.
Aus meiner Praxis: Drei Hebel
Alle Änderungen vom 13. Oktober folgen demselben Prinzip: weniger Navigation, weniger Neuladen, keine festen Wartezeiten. Die Zahlen je Bestellung habe ich jeweils live gemessen.
- Approve und Submit direkt von der Bestellliste. Vorher öffnete der Test jede Bestellung im Detailformular und setzte bei technischen Fehlern komplett zurück. Heute läuft es über die Bestellliste: Spaltenfilter, Aktionsleiste, lokaler Refresh. Der Komplettreset bleibt als Rückfallweg. Approve sank von 255 auf 50 bis 60 Sekunden je Bestellung. Zusammen mit Submit to Workflow sind das 42 der 91 gesparten Minuten, also fast die Hälfte.
- Feldprüfung und Confirm ohne Leerlauf. Das Detail öffnet jetzt per Enter aus der selektierten Zeile, die Zeile wird über die Artikelnummer statt über Timeout-Suche gefunden, und die Verifikation läuft per Refresh-Polling statt per Neuladen. Zwei feste Wartezeiten von 20 und 15 Sekunden sind entfallen. Die Feldprüfung sank von 78 auf rund 25 Sekunden, das Bestätigen von 134 auf rund 62 Sekunden je Bestellung.
- Wareneingang über die offene Liste. Die Bestellliste wird wiederverwendet, statt neu zu navigieren und zu filtern. Die Wartezeit auf die Buchungsmeldung sank von 90 auf 20 Sekunden, der Mengennachweis pollt bis zu 60 Sekunden. Die Phase Produktzugang sank von 37 auf 13 Minuten.
Die Anlage der Bestellungen wurde nicht schneller und ist mit 13 und 15 Minuten im Rahmen der üblichen Schwankung. Das ist ein gutes Zeichen für die Messung: Sie zeigt nur dort einen Gewinn, wo auch etwas geändert wurde.
Dieselbe Methode wirkt in den anderen Ketten ähnlich. In der Order-to-Cash-Kette sank der Container-Lookup beim Verpacken von 501 auf 20 Sekunden je Lieferung, weil eine feste 30-Sekunden-Wartezeit entfiel. In der Rechnungsprüfung sank ein Einzelschritt von 182 auf 93 Sekunden, weil die Prüfung zuerst die offenen Rechnungen liest und das Journal nur noch als Rückfall.
7. Wann ist ein Lauf stabil genug?
Erst nach der Optimierung der Einzelschritte habe ich die Lanes weiter erhöht. Die Messwerte je Lane-Zahl stehen in Teil 2. Wichtiger als die Zahl ist das Kriterium, ab wann ich eine Konfiguration als stabil bezeichne.
- Mehrere Läufe in Folge ohne technischen Fehler, nicht ein einzelner grüner Lauf. Mit 4 Lanes waren es zwischen dem 17. und 19. Oktober fünf Läufe in Folge, jeweils 18 Bestellungen, in 33 bis 48 Minuten.
- Auch unter Zusatzlast. Andere Prozesse auf derselben Testmaschine führen inzwischen nicht mehr zu technischen Fehlern.
- Keine Fortsetzungsläufe mehr. Die Wiederaufnahme per Checkpoint bleibt als Notanker erhalten, wird im Normalbetrieb aber nicht mehr gebraucht.
Die technische Erfolgsquote liegt damit bei 100 Prozent. Was ein Lauf rot meldet, ist ein fachlicher Befund oder ein Testdatenfehler und damit etwas, worauf ein Mensch reagieren muss.
Eine Grenze bleibt: Doppelt so viele Lanes verkürzen die Laufzeit nicht um die Hälfte, sondern um rund 45 Prozent. Workflows, Batch-Jobs und geteilte Ressourcen setzen dem Gewinn Grenzen, und die Testmaschine hat begrenzten Speicher. Wo der abnehmende Grenznutzen genau beginnt, muss eine weitere Messreihe zeigen.
8. Empfehlungen für die Reihenfolge
Aus meinen Läufen ergibt sich eine Reihenfolge, die ich bei einem Neustart wieder einhalten würde:
Von der ersten Automatisierung zum stabilen, schnellen Lauf
Der häufigste Fehler wäre, die Reihenfolge umzudrehen und über mehr Lanes Zeit zu gewinnen, bevor die Schritte stabil sind. Dann multipliziert die Parallelität nur die Zahl der Ausfälle.
Fazit: Verlässlichkeit ist ein Messergebnis
- Fehlerklassen entscheiden, wer handeln muss, und machen rote Ergebnisse verwertbar.
- Stabilisierungsmuster wie Polling, frisches Lesen und idempotente Schritte beheben Ursachen statt Symptome.
- Das Zeitlog zeigt, wo die Zeit liegt. Dadurch ließ sich dieselbe Fallzahl von rund 183 auf 92 Minuten senken.
- Die Reihenfolge zählt: erst korrekt, dann schnell, dann stabil unter Last, dann parallel.
Wie die Ergebnisse eines Laufs dokumentiert werden, damit Keyuser und Produktteam sie nutzen können, beschreibe ich in Teil 4: Ergebnisse dokumentieren. Wer Fragen zu einem der Teile hat oder Erfahrungen aus eigenen Projekten teilen möchte, erreicht mich über die Kontaktseite.