Parallele UI-Tests für Dynamics 365 sind schnell gebaut und schwer stabil zu bekommen. Dieser Artikel zeigt, wie aus einem Testlauf mit vielen technischen Ausfällen ein verlässliches Werkzeug wurde, und wie dieselbe Fallzahl dabei in der halben Zeit lief.

Der Artikel baut auf Teil 1: Nutzen und Grenzen und Teil 2: Framework-Design und Skalierung auf. Teil 2 beschreibt Architektur, Lanes und Messwerte. Hier geht es um das, was danach kam: Fehler unter Last systematisch beseitigen und die Laufzeit gezielt senken. Er richtet sich an Test Engineers, Solution Architects und alle, die eine D365-Testautomatisierung betreiben oder aufbauen.

Zentrale These Ein Testlauf ist erst dann nützlich, wenn jeder rote Fall eine fachliche Aussage trägt. Dafür müssen technische Fehler auf null, und erst danach lohnt sich die Frage, wie schnell der Lauf ist.

Die Beispiele stammen aus dem Purchase-to-Pay-Lauf meines Frameworks. Die Zahlen sind dem Zeitlog und der Versionshistorie entnommen, nicht geschätzt.

1. Ausgangslage: fachlich grün, unter Last rot

Die P2P-Kette lief fachlich korrekt, solange sie mit einer Lane arbeitete. Mit mehreren Lanes begannen die Ausfälle. Im ersten Lauf mit 4 Lanes und 31 Bestellungen fielen allein vor dem Wareneingang 8 Bestellungen aus: 3 beim Einreichen in den Workflow und 5 beim Bestätigen.

Alle Ausfälle sahen im Zusammenfassungslog gleich aus, nämlich als Timeout. Dahinter standen vier verschiedene Ursachen. Das ist das eigentliche Problem paralleler UI-Tests: Dasselbe Symptom verdeckt mehrere Fehler, und jeder braucht eine andere Behandlung.

Der Weg zu null technischen Fehlern

1. Erster Lauf mit 4 Lanes8 von 31 Bestellungen fallen vor dem Wareneingang aus
2. Fehlerbilder trennenEin Symptom, vier Ursachen: Screenshot und Log gemeinsam auswerten
3. Gezielt behebenJe Ursache ein Muster, keine pauschale Wiederholung
4. Unter Last wiederholenFünf Läufe mit 4 Lanes in Folge ohne technischen Fehler

2. Technische und fachliche Fehler trennen

Bevor man Fehler behebt, muss klar sein, wer handeln muss. Nur dann ist ein roter Fall ein verlässliches Signal und kein Rauschen. Ich unterscheide nach dem Empfänger:

FehlerklasseTypisches BeispielWer handelt?
TestdatenfehlerAnwender haben Ausgangsdaten verändertTestdaten wiederherstellen
Fachlicher FehlerGeänderte oder fehlerhafte Geschäftslogik nach einem UpdateProduktteam, wie ein Incident
Technischer FehlerTiming, Oberflächenzustand, Last, InfrastrukturTest Engineering, am Framework

Die Pipeline versucht im Rahmen des Möglichen selbst, Testdaten- und fachliche Fehler zu unterscheiden. Fachliche Befunde gehen wie Meldungen manueller Tester an das Produktteam.

Warum das die Voraussetzung ist Solange technische Fehler auftreten, bearbeitet das Produktteam im Zweifel Störungen der Automatisierung statt echter Befunde. Das kostet Vertrauen schneller, als jede Optimierung Zeit spart.

3. Vier Fehlerbilder unter Last

Aus meiner Praxis

Das waren die Ursachen hinter den Timeouts des ersten 4-Lane-Laufs. Nummern von Lieferanten, Bestellungen und Zeilen lasse ich bewusst weg.

  1. Fehlerdialog als Lightbox. D365 meldete beim Schreiben des Grid-Zustands, dass ein Datensatz bereits existiert. Der Dialog liegt über der Seite, der Folgeklick läuft 30 Sekunden in den Timeout. Er steht nur im Screenshot, nicht im Log. Die Analyse dazu steht in Teil 2, Abschnitt 5.
  2. Control da, Wert noch leer. Beim Lesen, ob für einen Lieferanten die Collaboration aktiv ist, war das Feld sichtbar, aber noch nicht befüllt. Unter 4 Lanes rendert D365 spürbar später.
  3. Veraltete Anzeige. Der Antwortstatus des Lieferanten stand auf „Unanswered“, obwohl die Antwort im Portal schon als „Accepted with changes“ eingegangen war. Der Wiederholungsversuch suchte dann eine Schaltfläche, die es nicht mehr gab, und lief 60 Sekunden in den Timeout.
  4. Leerer Lookup. Die Auswahl der Fabrik blieb auch nach 40 Sekunden und erneutem Öffnen leer. In zwei weiteren Fällen lief es mit einem zweiten Anlauf durch. Anfangs war unklar, ob Last oder fehlende Stammdaten dahinterstehen. Es stellte sich als ebenfalls lastbedingt heraus.

Alle vier Fehlerbilder hängen damit an der Last durch mehrere Lanes und nicht an der Fachlogik. Bei Fehlerbild 1 ist allerdings nicht abschließend belegt, ob der Dialog fachlich harmlos ist. Er wird deshalb behandelt, aber gezählt.

4. Stabilisierungsmuster

Aus den Fehlerbildern und den Folgeläufen haben sich Muster ergeben, die über den Einzelfall hinaus tragen.

Zustand statt Zeit

Nicht einmal lesen und scheitern, sondern pollen, bis der Zustand erreicht ist. Gegen Fehlerbild 2 liest der Baustein jetzt bis zu etwa 15 Sekunden, bevor er einen Fehler meldet.

Frisch lesen

Anzeigen können veraltet sein. Gegen Fehlerbild 3 wird der Status nach dem Round-trip mit einem Form-Refresh nachgelesen.

Idempotente Schritte

Vor jeder Wiederholung prüfen, ob das Ziel schon erreicht ist. Ist die Antwort bereits bestätigt, wird der Round-trip übersprungen. Eine Buchung wird nur wiederholt, wenn sie noch nicht gebucht ist.

Störer behandeln und zählen

Bekannte Dialoge schließt ein globaler Handler, jedes Auftreten landet als Warnung im Log. Nichts wird stillschweigend weggedrückt.

Geteilte Ressourcen serialisieren

Was es nur einmal gibt, etwa die Sitzung eines Lagers im Mobilgerät-Emulator, bekommt eine Warteschlange. Alles andere läuft parallel.

Früh und klar abbrechen

Bei ungültiger Sitzung bricht der Lauf sofort mit Anweisung ab, statt fünf Minuten auf einen unsichtbaren Login zu warten.

Großzügige Wartegrenzen kosten nichts

Stabilität und Geschwindigkeit scheinen sich zu widersprechen: Stabilität verlangt längere Timeouts, Performance kürzere. Aufgelöst wird das durch die Art des Wartens. Ein Polling endet, sobald der Zustand erreicht ist. Das Maximum greift nur im Störfall und kostet im Normalfall nichts.

Ich habe deshalb bei Filter-Flyouts in mehreren Seiten das Maximum von 5 auf 15 Sekunden angehoben. Das verlängert den Normalfall nicht, weil das Warten endet, sobald der Filter da ist. Bei Batch-Jobs ist die Dauer so unterschiedlich (zwischen etwa einer und 19 Minuten beobachtet), dass nur ein großzügiges Maximum mit schneller Erkennung des Abschlusses funktioniert. Ein Beispiel für den Gewinn: Ein bereits beendeter Job wurde nach dem Auslösen früher bis zum 20-Minuten-Timeout abgefragt. Heute prüft der Baustein vorab die Historie und bestätigt sofort.

Faustregel Feste Wartezeiten sind teuer und trotzdem unsicher. Ein Polling mit großzügigem Maximum ist im Normalfall kurz und im Störfall geduldig.

5. Messen statt raten: das Zeitlog als Werkzeug

Das Zeitlog ist eine von drei Log-Ebenen (Details in Teil 2) und enthält nur Messwerte: Dauer je Baustein, jeweils mit Kette, Fall, Lane und Phase. Daraus entstehen Median und 95-Prozent-Wert je Baustein, eine Historie je Phase und am Lauf-Ende ein Vergleich der Ausreißer gegen diese Historie.

Der Nutzen liegt in der Disziplin, die dahintersteht:

  • Nicht gemessen heißt nicht sichtbar. Teilschritte, die zu grob erfasst waren, tauchten in der Auswertung nicht auf. Ich habe sie deshalb nachträglich fein gemessen, etwa die einzelnen Schritte beim Verpacken.
  • Die Messung zeigt, wo die Zeit liegt, nicht, wo man sie vermutet. Die Phasen-Historie macht sichtbar, welcher Block den Lauf dominiert.
  • Jede Optimierung wird live nachgemessen. Ob sie wirkt, zeigt der Vergleich vorher und nachher, nicht das Gefühl.

Die Optimierungsschleife

1. MessenZeitlog und Phasen-Historie des letzten Laufs
2. Größten Block wählenDie Phase mit der längsten Laufzeit, nicht die lästigste
3. Ursache im Schritt findenLeerlauf, Navigation, Neuladen, feste Wartezeit
4. Ändern und live nachmessenEinzelnen Schritt isoliert prüfen, dann im Gesamtlauf bestätigen

6. Performance: Wo die Zeit lag

Teil 2 nennt, dass dieselbe Fallzahl mit 2 Lanes zunächst rund drei Stunden und heute rund anderthalb braucht. Hier ist die Aufschlüsselung. Verglichen werden zwei Läufe mit je 2 Lanes, 18 Bestellungen und null technischen Fehlern, vor und nach den Änderungen vom 13. Oktober:

PhaseVorher (12.10.)Nachher (15.10.)Einsparung
Approve36 Min.10 Min.26 Min.
Produktzugang buchen (PZ)37 Min.13 Min.24 Min.
MDE-Vereinnahmung32 Min.17 Min.15 Min.
Submit to Workflow31 Min.15 Min.16 Min.
Confirm25 Min.15 Min.10 Min.
Anlage13 Min.15 Min.unverändert
Übrige Phasen9 Min.7 Min.2 Min.
Gesamt183 Min.92 Min.91 Min.

Quelle: Zeitlog. Der Lauf vom 13.10. vor den Änderungen lag mit 190 Minuten auf demselben Niveau, die späteren Läufe vom 21. und 22.10. mit 88 und 90 Minuten bestätigen die neue Größenordnung. Phasen in Minuten gerundet.

Aus meiner Praxis: Drei Hebel

Alle Änderungen vom 13. Oktober folgen demselben Prinzip: weniger Navigation, weniger Neuladen, keine festen Wartezeiten. Die Zahlen je Bestellung habe ich jeweils live gemessen.

  1. Approve und Submit direkt von der Bestellliste. Vorher öffnete der Test jede Bestellung im Detailformular und setzte bei technischen Fehlern komplett zurück. Heute läuft es über die Bestellliste: Spaltenfilter, Aktionsleiste, lokaler Refresh. Der Komplettreset bleibt als Rückfallweg. Approve sank von 255 auf 50 bis 60 Sekunden je Bestellung. Zusammen mit Submit to Workflow sind das 42 der 91 gesparten Minuten, also fast die Hälfte.
  2. Feldprüfung und Confirm ohne Leerlauf. Das Detail öffnet jetzt per Enter aus der selektierten Zeile, die Zeile wird über die Artikelnummer statt über Timeout-Suche gefunden, und die Verifikation läuft per Refresh-Polling statt per Neuladen. Zwei feste Wartezeiten von 20 und 15 Sekunden sind entfallen. Die Feldprüfung sank von 78 auf rund 25 Sekunden, das Bestätigen von 134 auf rund 62 Sekunden je Bestellung.
  3. Wareneingang über die offene Liste. Die Bestellliste wird wiederverwendet, statt neu zu navigieren und zu filtern. Die Wartezeit auf die Buchungsmeldung sank von 90 auf 20 Sekunden, der Mengennachweis pollt bis zu 60 Sekunden. Die Phase Produktzugang sank von 37 auf 13 Minuten.

Die Anlage der Bestellungen wurde nicht schneller und ist mit 13 und 15 Minuten im Rahmen der üblichen Schwankung. Das ist ein gutes Zeichen für die Messung: Sie zeigt nur dort einen Gewinn, wo auch etwas geändert wurde.

Dieselbe Methode wirkt in den anderen Ketten ähnlich. In der Order-to-Cash-Kette sank der Container-Lookup beim Verpacken von 501 auf 20 Sekunden je Lieferung, weil eine feste 30-Sekunden-Wartezeit entfiel. In der Rechnungsprüfung sank ein Einzelschritt von 182 auf 93 Sekunden, weil die Prüfung zuerst die offenen Rechnungen liest und das Journal nur noch als Rückfall.

Lehre Der Gewinn kam nicht durch mehr Hardware oder mehr Lanes, sondern daraus, Leerlauf zu finden. Bei UI-Tests steckt der größte Teil der Laufzeit in Warten, Navigieren und Neuladen, nicht in der eigentlichen Aktion.

7. Wann ist ein Lauf stabil genug?

Erst nach der Optimierung der Einzelschritte habe ich die Lanes weiter erhöht. Die Messwerte je Lane-Zahl stehen in Teil 2. Wichtiger als die Zahl ist das Kriterium, ab wann ich eine Konfiguration als stabil bezeichne.

  • Mehrere Läufe in Folge ohne technischen Fehler, nicht ein einzelner grüner Lauf. Mit 4 Lanes waren es zwischen dem 17. und 19. Oktober fünf Läufe in Folge, jeweils 18 Bestellungen, in 33 bis 48 Minuten.
  • Auch unter Zusatzlast. Andere Prozesse auf derselben Testmaschine führen inzwischen nicht mehr zu technischen Fehlern.
  • Keine Fortsetzungsläufe mehr. Die Wiederaufnahme per Checkpoint bleibt als Notanker erhalten, wird im Normalbetrieb aber nicht mehr gebraucht.

Die technische Erfolgsquote liegt damit bei 100 Prozent. Was ein Lauf rot meldet, ist ein fachlicher Befund oder ein Testdatenfehler und damit etwas, worauf ein Mensch reagieren muss.

Eine Grenze bleibt: Doppelt so viele Lanes verkürzen die Laufzeit nicht um die Hälfte, sondern um rund 45 Prozent. Workflows, Batch-Jobs und geteilte Ressourcen setzen dem Gewinn Grenzen, und die Testmaschine hat begrenzten Speicher. Wo der abnehmende Grenznutzen genau beginnt, muss eine weitere Messreihe zeigen.

8. Empfehlungen für die Reihenfolge

Aus meinen Läufen ergibt sich eine Reihenfolge, die ich bei einem Neustart wieder einhalten würde:

Von der ersten Automatisierung zum stabilen, schnellen Lauf

1. Fachlich korrekt umsetzenZuerst muss das Ergebnis stimmen, mit einer Lane und ohne Zeitdruck
2. Zeitlog von Anfang an einbauenNachträglich Messpunkte zu setzen kostet mehr als sie gleich zu planen
3. Einzelschritte optimierenLeerlauf, Navigation und feste Wartezeiten, jeweils live nachgemessen
4. Technische Fehler auf nullFehlerbilder trennen, Muster anwenden, Läufe wiederholen
5. Erst dann die Parallelität erhöhenJede Stufe wieder bis zur Fehlerfreiheit absichern

Der häufigste Fehler wäre, die Reihenfolge umzudrehen und über mehr Lanes Zeit zu gewinnen, bevor die Schritte stabil sind. Dann multipliziert die Parallelität nur die Zahl der Ausfälle.

Was ich nicht behaupte Flaky-Rate und Wartungsaufwand erfasse ich bisher nicht. Belegt sind Laufzeit und technische Erfolgsquote. Alles andere wäre Schätzung.

Fazit: Verlässlichkeit ist ein Messergebnis

  • Fehlerklassen entscheiden, wer handeln muss, und machen rote Ergebnisse verwertbar.
  • Stabilisierungsmuster wie Polling, frisches Lesen und idempotente Schritte beheben Ursachen statt Symptome.
  • Das Zeitlog zeigt, wo die Zeit liegt. Dadurch ließ sich dieselbe Fallzahl von rund 183 auf 92 Minuten senken.
  • Die Reihenfolge zählt: erst korrekt, dann schnell, dann stabil unter Last, dann parallel.
Architekturprinzip Erst messen und stabilisieren, dann beschleunigen. Ein schneller Lauf, dem man nicht traut, spart keine Zeit.

Wie die Ergebnisse eines Laufs dokumentiert werden, damit Keyuser und Produktteam sie nutzen können, beschreibe ich in Teil 4: Ergebnisse dokumentieren. Wer Fragen zu einem der Teile hat oder Erfahrungen aus eigenen Projekten teilen möchte, erreicht mich über die Kontaktseite.

Zurück zum Journal