Automatisierte Webtests helfen, geschäftskritische Prozesse in Dynamics 365 Finance & Operations nach Änderungen zuverlässig zu überprüfen. Doch nicht jeder Test gehört in den Browser. Entscheidend ist, welche Risiken abgesichert werden sollen und wie sich die Besonderheiten eines ERP-Systems auf die Teststrategie auswirken.
Regressionstests sind bei jedem Deployment nötig, aber auch bei Neuentwicklungen. Sie binden wertvolle Zeit von Keyusern und Consultants, die sich durch Testautomatisierung zu einem großen Teil einsparen lässt. Das macht Teams nicht nur effizienter, sondern auch schneller: Wo heute vier Releases pro Jahr ausgeliefert werden, können mit automatisierten Tests unter Umständen zwölf möglich sein.
Ich habe die Testautomatisierung für Dynamics 365 Finance & Operations allein konzipiert und umgesetzt. Dieser Artikel fasst zusammen, worauf es dabei aus meiner Sicht ankommt – und wo die Grenzen liegen.
1. Wenn Änderungen zum Qualitätsrisiko werden
Dynamics 365 Finance & Operations bildet zentrale Geschäftsprozesse ab – von der Beschaffung über die Lagerverwaltung bis zur Rechnungsstellung und Finanzbuchhaltung. Diese Prozesse bestehen selten aus einer einzelnen Funktion. Sie verbinden Stammdaten, Konfigurationen, Geschäftsregeln, Berechtigungen und mehrere aufeinander aufbauende Transaktionen.
Eine Änderung an einer Stelle kann deshalb Auswirkungen auf andere Prozessschritte haben. Eine Anpassung an der Bestellverarbeitung kann beispielsweise dazu führen, dass sich eine Bestellung weiterhin korrekt anlegen lässt, ein nachgelagerter Wareneingang aber nicht mehr wie erwartet gebucht werden kann.
Genau hier liegt die Herausforderung von Regressionstests: Nach Änderungen muss überprüft werden, ob bereits funktionierende Geschäftsprozesse weiterhin korrekt ablaufen. Das gilt für eigene Erweiterungen ebenso wie für Konfigurationsänderungen, Schnittstellenanpassungen und regelmäßige Updates.
Manuelle Tests bleiben dafür unverzichtbar – insbesondere bei fachlichen Abnahmen und explorativen Prüfungen. Werden dieselben Abläufe jedoch regelmäßig wiederholt, entstehen erheblicher Aufwand und eine Abhängigkeit davon, welche Tests zu welchem Zeitpunkt tatsächlich durchgeführt werden. Auch Ausgangsdaten und Dokumentation können sich von Durchlauf zu Durchlauf unterscheiden.
UI-Testautomatisierung setzt genau dort an: Wiederkehrende Prüfungen werden als ausführbare Tests beschrieben und unter definierten Bedingungen erneut durchgeführt. Das Ziel ist nicht, sämtliche manuellen Tests abzuschaffen. Es geht darum, wiederkehrende und geschäftskritische Prüfungen verlässlich zu automatisieren, damit Fachbereiche und Entwicklungsteams ihre Aufmerksamkeit gezielter einsetzen können.
2. Was UI-End-to-End-Tests tatsächlich prüfen
Ein UI-Webtest interagiert mit der Anwendung über ihre Benutzeroberfläche. Er öffnet Seiten, wählt Datensätze aus, füllt Felder aus, löst Aktionen aus und überprüft anschließend definierte Ergebnisse. Damit nähert sich der Test dem tatsächlichen Verhalten eines Anwenders an: Er prüft, ob sich ein Ablauf über die Oberfläche wie vorgesehen durchführen lässt.
Beispiel: Ein durchgängiger Purchase-to-Pay-Prozess
Ein solcher Test kann erkennen, dass ein Pflichtfeld nicht mehr korrekt verarbeitet wird, eine Aktion nicht verfügbar ist oder ein erwarteter Statuswechsel ausbleibt. Der eigentliche Mehrwert liegt im Zusammenspiel dieser Schritte: Ein einzelner erfolgreicher Funktionstest beweist nicht, dass der gesamte Geschäftsprozess weiterhin funktioniert.
Allerdings beweist auch ein erfolgreicher UI-Test nicht automatisch, dass sämtliche nachgelagerten Buchungen und Daten korrekt sind. Eine Erfolgsmeldung oder ein sichtbarer Status kann nur einen Teil des fachlichen Ergebnisses abbilden. Deshalb sollten kritische Prozesse zusätzliche Ergebnisprüfungen erhalten – etwa anhand relevanter Beleginformationen, Statuswerte oder unterstützter Schnittstellen.
3. Warum Playwright für D365 interessant ist
Playwright ist ein Framework zur Browserautomatisierung. Mit Playwright Test lassen sich Tests strukturieren, ausführen und auswerten. Das Framework unterstützt unter anderem Chromium-basierte Browser, Firefox und WebKit und bietet Funktionen für automatische Wartebedingungen, Assertions, Screenshots und Trace-Aufzeichnungen.
Wiederholbare Ausführung
Einmal implementierte Testabläufe können regelmäßig erneut ausgeführt werden – beispielsweise nach Änderungen, in nächtlichen Testläufen oder als Teil einer Release-Prüfung.
Zustandsbasierte Prüfungen
Playwright wartet bei vielen Aktionen und Assertions automatisch auf definierte Bedingungen. Das reduziert unnötige feste Wartezeiten, löst aber keine fachlichen Abhängigkeiten oder unklaren Prozesszustände.
Nachvollziehbare Fehleranalyse
Screenshots, Reports und Traces können festhalten, welche Aktionen ausgeführt wurden und welcher Zustand dabei sichtbar war. Das erleichtert die Untersuchung fehlgeschlagener Tests.
Einbindung in Pipelines
Tests können in CI/CD-Abläufe, etwa mit Azure DevOps Pipelines, integriert werden. Dafür müssen Laufzeit, Zugangsdaten, Testdaten und Umgebungsstabilität mitgeplant werden.
Diese Funktionen bieten eine gute technische Grundlage, ersetzen jedoch keine fachlich durchdachte Teststrategie. Insbesondere bei D365 F&O muss berücksichtigt werden, dass die Oberfläche dynamisch ist und ein Test häufig mit gemeinsam genutzten Geschäftsdaten interagiert.
4. Die besonderen Herausforderungen eines ERP-Systems
Die Automatisierung einer Webanwendung ist nicht mit der Automatisierung eines komplexen ERP-Prozesses gleichzusetzen. In D365 F&O entstehen Herausforderungen, die über die reine Bedienung von Eingabefeldern hinausgehen.
4.1 Geschäftsprozesse besitzen Abhängigkeiten
Eine Bestellung kann nur dann erfolgreich weiterverarbeitet werden, wenn beispielsweise der Lieferant korrekt eingerichtet ist, benötigte Stammdaten vorhanden sind und die relevanten Geschäftsregeln erfüllt werden. Ein Test muss diese Voraussetzungen entweder gezielt herstellen oder zuverlässig prüfen, bevor er den eigentlichen Prozess startet.
4.2 Browser-Kontexte isolieren keine Geschäftsdaten
Ein neuer Playwright-Browserkontext trennt unter anderem Cookies und lokalen Browserzustand. Er isoliert jedoch nicht die Geschäftsdaten in der D365-Umgebung. Wenn ein Test eine Bestellung oder einen Stammdatensatz verändert, kann sich das auf andere Tests und Benutzer auswirken.
Dabei sind es nicht nur automatisierte Tests, die Daten verändern: Auch die manuellen Regressionstests der Anwender erzeugen Testdaten, und das muss in der Umgebungsplanung berücksichtigt werden. Ein Ansatz, den wir nutzen, ist eine eigene Instanz ausschließlich für automatisierte Regressionstests. Das Testsystem wird wöchentlich auf diese Instanz kopiert. Durch die regelmäßige Kopie werden die Testdaten jedes Mal auf einen bekannten Stand zurückgesetzt.
Eine mögliche Vorgehensweise ist die API-gestützte Datenbereitstellung: Wo geeignete, unterstützte Schnittstellen vorhanden sind, können benötigte Datensätze vor dem UI-Test vorbereitet werden. Der UI-Test konzentriert sich dann auf den fachlichen Ablauf, der tatsächlich über die Oberfläche abgesichert werden soll. Nicht jeder Datentyp oder Prozess lässt sich dabei gleichermaßen einfach vorbereiten; Berechtigungen, Geschäftslogik und erforderliche Vorbedingungen müssen berücksichtigt werden.
4.3 Testdaten müssen reproduzierbar und kontrollierbar sein
Wenn mehrere Tests dieselben Belege oder Stammdaten verändern, können sie sich gegenseitig beeinflussen. Das führt zu nicht reproduzierbaren Fehlern und erschwert die Parallelisierung. Hilfreich sind eindeutig zuordenbare Testdaten, klar definierte Vorbedingungen und – wo möglich – eine kontrollierte Bereinigung nach dem Test. Gemeinsame Stammdaten sollten nur dann parallel verändert werden, wenn die Tests nachweislich unabhängig voneinander sind.
4.4 Die Oberfläche ist dynamisch aufgebaut
D365 F&O verwendet komplexe, dynamisch erzeugte Oberflächenstrukturen. Tests, die stark auf verschachtelte XPath-Ausdrücke, wechselnde IDs oder interne CSS-Klassen setzen, können deshalb bei UI-Änderungen schnell fragil werden.
Eine robuste Selektorenstrategie sollte bevorzugt fachlich verständliche und möglichst stabile Merkmale nutzen:
- Rollen und zugängliche Namen, wenn diese im konkreten UI zuverlässig vorhanden sind.
- Sichtbare Beschriftungen und fachliche Texte, sofern sie eindeutig sind und nicht unnötig häufig wechseln.
- D365-spezifische Attribute nur dort, wo sie in der Praxis stabil und eindeutig sind. Technische Attribute wie
data-dyn-controlnamesind nicht automatisch ein versionsübergreifender Stabilitätsvertrag.
Entscheidend ist nicht, dass ein Selektor technisch funktioniert, sondern dass er den fachlich gemeinten Bedienpunkt eindeutig trifft und nach Änderungen wartbar bleibt.
In dem Testframework, das ich aufgebaut habe, gelten dafür verbindliche Regeln:
- Keine dynamischen IDs: GUIDs, Zufalls-Hashes und laufende Indizes ohne stabilen Anker sind tabu.
- Feste Reihenfolge der Präferenzen: bevorzugt
data-dyn-controlname, dazu ARIA-Rollen wiegetByRole('button', { name: 'Confirm' }), wo sie sinnvoll sind, undaria-labelfür Felder in Grids. - Sichtbarkeit beachten: D365 hält teilweise mehrere Dialoge gleichzeitig im DOM, die meisten davon verborgen. Bei mehreren Treffern wird deshalb gezielt auf das sichtbare Element gefiltert, statt blind das erste zu nehmen.
- Aufgeklappte Abschnitte nie voraussetzen: D365 merkt sich den Aufklappzustand von FastTabs je Benutzer. Ein nie geöffneter Abschnitt hat seine Felder gar nicht im DOM, ein zugeklappter hält sie unsichtbar. Der Zugriff läuft deshalb über zentrale Hilfsfunktionen, die den Abschnitt bei Bedarf aufklappen, statt auf den Abschnittskopf zu klicken – das würde einen bereits offenen Abschnitt wieder schließen.
- Selektoren nur in Page Objects: Fachlogik und Testketten kennen keine Selektoren. Ändert sich ein Bedienelement, muss nur eine Stelle angepasst werden.
4.5 Nicht jeder Fehlschlag ist ein Produktfehler
Fehlschläge können viele Ursachen haben: echte Anwendungsfehler, veränderte Ausgangsdaten, geänderte UI-Elemente, asynchrone Verarbeitung, Berechtigungsprobleme oder temporäre Umgebungsstörungen. Eine hohe Zahl fehlgeschlagener Tests ist daher kein verlässlicher Qualitätsindikator, wenn die Ursachen nicht schnell klassifiziert werden können.
Reports und Traces sollten Teil des regulären Testbetriebs sein. Zusätzlich braucht es eine klare Zuständigkeit dafür, Fehler zu untersuchen und zwischen Produktfehler, Testfehler, Datenproblem und Infrastrukturproblem zu unterscheiden.
In meinem Framework wird jeder Fehlschlag automatisch einer Klasse zugeordnet. Ich habe die Klassen bewusst danach gewählt, wer handeln muss:
- Fachlich: Die Automatisierung ist durchgelaufen, aber das Ergebnis in D365 weicht vom erwarteten Stand ab.
- Testdaten: Die Eingabedaten müssen manuell korrigiert werden.
- Technisch: Die Automatisierung selbst ist gescheitert, etwa durch einen Timeout, einen nicht gefundenen Locator oder einen unerwarteten UI-Zustand.
- Übersprungen: Der Schritt wurde nicht ausgeführt, mit Begründung – zum Beispiel, weil eine vorherige Phase ausgefallen ist.
Der Abschlussbericht fasst gleiche Ursachen zusammen und hängt Screenshots an. Das ist wichtig, weil das Log allein nicht immer reicht: Ein D365-Fehlerdialog, der als Lightbox über der Seite liegt, war in meinen Läufen nur im Screenshot zu sehen, während der Folgeklick im Log lediglich als Timeout auftauchte. Bei hartnäckigen UI-Problemen greife ich deshalb auf Trace und Video zurück, statt eine zweite Vermutung zu testen.
Umgebungsausfälle wie Netzwerkfehler oder ein 503 werden zentral überbrückt, statt in jedem Testbaustein eigene Wartezeiten einzubauen. Nach einer festgelegten Höchstdauer hält der Lauf sauber an und kann später an der Stelle fortgesetzt werden, an der er unterbrochen wurde.
4.6 Laufzeit und Skalierung begrenzen den Nutzen
UI-Tests durchlaufen reale Oberflächen und sind daher typischerweise langsamer als viele Tests auf Code- oder API-Ebene. Parallelisierung kann die Laufzeit verkürzen, setzt aber unabhängige Testdaten und eine Umgebung voraus, die zusätzliche Transaktionslast verkraftet. Mehr parallele Browser bedeuten nicht automatisch einen schnelleren oder stabileren Testlauf.
5. UI-Tests sind nur eine Ebene der Teststrategie
Ein häufiger Fehler besteht darin, zu viele Prüfungen über die Benutzeroberfläche abzuwickeln. Das kann Tests unnötig langsam und wartungsintensiv machen. Die passende Testebene richtet sich danach, welches Risiko geprüft werden soll.
Orientierung: Testpyramide für D365 F&O
Die Pyramide ist ein Orientierungsmodell, keine feste Mengenregel. Die sinnvolle Verteilung hängt von Architektur, Erweiterungen, Risiken und vorhandenen Testmöglichkeiten ab.
| Testebene | Typische Fragestellung | Beispiel aus D365 F&O |
|---|---|---|
| Unit-Test | Funktioniert eine einzelne Geschäftsregel oder Methode? | Eine Rabatt- oder Berechnungsregel wird auf Codeebene geprüft, beispielsweise mit geeigneten X++-Tests. |
| Integrations- / API-Test | Arbeiten beteiligte Komponenten und Schnittstellen korrekt zusammen? | Ein Datenaustausch über eine unterstützte Data Entity oder einen OData-Endpunkt wird geprüft. |
| UI-End-to-End-Test | Kann ein Anwender einen kritischen Geschäftsprozess über die Oberfläche durchführen? | Ein ausgewählter P2P-Ablauf wird durchgespielt und das fachliche Ergebnis gezielt validiert. |
| Performance-Test | Wie verhält sich das System unter definierter Last? | Antwortzeiten und Durchsatz werden mit geeigneten, dafür vorgesehenen Verfahren untersucht – nicht allein durch UI-Tests. |
Die Testebenen ergänzen sich. Ein API-Test kann einen Datenaustausch prüfen, weist aber nicht nach, dass ein Anwender den entsprechenden Ablauf über die Oberfläche erfolgreich durchführt. Ein UI-Test wiederum ersetzt keine umfassende Prüfung einzelner Geschäftsregeln oder aller nachgelagerten Daten.
RSAT vor dem Supportende strategisch neu bewerten
Microsoft kennzeichnet das Regression Suite Automation Tool (RSAT) in der offiziellen Dokumentation als zur Abkündigung vorgesehen („marked for deprecation“): Nach dem 15. Mai 2027 wird es nicht mehr unterstützt. Unternehmen sollten deshalb frühzeitig prüfen, wie sie bestehende Regressionstests künftig ausführen und warten wollen. Dabei geht es nicht nur um die Wahl eines Automatisierungswerkzeugs, sondern auch um Testdaten, Ausführungsumgebungen, Fehleranalyse und die Integration in bestehende Entwicklungsprozesse.
Playwright ist eine mögliche Alternative für UI-basierte Regressionstests. Es sollte jedoch nicht als automatisch gleichwertiger oder offiziell festgelegter Nachfolger von RSAT verstanden werden: In der genannten Dokumentation empfiehlt Microsoft kein Nachfolgewerkzeug. Die Eignung hängt unter anderem von der bestehenden Testlandschaft, den fachlichen Anforderungen und den verfügbaren technischen Ressourcen ab.
Stand: Juli 2026.
6. Wie man sinnvoll mit UI-Testautomatisierung beginnt
Der Einstieg gelingt meist besser mit wenigen, gezielt ausgewählten Prozessen als mit dem Versuch, möglichst schnell eine große Zahl von Tests aufzubauen.
- Kritische Geschäftsprozesse auswählen: Mit Abläufen beginnen, bei denen ein Fehler hohe geschäftliche Auswirkungen hätte – etwa ausgewählten Schritten in Purchase-to-Pay oder Order-to-Cash.
- Erwartete Ergebnisse definieren: Vorab festlegen, welche fachlichen Zustände und Ergebnisse nach dem Test nachgewiesen werden müssen. Eine UI-Erfolgsmeldung allein reicht nicht immer.
- Testdaten und Umgebung kontrollieren: Vorbedingungen, eindeutige Daten, Berechtigungen und Bereinigungsregeln definieren. API-gestützte Vorbereitung nur dort einsetzen, wo sie fachlich und technisch geeignet ist.
- Stabile Selektoren und Synchronisation etablieren: Fachlich nachvollziehbare Selektoren und aussagekräftige Assertions verwenden. Feste Wartezeiten nicht als Ersatz für die Prüfung tatsächlicher Zustände einsetzen.
- Fehleranalyse vorbereiten: Reports, Screenshots und Traces so konfigurieren, dass Fehlschläge untersucht und Ursachen systematisch klassifiziert werden können.
- Regelmäßige Ausführung etablieren: Die Tests zunächst kontrolliert und regelmäßig ausführen, beispielsweise in einem nächtlichen Lauf. Erst nach stabilen Ergebnissen Umfang und Parallelisierung schrittweise erhöhen.
Der kontrollierte Testablauf
Fazit: Der Nutzen entsteht durch die richtige Teststrategie
UI-Testautomatisierung mit Playwright kann einen wichtigen Beitrag zur Qualitätssicherung von Dynamics 365 Finance & Operations leisten. Sie macht wiederkehrende Prüfungen reproduzierbarer und hilft, kritische Anwenderprozesse nach Änderungen und Updates systematisch abzusichern.
Die Komplexität eines ERP-Systems verlangt jedoch mehr als automatisierte Klicks: Dynamische Oberflächen brauchen eine robuste Selektorenstrategie, globale Geschäftsdaten brauchen ein durchdachtes Testdatenkonzept und fachlich kritische Abläufe brauchen aussagekräftige Ergebnisprüfungen. Auch Fehleranalyse, Laufzeit und Umgebungskapazität müssen von Beginn an berücksichtigt werden.
Die entscheidende Frage lautet deshalb nicht, wie viele Klicks sich automatisieren lassen. Entscheidend ist, welche Risiken durch welchen Test verlässlich abgedeckt werden – und wie UI-Tests mit Unit-, Integrations- und API-Tests zusammenspielen.
Mein Rat: Am Anfang steht ein Regelwerk, das sich aus den Testzielen ableitet. Es verhindert von Beginn an Chaos in den Testskripten. Spätere Anpassungen der Regeln sollten konsequent in allen bestehenden Testskripten nachgezogen werden, damit das Regelwerk gültig bleibt. Danach folgt die Umsetzung eines ersten Prozesses. Zusätzlich braucht es eine eigene Phase für Stabilisierung und Performanceoptimierung. Darauf gehe ich in weiteren Artikeln näher ein, beginnend mit Teil 2: Framework-Design und Skalierung.
Weiterführende Dokumentation
Die folgenden offiziellen Dokumentationen eignen sich als Ausgangspunkt zur Vertiefung. Stand der Angaben: Juli 2026.
- Playwright: Actionability und automatische Wartebedingungen – erklärt, welche Bedingungen Playwright vor Aktionen prüft.
- Playwright: Assertions – Dokumentation zu wiederholenden und zustandsbasierten Prüfungen.
- Playwright: Trace Viewer – Informationen zur Analyse von Testläufen.
- Microsoft Learn: Regression Suite Automation Tool (RSAT) – offizielle Dokumentation mit dem Hinweis auf die Abkündigung zum 15. Mai 2027.
- Microsoft Learn: Data Entities – Hintergrund zu Datenentitäten in Dynamics 365 Finance & Operations.
Technische Beispiele und Empfehlungen sind abhängig von D365-Version, Umgebung, Berechtigungen und konkreter Systemarchitektur zu bewerten.