An Integrated Test Automation Framework

Partner:

• Siemens SIS
• Software Competence Center Hagenberg GmbH
• Ranorex GmbH
• Institut für Softwaretechnologie der Technischen Universität Graz

Obwohl es heute eine Vielzahl von Werkzeugen zur Testautomatisierung (Testausführung, Testfalldesign, Testfallgenerierung und dem Management von Testfällen) gibt ist es fast unmöglich eine durchgehende Toolkette, die auf die Bedürfnisse des Testproblems zugeschnitten ist, mit vernünftigem Aufwand aufzubauen. Um die Toolkette an die spezifischen Anforderungen eines Testprojektes oder die Testlandschaft eines Kunden anzupassen, sind oft umfangreiche Schnittstellen neu zu entwickeln. Eine durchgängige Toolkette umfaßt dabei

• die Rückverfolgbarkeit von Testfällen zu Anforderungen
• das Management der Testfälle und Testdaten unter Berücksichtigung der Ergebnisse der etwaiger Testausführungen am Prüfling (SUT, Software Under Test)
• die semantische Integration der Werkzeuge und deren Metriken und
• die Integration von Testausführungswerkzeugen.

Im Projekt wird auch untersucht welche abstrakten Abdeckungsmetriken z.B. für komplexe grafische Benutzerschnittstellen zur Anwendung kommen können. Dies ist wichtig, da z.B. bei Zulieferung von Software der Code oft gar nicht zugänglich ist und somit Code-orientierte Abdeckung kein meßbares Qualitätsattribut darstellt. Im Speziellen werden im Projekt Abdeckungskriterien für anforderungs-basiertes Testen [Whalen et al. 2006] und GUI Testing [Memon et al. 2001] entwickelt. Weiter treten in der Praxis noch viele Unzulänglichkeiten in der Repräsentation der Testfälle auf. Z.B. reicht das Spektrum der Repräsentation von funktionalen Modellen [Jard and Jeron 2005] über parametrierbare generische Exekutionsmodelle bis hin zu UML Sequenz- und Aktivitätsdiagrammen. Bei der Testfallgenerierung für ereignisgesteuerten Systeme muß die auf die durchgängige Werkzeugkette auch baumartige Testfälle verarbeiten können.

Die Integration der Werkzeuge wird Anleihe an UML 2.0 Testing Profil genommen [OMG 2005] wobei verstärkt auf die Bereiche Modellintegration, Modelltransformationen und modell-basierte Testfallgenerierung [Baker et al. 2007] betrachtet werden. Ein wesentlicher Treiber in der Konzeption und Umsetzung einer integrierten Werkzeugkette ist die Unterstützung sämtlicher Aktivitäten rund um den Testing-Lifecycle. Im Projekt werden daher auch die Anforderungen an den Testing Lifecycle als wesentlicher Input für die Toolintegration betrachtet.