Software developers frequently encounter failures that occur only as the result of an interaction between two components. Failure triggering fault interactionsTesters often use pairwise testing – all pairs of parameter values – to detect such interactions. Combinatorial testing beyond pairwise is rarely used because good algorithms for higher strength combinations (e.g., 4-way or more) have not been available, but empirical evidence shows that some errors are triggered only by the interaction of three, four, or more parameters (see graph). These results have important implications for testing. If all faults in a system can be triggered by a combination of n or fewer parameters, then testing all n-way combinations of parameters can provide high confidence that nearly all faults have been discovered. We are producing methods and tools to generate tests for all n-way combinations of parameter values, using improved combinatorial testing algorithms for constructing covering arrays, and automated generation of test oracles using model checking.
The Constraint Programming Platform project will develop G12, a software platform for solving large-scale industrial combinatorial optimisation problems.
M. Cohen, M. Dwyer, und J. Shi. ROSATEA '06: Proceedings of the ISSTA 2006 workshop on Role of software architecture for testing and analysis, Seite 53--63. New York, NY, USA, ACM, (2006)MR: Ünsere" OVM-Notation wird auf ein relationales Modell abgebildet, um damit Abdeckungskriterien für das Testen von SPL definieren zu können. Mit diesen Kriterien kann die Information gesammelt werden für sogenanntes 'cumulative variability coverage' mit dem gezielt die Testaufwände für neue Produkte der SPL festgelegt werden können. Das Ganze wird durch combinatorial interaction testing ermöglicht. Diese Technik (aus Einzelsystemen bekannt) reduziert die hohe Anzahl von möglichen Kombinationen von Input-Variablen auf wenige Repräsentanten.
Bei IST-SPL könnte man überlegen, diese Technik als Ergänzung einer anderen einzuführen, um höhere Abdeckungsraten zu erreichen.
Der Nachteil ist jedoch immer noch, dass hierbei keine Orakel erstellt werden. Hierfür verweisen die Spezialisten von Combinatorial Testing auf Model Checking beispielsweise..
V. Vassilev, J. Miller, und T. Fogarty. Proceedings of the Congress on Evolutionary
Computation, 2, Mayflower Hotel, Washington D.C., USA, IEEE Press, (6-9 July 1999)
M. Kotani, und D. Kato. Proceedings of the 2004 IEEE Congress on Evolutionary
Computation, Seite 614--619. Portland, Oregon, IEEE Press, (20-23 June 2004)
J. Hu, und E. Goodman. Proceedings of the 2004 IEEE Congress on Evolutionary
Computation, Seite 1178--1184. Portland, Oregon, IEEE Press, (20-23 June 2004)
Y. Bernstein, X. Li, V. Ciesielski, und A. Song. Proceedings of the 2004 IEEE Congress on Evolutionary
Computation, Seite 83--89. Portland, Oregon, IEEE Press, (20-23 June 2004)
S. Bain, J. Thornton, und A. Sattar. Proceedings of the 2004 IEEE Congress on Evolutionary
Computation, Seite 265--272. Portland, Oregon, IEEE Press, (20-23 June 2004)