Test generation and analysis for autonomous systems
Génération et analyse de tests pour les systèmes autonomes
Résumé
Autonomous robots are mainly tested through field experiments. This approach is costly and may present risks. An alternative method is to perform part of the tests on a simulation platform. This raises several challenges : the generation of complex virtual environments, the automated verification of the observed behavior (test oracle), and the imperfect fidelity of the simulation compared to real field tests. This thesis is divided into two parts centered around these challenges. In a first part, our work addresses these different points through the case study of an agricultural robot, the Oz robot from Naïo Technologies. In particular, we make a comparative analysis of the faults found in simulation and in the field. The main contribution of this part is to demonstrate the feasibility and efficiency of simulation testing of an industrial case. Despite their imperfect fidelity, the simulation tests reveal most of the faults found by the experiments with the real robot, including the one that caused the majority of the failures in the field. They also reveal a new fault that was unnoticed in the field but later confirmed by the industry. However, the implementation effort of the virtual tests is important, with in particular the development of a data generator specific to the 3D environments of the robot. This observation led the continuation of our work towards the study of test generation. The second part of our work introduces a new test generation method and a prototype that implements it. It is based on a purely declarative data model, combining SMT constraint resolution and random sampling. Although the starting point of this work is the generation of virtual environments for autonomous systems, our generation method applies to a much broader domain. It allows the generation of structured data of varying sizes, while respecting semantic properties and providing diversity. We have evaluated our method on four case studies coming from various application domains (the Oz robot, a management system for taxation, color gradient images and tree structures). Our results show that data are generated efficiently and cover the solution space. Our method is competitive with the existing approaches to which we compared it.
Les robots autonomes sont principalement testés par des expérimentations sur le terrain. Cette approche est coûteuse et peut présenter des risques. Une méthode alternative consiste à réaliser une partie des tests sur une plate-forme de simulation. Ceci soulève plusieurs défis : la génération d’environnements virtuels complexes, la vérification automatisée du comportement observé (oracle de test), et la fidélité imparfaite de la simulation par rapport à des tests sur le terrain. Cette thèse est divisée en deux parties axées autour de ces problématiques. Dans une première partie, nos travaux abordent ces différents points au travers du cas d’étude d’un robot agricole, le robot Oz de la société Naïo Technologies. Nous faisons en particulier une analyse comparative des fautes trouvées en simulation et sur le terrain. La contribution principale de cette partie est de démontrer la faisabilité et l’efficacité du test en simulation sur un cas industriel. Malgré leur fidélité imparfaite, les tests en simulation révèlent la plupart des fautes trouvées par les expérimentations avec le robot réel, y compris celles ayant causé la majorité des défaillances sur le terrain. Ils révèlent également une nouvelle faute passée inaperçue sur le terrain mais confirmée par l’industriel. Cependant, l’effort d’implémentation des tests virtuels se révèle important, avec notamment le développement d’un générateur de données spécifiques aux environnements 3D du robot. Ce constat a mené la suite de nos travaux vers l’étude de la génération de tests. La deuxième partie de nos travaux introduit une nouvelle méthode de génération de test et un outil qui l’implémente. Elle se base sur un modèle de données purement déclaratif, en combinant la résolution de contraintes SMT et l’échantillonnage aléatoire. Bien que le point de départ de ces travaux soit la génération d’environnements virtuels pour les systèmes autonomes, notre méthode de génération s’applique à un domaine bien plus large. Elle permet de produire des données structurées de tailles variables, tout en respectant des propriétés sémantiques et en offrant de la diversité. Nous avons évalué notre méthode sur quatre cas d’étude venant de domaines d’application variés (le robot Oz, un système de gestion de taxe, des images de dégradé de gris et des structures arborescentes). Nos résultats montrent des données générées efficacement et couvrant bien l’espace des solutions. Notre méthode est compétitive au regard des approches existantes auxquelles nous l’avons comparée.
Origine : Version validée par le jury (STAR)