L’un des problèmes majeurs pour le développement des technologies de Réalité Augmentée (RA) sur site en environnement industriel concerne les contraintes fortes des milieux industriels : conditions d’éclairage très variables et non contrôlables, présence de matériaux réfléchissants (métaux) et absence de couleurs ou de textures, environnement changeant (déplacement des matières premières sur le chantier), utilisation d’outils encombrants, potentiellement dangereux, etc. Les enjeux des applications de RA en milieu industriel sont doubles : 1) être capable de localiser le dispositif de RA (tablette, casque, etc.) dans l’atelier (i.e. à grande échelle) de manière précise en 6D ; 2) être capable d’augmenter de manière précise (précision sous-centimétrique) les objets (i.e. à petite échelle) nécessaires aux opérateurs (outils, pièces à usiner, etc.)

Dans ce contexte difficile, les outils classiques de RA fonctionnent mal ou ne répondent qu’à une partie de ces enjeux. Les technologies basées SLAM visuel, en produisant une reconstruction 3D temps-réel de l’environnement dans lequel un dispositif évolue, permettent de se repérer à grande échelle dans des environnements industriels mais ne permettent pas de faire de la reconnaissance d’objets dans la scène ni de présenter de manière suffisamment précise les augmentations.

Au contraire, les techniques de l’état de l’art en RA permettant d’obtenir des augmentations avec des précisions très importantes (inférieures au centimètre), mais ne permettent pas de faire une localisation précise à grande échelle.

L’intérêt de cette thèse est donc de proposer une approche hybride où nous souhaitons permettre d'effectuer une localisation à grande échelle (basée sur des techniques de SLAM visuel) mais également d’être capable de pourvoir faire de la reconnaissance d’objets (outils, pièces, etc.) et d’obtenir leurs positions 3D et orientations 3D afin de pouvoir faire de la RA sur site. La partie reconnaissance d’objet se base sur une idée très récente couplant de l’apprentissage profond (deep learning) avec des méthodes de reconnaissance d’objets et qui semble prometteuse.

Le résultat visé est de proposer une solution permettant de guider les opérateurs à grande échelle en environnement extérieur de manière précise (partie SLAM visuel), puis d’être également capable de présenter des augmentations pertinentes pour des tâches requérant une précision fine (partie reconnaissance d’objets basée deep learning). Ces deux tâches ayant lieu dans des environnements inconnus et non contrôlés (en termes de conditions d’éclairage, de contenu etc.)

Un scénario d’application consisterait à être capable d’afficher un itinéraire en réalité augmentée à un opérateur sur un chantier de construction le dirigeant vers sa prochaine tâche à effectuer. Une fois arrivé là où il doit réaliser sa tâche, on souhaite alors être capable de le guider dans les opérations qu’il a à réaliser en lui affichant par exemple les prochaines étapes de sa tâche (choix d’outil, action à effectuer, etc.)