FR

Contexte :

La gestion de la ville et plus généralement des territoires s’est largement numérisée ; les grandes villes possèdent différentes bases de données géo-référencées (systèmes d’information géographiques ou SIG) contenant des informations sur leur territoire, leurs infrastructures (réseaux d’eau, de transports, électriques…), leur plan d’occupation des sols. De plus, certaines municipalités voire certaines entreprises ouvrent aussi des données à travers des portails opendata. Parallèlement à ces SIG, les services municipaux comme les citoyens font grand usage d’imagerie numérique en prenant massivement des photos et des vidéos de différentes parties de la ville. Notamment via des sites de partage comme flickr, vine ou youtube, ces éléments sont aujourd’hui librement accessibles. Malheureusement, les informations contenues dans ces images et vidéos ne peuvent pas être directement exploitées pour mettre à jour le SIG, ceci pour deux raisons :

  • d’une part les images/vidéos ne sont pas toujours géo-référencées ou du moins pas avec suffisamment de précision (un GPS donnera une information de position précise à quelques dizaines de mètres, mais aucune information d’orientation).
  • D’autre part, il reste à extraire les informations, les associer à des éléments du SIG et à les insérer ou corriger dans celui-ci.

Cependant, ces deux problématiques peuvent être liées au sens où le géo-référencement des images peut être aidé par la détection de contenus et leur recherche dans le SIG et bien sûr l’extraction d’informations peut être contrainte par le contenu du SIG (la recherche est plus facile lorsqu’on sait ce que l’on cherche). Il n’en reste pas moins que toutes ces opérations ne peuvent être entièrement automatisées et que certaines resteront dépendantes d’un expert. C’est au point de vue de l’expert que s’adresse ce projet de recherche, celui-ci doit trouver un outil qui lui permette de travailler à la fois sur le SIG et sur les images associées.

Projet de recherche

Du point de vue de l’utilisateur expert, la base de données doit être capable d’indexer une grande quantité de données image dans un contexte de SIG. Deux types d’index sont visés : les références spatiales et des index émergents liés au contenu :

  • référence spatiale des images : dans un premier temps, la pose de la caméra peut être utilisée, par la suite, il sera nécessaire d’établir un lien entre les objets spatiaux du SIG et les éléments des images. Par exemple, des liens doivent être établis d’une part entre l’ensemble de pixels représentant un bâtiment sur une image et l’objet représentant le bâtiment dans le SIG. Réciproquement, cela signifie qu’on doit pouvoir retrouver l’ensemble des images montrant un bâtiment à partir de la sélection de celui-ci dans le SIG.
  • Index émergents liés au contenu : diverses approches, expertes ou automatisées sont susceptibles d’apporter des informations complémentaires, par exemple le type de matériau des bâtiments ou même le style architectural. Ces informations doivent pouvoir être stockées bien sûr mais aussi indexées de façon efficace afin de permettre par exemple la vérification des résultats obtenus. Elles seront nécessairement de nature hétérogènes : résultats de simulation numériques, descriptions textuelles, recherche d’information basée image… L’évolution temporelle de l’environnement urbain et du SIG pourront être pris en compte.

Le travail de thèse devra amener à :

  • élaborer des algorithmes permettant de lier le contenu des images aux objets du SIG ; le Cerma possède déjà une bonne expérience en matière de géolocalisation d’images et de vidéos, une thèse en cours (H. Wei) devrait renforcer encore cet aspect.
  • établir des méthodes des index efficaces et évolutifs permettant de stocker et de requêter facilement les informations de toute nature

Références bibliographiques Bioret, N. (2010). Géolocalisation par images en s’appuyant sur un système d'informations géographiques. Thèse de doctorat, Ecole Centrale de Nantes. Zaki, C. (2011). Modélisation spatio-temporelle multi-échelle de données dans un SIG urbain. Thèse de doctorat, Ecole Centrale de Nantes. Zhu, S. ; Morin, L. ; Pressigout, M. ; Moreau, G. & Servières, M. (2013) Video/GIS registration system based on skyline matching method. Proceedings of IEEE International Conference on Image Processing. Melbourne, Australia.

EN

Context:

City and more generally the territories management has been largely digitized; major cities have different bases of geo-referenced data (geographic information systems or GIS) containing information on their territory, infrastructure (water networks, transport, electrical …), their land use plan.
In addition, some municipalities even some companies also open some of their data through Open Data portal. Alongside these GIS, municipal services and citizens make extensive use of digital imaging massively taking pictures and videos from different parts of the city. Including through sharing sites like flickr, youtube or vine, these are freely available today. Unfortunately, the information in these images and videos can not be directly used to update the GIS, for two reasons:

  • Firstly, images / videos are not always geographically referenced or at least not with sufficient precision (GPS information accuracy is a few tens of meters, and orientation information are mostly missing).
  • Secondly, it remains to extract information, involve them in the GIS elements and insert them in or correct it.

However, these two issues can be related in the sense that the georeferencing of images can be helped by the detection of content and research in GIS and information extraction can be constrained by the contents of the GIS (the search is easier when you know what are you looking for). The fact remains that all these operations can not be fully automated, and some remain dependent of an expert. This research project is oriented for this expert user experience, it must find a tool that allows him to work with both GIS and associated images.

Research project

From the perspective of the expert user, the database must be able to index a large amount of image data in a GIS context. Two types of indexes are targeted: the spatial references and index of emerging-related content:

  • Spatial images: firstly, the camera pose can be used subsequently, it will be necessary to establish a link between space objects GIS and image elements. For example, links must be established between the set of pixels representing a building on an image and the building representative object in the GIS. Conversely, this means that we must find all the pictures showing a building from selecting it in the GIS.
  • Content related emerging Index: various approaches, experts or automated ones could provide additional information, such as the type of building material or the same architectural style. This information must be stored, but also effectively indexed to enable such verification of the results. They are heterogeneous information coming from digital simulation results, textual descriptions, information search based image … The time evolution of the urban environment and GIS can be considered.

The thesis should lead to:

  • Develop algorithms to link the content of images to GIS objects.
  • Establish methods of efficient and scalable index to easily store and query for information of any kind.

Bibliographic References

  • Bioret, N. (2010). Géolocalisation par images en s’appuyant sur un système d’informations géographiques. Thèse de doctorat, Ecole Centrale de Nantes.
  • Zaki, C. (2011). Modélisation spatio-temporelle multi-échelle de données dans un SIG urbain. Thèse de doctorat, Ecole Centrale de Nantes.
  • Zhu, S. ; Morin, L. ; Pressigout, M. ; Moreau, G. & Servières, M. (2013) Video/GIS registration system based on skyline matching method. Proceedings of IEEE International Conference on Image Processing. Melbourne, Australia.