Marqueurs Neurophysiologiques pour la caractérisation de l’Incarnation Virtuelle
Neurophysiological markers for the characterisation of Virtual Embodiment
Martin Guy - Thèse de doctorat soutenue en 2023
Encadrement : Directeur de thèse Guillaume Moreau, encadrants Jean-Marie Normand, Camille Jeunet laboratoire Cognition, Langues, Langage, Ergonomie (CLLE)
Financement : Allocation de recherche spécifique aux normaliens / Funding: Research grant for Normaliens
FR
La Réalité Virtuelle (RV) consiste à immerger un (ou plusieurs) utilisateur.s dans un environnement numérique virtuel (EV) et lui/leur permettre d’interagir en temps réel avec le contenu de cet EV. Une des forces de la RV est qu’elle peut recréer toutes sortes de situations (réalistes ou impossibles dans la réalité). L'incarnation virtuelle (virtual embodiment} ou (embodiment) est définie comme le fait de percevoir un avatar virtuel comme étant son propre corps. Elle est communément caractérisée par 3 composantes : le Sense of Self-Location (SoSL) (localisation de soi); le Sense of Agency (SoA) (agentivité); et le Sense of Body Ownership (SoBO) (possession de corps). L’étude de ce phénomène a permis de montrer qu’il était possible de modifier la perception du corps d’un utilisateur, voire même que des changements plus profonds de comportement étaient possibles. L’utilisateur « se voit » dans la RV avec un corps, qui va impacter sa perception et son comportement.
L'étude de l'incarnation virtuelle est importante pour mieux comprendre des phénomènes cognitifs. Citons par exemple l'étude du SoA pour mieux comprendre les personnes atteintes du syndrome de la main étrangère, dont une partie de leur corps (la main) semble agir d'elle-même et non pas par leur action volontaire. Le SoA a aussi été étudié dans la communauté neuroscientifique pour mieux comprendre les processus neurophysiologiques et cognitifs mis en jeu. La communauté de RV étudie aussi le SoA : certaines études ont montré qu'il était possible de biaiser le feedback visuel donné aux utilisateurs de RV.
Néanmoins, l’évaluation de l’incarnation virtuelle est compliquée étant donnée la variabilité intra-sujet. En effet, le consensus actuel pour l’évaluation de celle-ci est d’utiliser des questionnaires standardisés. L'avantage de ces questionnaires est leur facilité d'utilisation et ceux-ci permettent d'évaluer clairement chacune des 3 composantes de l'embodiment. Cependant, ils souffrent également d'inconvénients : les questionnaires ne peuvent être réalisés qu'a posteriori et non en continu, et cela force l'utilisateur à effectuer une tâche supplémentaire. De plus, l'interprétation des questions peut être sujet à variance entre les sujets.
L'ambition de cette thèse est d'obtenir des mesures plus directes et idéalement quantitatives en se basant sur l’utilisation de signaux physiologiques, tels que la Galvanic Skin Response (GRS) --- l'activité électrique biologique enregistrée à la surface de la peau --- ou de signaux neurophysiologiques tels que l'électroencéphalographie (EEG) --- mesure de l'activité électrique du cerveau à l'aide d'électrodes. Ces mesures ont pour avantages de ne pas impliquer activement l'utilisateur ainsi que de pouvoir être réalisées tout au long d'une expérience.
Toutefois, ces mesures ont aussi leurs désavantages --- le matériel peut-être cher; les casques EEG sont facilement soumis au bruit et il faut au maximum éviter de bouger avec; l'utilistation conjointe d'un casque EEG simultanément avec un casque RV est également compliquée --- c'est pour pourquoi les questionnaires restent prédominants. Nous chercherons à caractériser l’incarnation virtuelle par la détection de marqueurs neurophysiologiques dans les signaux de l'électroencéphalogramme de participants immergés en RV.
Ainsi, le projet de cette thèse consiste à concevoir et mettre en place des études expérimentales afin de pouvoir caractériser des marqueurs neurophysiologiques propres à chacune des 3 composantes de l'embodiment. Nous proposerons une approche interdisciplinaire, mélangeant à la fois des connaissances en RV/embodiment et des connaissances en interfaces cerveau-ordinateur/neuroscience. En effet, comme dit précédemment, ces recherches peuvent profiter tant à la communauté de RV qu'aux cliniciens.
EN
Virtual Reality (VR) consists in immersing one (or more) user(s) in a virtual digital environment (VE) and allowing them to interact in real time with the VE content. One of the strengths in VR lies in the fact that it can re-create all sorts of situations (realistic or impossible). Virtual embodiment is defined as the perception of a virtual avatar as one’s own body. It is usually characterized by three components: Sense of Self-Location (SoSL); Sense of Agency (SoA); and Sense of Body Ownership (SoBO). Studying this phenomenon proved that it was possible to change a user’s body perception, even to create deeper behavioural changes. The user “see themselves” in VR with a body, which influences their perception and behaviour. The study of virtual embodiment is crucial to better understand cognitive phenomena. For example, we can mention a SoA study designed to better understand people suffering from Alien Hand Syndrome, i.e. a part of their body (the hand) acts on its own volition and not from the person’s decision. SoA was also studied in the neuroscientific community to better understand the neurophysiological and cognitive processes at play. The VR community also focuses on SoA: some studies showed that it was possible to skew the visual feedback given to VR users. However, assessing virtual embodiment is complicated, considering the within-subject variability. Indeed, the current consensus to assess such variability is to use standardized questionnaires. Their silver lining is that they are easy to use and can evaluate the three components of embodiment clearly. Nonetheless, they also have shortcomings: the questionnaires can only be completed afterwards and not continuously – it is an additional task for the user. Moreover, the interpretation of questions can vary depending on the subjects.
This thesis aims to obtain more direct and ideally quantitative measures based on the use of physiological signals, such as the Galvanic Skin Response (GRS) – the biological electric activity recorded on the skin surface – or neurophysiological signals like electroencephalography (EEG) – measure of the brain’s electric activity with electrodes. Their benefit is that they do not actively involve the user and they can be carried out throughout an experiment. Yet, these measures also have drawbacks – equipment can be expensive; EEG headsets are easily subjected to noise, and one should not move while wearing it; the joint use of an EEG headset with a VR one is also complicated. This is the reason why questionnaires remain prevailing. We aim to characterise virtual embodiment through the detection of neurophysiological markers within the signals from VR-immersed participants’ EEGs.
Therefore, this thesis project consists in designing and implementing experimental studies to characterise specific neurophysiological markers for the three embodiment components. We propose an interdisciplinary approach, blending both knowledge about VR/embodiment and about brain-computer interface/neurosciences. Indeed, as mentioned before, this study can benefit both the VR community and clinicians.