Beruflich Dokumente
Kultur Dokumente
THÈSE
pour obtenir le grade de
DOCTEUR DE L'UNIVERSITÉ PARIS 8
Discipline : Esthétique, sciences et technologies des arts,
spécialité : images numériques
JUDITH GUEZ
Membres du jury :
Invité :
Edmond COUCHOT (PR honoraire) Université Paris 8
RÉSUMÉ
Les illusions surprennent, déstabilisent, amusent et émerveillent. Si parmi les intentions
esthétiques du créateur, se trouve l’objectif de provoquer chez le spectateur des interrogations face
à sa perception de la réalité quotidienne, alors les illusions peuvent devenir un atout essentiel dans
la création artistique.
On constate par ailleurs que le domaine de la réalité virtuelle et mixte, avec ses technologies
numériques d’immersion et d’interaction, offre de nouvelles possibilités pour « transporter » le
spectateur dans des mondes inhabituels, imaginés par les artistes.
Ainsi, à partir de mon double intérêt pour les illusions et la réalité virtuelle et mixte, j’ai été
amenée à développer une recherche-création sur les nouvelles formes artistiques d’illusion. J’ai
exploré en théorie et en pratique l’espace des illusions entre le réel et le virtuel (IRV), pour
identifier et créer ces nouvelles formes artistiques émergeant de la synergie des relations entre le
spectateur, l’œuvre et l’artiste.
Afin de dégager les éléments significatifs propres à mes intentions artistiques, j’ai
principalement axé mon analyse sur les installations numériques : description de la mise en espace
et de la mise en relation avec le spectateur ; retours du public (par observation du comportement,
par questionnaires ou par entretiens d’explicitation) ; estimation du vécu du spectateur dans le
temps de l’expérience selon le modèle de plongée dans les illusions que j’ai élaboré.
Ensuite, par une « méta-analyse », j’ai composé à partir de ces résultats ma propre palette
de création d’illusions entre le réel et le virtuel, qui parcourt les trois frontières : celle entre le réel
et le virtuel, celle entre le réel et l’illusion, et enfin celle entre le virtuel et l’illusion.
Mots Clés (index RAMEAU): Art numérique, Réalité virtuelle, Illusion (art), Méthodes de
recherche mixtes, Création (esthétique).
1
ABSTRACT
Illusions between the real and the virtual (IRV) as new art forms :
presence and wonder
Illusions surprise, deceive, amuse and amaze. If among the aesthetic intentions of the
creator is the objective of raising questions in the spectator's mind about his own perception of
everyday reality, then illusions can become an essential asset of artistic creation.
Furthermore, we observe that the field of virtual and mixed reality, with its digital
technologies of immersion and interaction, provides new possibilities to "transport" the spectator
in unusual worlds, imagined by the artists.
Thus, from my double interest in illusions and virtual and mixed reality, I was led to develop
a research-creation on new artistic forms of illusion. I theoretically and practically explored the
space of illusions between the real and the virtual (IRV), to identify and create these new art forms
emerging from the synergy of the relationship between the spectator, the artistic work and the
artist.
Then, through a "meta-analysis", I composed from these results my own palette for the
creation of illusions between the real and the virtual, which covers the three borders: the one
between the real and the virtual, the one between the real and the illusion, and finally the one
between the virtual and the illusion.
I thus made clear the characteristics of my own artistic approach emerging from this
research: aiming at the development of experiments nesting several levels of illusions of reality,
with the help of real apparatuses (sets, interfaces, etc.) and virtual ones (deconstruction of the
virtual environment, transformation of virtual objects, plays on transitions between simulations,
etc.), and striving to explore illusions unique to the virtual, to achieve deeper illusion and presence
in the experience offered to the spectator. I can then go closer to what I call the survirtuality, the
virtual being a wonderful way to imagine, to dream worlds of nested illusions.
Keywords: Digital art, Virtual reality, Illusion (art), Mixed methods research, Creation (aesthetics).
2
REMERCIEMENTS
Cette thèse s’est nourrie de rencontres, d’intuitions, de rêves, d’interrogations, et d’une
profonde envie de relier, de comprendre et d’explorer.
Dans toute la complexité de ce parcours, je ne peux pas faire état de toute la richesse des
interactions que j’ai pu avoir. Mais je tiens à vous remercier tous, vous qui avez croisé ma
route durant ces années, et qui m’avez aidée à démêler les fils de ce chemin vers une
meilleure compréhension de mes recherches-créations.
Cette thèse n’aurait pas pu voir le jour sans la confiance et le fort soutien de ma directrice
de thèse Marie-Hélène Tramus : merci d’avoir accepté de t’engager avec moi sur le sentier
des illusions, et de m’avoir laissé la liberté suffisante d’explorer, de revenir en arrière et
d’avancer, mais toujours avec des guides et des conseils essentiels pour me permettre de
tenir le cap !
Je tiens à remercier Stéphane Bouchard et Gilles Methel d’avoir accepté de faire partie de
mes rapporteurs, et Chu-Yin Chen, Philippe Fuchs, Edmond Couchot d’avoir consenti à faire
partie de mon jury. Vous donnez à ce jury le caractère interdisciplinaire auquel je suis si
attachée.
À vous, avec qui j’ai créé, découvert et approfondi de nombreuses notions autour de la
réalité virtuelle et mixte : merci Xavier Clady, d’avoir accepté de suivre mon mémoire sur la
réalité augmentée en Master à Paris 6 ; merci Safwan Chendeb et l’équipe du CITU de
m’avoir permis de m’envoler sur l’Arc de Triomphe en 2009, avec ce projet de télescope de
réalité augmentée ; merci Philippe Fuchs de m’avoir permis de découvrir la réalité virtuelle
notamment auprès de Rasul Fesharakifard lors de mon stage à l’école des Mines de Paris ;
merci Olivier Nannipieri pour m’avoir transmis votre thèse qui m’a énormément inspirée.
Merci Stéphane Bouchard, pour cette année fantastique dans ton laboratoire où j’ai
compris ce que voulait dire « présence » (un clin d’œil également à tous les collègues de
l’UQO : Geneviève, Dominique, Oliver, Julie, Christophe, Guillaume, Gus, Stan, Brad, Tanya,
Christian, Claudie, Mylène, …). Pour la rigueur et la passion de la réalité virtuelle, merci à
toi Sébastien Kuntz ; Christophe, Moulla, Magency, merci de soutenir la magie virtuelle ! À
toute l’équipe de MiddleVR, merci de m’avoir permis de faciliter l’intégration d’interfaces de
réalité virtuelle dans Unity ! Et puis à vous tous, membres VRGeeks, AFRV, VRLab,
ParisACMSIGGRAPH, et Meetups RV en tous genres : merci pour ces merveilleuses
interactions réelles/virtuelles, et échanges matériels/immatériels !
Gravitant autour de l’INREV et d’ATI, Yi-Chun, Wissem, Sophie, Jeffrey, Laure, ça a toujours
été un plaisir d’avoir créé et/ou échangé avec vous ! Et puis un grand merci à toute l’équipe
3
du projet CIGALE (Dominique, Coralie, Marion, Fanny, Illaria, Sébastien, Clara, Marie-
Hélène, Chu-Yin, Chen-Wei, Jean-François, Dimitrios, Florine, Amélie, Guillaume, Isabelle,
Julie, …), avec qui pendant quatre ans j’ai pu participer à cette superbe aventure autour du
geste expressif, artistique et langagier. Merci au Labex Arts-H2H, qui a soutenu ce projet.
Plus largement, dans cette sphère de l’art numérique : François Zajéga, merci pour nos
discussions qui ne s’arrêtent plus ! Florian Aziosmanoff, David Guez, Balthazar Auxietre,
Hayoun Knon, Miguel Almiron, Élise Aspord, Pierre Berger, la Galerie Charlot, et tous les
membres des Algoristes, merci pour ces échanges qui encouragent à continuer dans ce
domaine (oui ! le numérique est un fantastique médium).
Pour m’avoir permis d’entrer dans la création de mises en scène réelles/virtuelles (théâtre,
danse, performance), merci à Clara Chabalier (Cie Pétrole), Émilie-Anna Maillet (Cie Ex
Voto à Lune), Julie Châteauvert et Anne Dubos, ce fut de très belles expériences !
Et puis merci à vous que j’ai connus au Québec, et qui m’avez transmis une énergie
inoubliable : Scap, Louise, Mél, Sophie, Sam, Fanny, Dom, Luc, Lisette, Karine, Guillaume,
Christophe, Noy, … ; merci à toi Mario, sans qui cette thèse n’aurait probablement pas été
aussi claire vis-à-vis de la complexité. Et puis un immense merci à Serge Gagnon, qui m’a
fait confiance et soutenue, et qui devait être mon co-directeur de thèse, mais qui est parti
trop vite… je te dédie cette thèse dans le souvenir de nos discussions « dynamiques de
sens » qui m’ont beaucoup inspirée, mais qui furent stoppées bien trop tôt.
Et enfin, à ma famille, merci de votre soutien dans cette période où je n’étais pas beaucoup
disponible ! À mes parents, merci de m’avoir transmis la passion de l’art et de la
psychologie, avec toujours une ouverture d’esprit et de liberté !
4
5
SOMMAIRE
RÉSUMÉ ..............................................................................................................................................1
ABSTRACT ..............................................................................................................................................2
REMERCIEMENTS ...................................................................................................................................3
PARTIE II. PARTIE PRATIQUE : ÉMERGENCE D’UNE PALETTE D’IRV .......................... 248
DEUX PROJETS EN LIEN AVEC MON PROCESSUS DE RECHERCHE-CREATION : KANT ET CIGALE ..... 474
KANT : UN PROJET TRANSMEDIA ............................................................................................................... 474
CIGALE : UN PROJET TRANSDISCIPLINAIRE .............................................................................................. 479
9
10
INTRODUCTION GENERALE
La relation qui naît de la rencontre entre le spectateur et l’œuvre intéresse de nombreux
artistes. Comment capter le spectateur ? Comment le transformer dans la rencontre avec
l’œuvre ?
Les artistes de l’Op Art et de l’art cinétique des années cinquante et soixante, par des jeux
d’illusion, voulaient surprendre le spectateur, afin de le réveiller et de le faire sortir de ses
habitudes perceptives.
La relation apparaît ainsi comme une forme artistique particulière 1, que certains artistes
expérimentent avec ces nouvelles possibilités technologiques.
Dans la lignée de ces affinités artistiques, j’ai voulu, dans cette thèse, expérimenter et
théoriser les nouveaux espaces de relation qu’ouvrent les illusions entre le réel et le virtuel,
vaste terrain de recherche-création, pour notamment :
— créer des installations artistiques qui jouent sur la frontière du réel et du virtuel ;
— rechercher de nouvelles illusions qui seraient propres aux mondes virtuels, afin
de déjouer les habitudes du spectateur.
Ces recherches sont en lien fort avec mon parcours personnel et le choix de mon sujet est
influencé par des intuitions qui ne sont pas toujours linéaires. Afin d’exposer les bases de
ce cheminement entre recherche et création, voici la description de ce parcours.
11
MON PARCOURS
L’Art/Science ! C’est le désir de lier ces domaines qui a été la base de cette recherche. Je ne
peux pas imaginer l’un sans l’autre. Sans trop en savoir la raison au début, je ne pouvais pas
rester longtemps dans l’un de ces domaines sans ressentir un manque pour l’autre. C’est en
suivant cette intuition que j’ai ainsi successivement poursuivi des études d’arts plastiques
(université Paris 1), de Physique/Chimie, d’électronique/informatique, de sciences de
l’ingénieur/robotique (université Paris 6), en alternant (et même parfois en juxtaposant)
les années par des allers-retours entre art et science. Entre ces va-et-vient, je suis passée
par l’université Paris 8 en Art et Technologie de l’Image qui m’a semblé être enfin un lieu
ou art, technologie et science cohabitent. De tout cela sont ressortis des intérêts
particuliers, notamment, du côté scientifique et technologique : autour des systèmes de
communication « entrée/sortie » entre l’homme et la machine (incluant l’étude des
capteurs externes et internes au système) ; des algorithmes d’intelligence artificielle
(algorithmes génétiques, réseaux de neurones) et génératifs (fractal, boids, etc.) ; des
algorithmes de perception (vision par ordinateur, prédiction de mouvement ) ; et de la
robotique (plateforme, systèmes poly-articulés, etc.). Un des principaux sujets sur lequel se
porta mon intention fut le domaine de la réalité virtuelle et mixte, ce qui donna lieu à mon
mémoire bibliographique et pratique de master2 2.
J’ai très vite été attirée par la place du spectateur dans l’œuvre. Comment peut-il participer
à l’œuvre ? Comment le faire réagir ? Comment capter son attention et ses intentions ? Car
finalement, dans une exposition je m’intéresse aux œuvres, mais également à la manière
dont le public les regarde : comment la relation commence avec l’œuvre, et comment
perdure-t-elle ?
2 J. Guez, État de l’art des méthodes de traking robustes pour la réalité augmentée. Étude bibliographique de Master Science
de l’ingénieur (RSI), Université Paris 6,(dir.) Xavier Clady, 2009.
J. Guez, Étude de l’utilisation du filtre particulaire couleur pour une application de réalité augmentée. Étude pratique de
Master Science de l’ingénieur (RSI), Université Paris 6,(dir.) Xavier Clady, 2009.
12
Illustration 1. J. Guez, Portrait, Fusain, 2003 Illustration 2. J. Guez, Bord de Seine Pastel,
2005
— en l’incitant à bouger face à la toile (par exemple, pour tourner des éléments qui
font du bruit, ou en référence à l’artiste Yaacov Agam, à se déplacer pour voir les
différents points de vue 3) ;
13
— en l’invitant à prendre part à la création (écrire sur un calendrier géant placé
dans les couloirs 4, écrire sur la musique 5, ou dans une maison à des moments
précis 6) ;
Par la connaissance des technologies liées à la création de monde virtuel numérique, j’ai
ensuite approfondi ces recherches en réalisant des installations interactives :
— en utilisant la réalité augmentée, pour incruster sur une maquette réelle des
éléments virtuels en temps réel 8.
14
Illustration 6. J. Guez, K. Groupierre, W. Boussouda, J. Debast, 18 Lieux, Installation Réalité
Augmentée, Laval Virtual, 2008
Ce médium numérique « le virtuel » me permettait d’aller bien au-delà dans le contact avec
le spectateur. Non seulement, il offre par l’intermédiaire d’interfaces un lien sensible entre
le spectateur et l’œuvre, mais il peut aussi transformer ses éléments constitutifs dans le
temps du « contact/relation » établi.
Je voudrais ici, noter que je ne valorise pas certains médiums au détriment des autres :
chacun me permet de penser l’autre. Je continue à dessiner et à créer des décors réels.
Je m’intéresse à la manière dont nous pouvons les associer, les hybrider 10 : comment un
tout émerge de ses parties constituantes et évolue ?
9 . J. Guez, K. Groupierre, W. Boussouda, J. Debast, Confession, Installation immersive et interactive, école des Beaux-Arts
d’Athènes, 2008.
15
CHOIX DE L’ESPACE DE RECHERCHE
Mon sujet contient également le mot « illusion », important dans ma démarche artistique.
Dans cette envie de capter le spectateur et de créer des instants particuliers pour lui, l’Op
art (l’art optique) a été l’une de mes premières sources d’inspiration. J’étais fascinée par les
tableaux de Yaacov Agam aux couleurs « changeantes » selon mon déplacement ; de Jesús
Rafael Soto par ces lignes « mouvantes », et finalement par tous ces artistes du Groupe de
Recherche d’Art Visuel : le G.R.A.V.
Ce courant m’inspire beaucoup, comme ces quelques lignes, imprimées sur un tract
distribué lors de la 3e biennale de Paris en octobre 1963 11 :
De plus, les illusions d’optique et tours de magie m’ont toujours enchantée. Dans le cas des
illusions d’optique, même si nous savons comment elles sont réalisées — par exemple dans
l’illusion Müller-Lyer, nous savons que les lignes sont de même longueur— nous pouvons
sans cesse continuer à nous en amuser, et à découvrir une autre manière de percevoir.
Ces moments nous permettent de faire une pause, afin de questionner notre perception.
C’est par ce « merveilleux » que notre esprit part vers d’autres imaginaires. Que nous
10 Terme employé en biologie : “Croisement naturel ou artificiel de deux individus (plantes ou animaux) d’espèces, de races
ou de variétés différentes” [en ligne : consulté le 01-02-2015, URL : http://www.cnrtl.fr/definition/hybridation].
11 Assez de mystifications, Manifeste du G.R.A.V. contenu sur un tract distribué lors de la 3e biennale de Paris en octobre
1963.
16
pouvons « décrocher » 12 un instant de nos préjugés pour comprendre que tout évolue et
peut être « autre », que ce que nous avions établi pour vrai est « mouvant ».
De ce fait, les illusions sont un point central de mes recherches-créations. Les artistes du
G.R.A.V. avec notamment des jeux de perceptions et de mise en situation, « intéressent »,
« transforment », « décontractent » le spectateur (pour reprendre leurs mots).
J’associe également ces caractéristiques aux tours de magie, mais dans un sens plus
« enchanteresque ». Les tours de magie nous surprennent, nous amusent et nous
enchantent. Vous est-il déjà arrivé d’assister à un moment de magie inattendu ? Un ami qui
lors d’une soirée va sortir son paquet de cartes. Au début, le scepticisme peut se faire
ressentir : mais que va-t-il bien nous montrer ? Pff, lui un magicien ? Puis au bout de
quelques envolées de cartes il est surprenant de remarquer l’adhésion presque enfantine
que peut ressentir l’assemblée : cherchant, essayant de comprendre et de trouver ce qui l’a
si « bien eu ». La magie a opéré ! C’est cette magie qui m’intéresse. Comment par des
créations artistiques, captiver l’attention du spectateur et l’enchanter ? La magie et les
illusions peuvent-elles être le point d’entrée d’une relation particulière entre le spectateur
et l’œuvre ? Et pour résumer cela en une question :
Le domaine de la réalité virtuelle me paraît un parfait outil pour explorer ces questions : il
permet au spectateur de vivre une expérience pseudo-naturelle, par interaction et
immersion dans « un monde artificiel, créé numériquement, qui peut être imaginaire,
symbolique ou une simulation de certains aspects du monde réel » 13. Il donne la possibilité
de créer ces mondes simulés et de pouvoir avoir l’illusion d’y être. Pouvons-nous alors
nous inspirer des illusions d’optique et des tours de magie qui prennent comme support
notre réalité quotidienne, dans ces systèmes de réalité virtuelle, afin d’explorer de
nouvelles formes artistiques d’illusions pour emporter le spectateur ?
Mon espace de création et de recherche se situe donc, dans les rencontres de plusieurs
éléments :
12 Mot repris à la pièce d’Augmented Magic, “Décroche”, Cirque Électrique, Paris, 2014.
13 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel. Presses de l’Ecole des Mines, 2006, p. 5.
17
— entre le réel et le virtuel : des techniques utilisant le réel et le virtuel, sans
avoir toutes les propriétés fondamentales du domaine de la réalité virtuelle,
font émerger des formes intéressantes d’étude en recherche-création ;
18
PROBLEMATIQUE
Comment dans l’espace d’hybridation des illusions entre le réel et le virtuel (IRV),
créer des expériences d’illusions qui vont perturber et émerveiller le spectateur par
des déstabilisations de ses perceptions habituelles ?
19
HYPOTHESES
la réalité virtuelle et mixte par la mise en relation et la mise en espace de jeux sur les
frontières entre le réel et le virtuel — jeux de transitions, de ruptures, de
superpositions, et d’indiscernabilités — permet l’émergence de nouvelles formes
artistiques de l’illusion qui déstabilisent et émerveillent le spectateur.
La mise en relation permet de créer le fil narratif qui va construire la relation entre le
spectateur et l’œuvre. Elle va permettre de prendre en compte le moment de contact entre
le spectateur et l’œuvre ; la manière dont cette relation ensuite est entretenue, puis
comment elle prend fin. L’exemple des spectacles de magie apporte des éléments inspirant
pour la construction d’un scénario évolutif qui emporte dans un monde imaginaire par des
transitions, passages, ruptures, etc. dans le temps de l’expérience, tout en gardant une part
de plaisir et d’amusement.
— par ma recherche théorique, dans les écrits et états de l’art, notamment dans le
domaine de la réalité virtuelle/mixte et artistique, en distinguant les outils qui
sont liés à mon espace d’IRV.
— par cette boîte à outils mise en évidence, en construisant mes propres outils au
regard de mes créations, ceux qui me servent et m’inspirent pour créer à la
manière du peintre qui élabore sa palette singulière selon son intention et sa
sensibilité esthétique.
20
METHODOLOGIE INSPIREE DE LA COMPLEXITE
Lors de mon parcours personnel, nous venons de voir que j’ai traversé de nombreuses
disciplines entre art, science, technologie et psychologie. Je restais un an dans l’une, trois
ans dans l’autre, puis je revenais à la première et ainsi de suite, au fil de mes intuitions et
des manques que je percevais dans chacune d’elles.
Et puis je me souviens de cette rencontre au Québec avec Mario Dion, chargé de cours au
département de travail social de l’Université du Québec en Outaouais. Il me demanda ce
que j’aimais faire dans la recherche. Je lui répondis spontanément : « faire des liens ! »
« Associer, explorer et chercher les points de convergence entre des disciplines
différentes. » Je pouvais visualiser dans ma tête un réseau en trois dimensions, dans lequel
chaque année d’apprentissage dans les différentes disciplines se reliait par des fils. Je
pouvais visualiser ces points de jonction sans vraiment identifier leur contenu. Les divers
savoirs accumulés pendant ces années d’études n’étaient pas indépendants. Ils pouvaient
se rencontrer et se nourrir les uns des autres. J’en étais persuadée ! Mario Dion me donna
alors la référence du sociologue Edgard Morin. Le lendemain je filais à la bibliothèque et
découvris la méthode de la complexité propre à cet auteur. Je fus frappée de trouver de
nombreuses correspondances avec ce qui m’animait. Les citations de E. Morin, faisaient
écho avec mes propres aspirations :
21
La méthode de la complexité
De 1977 à 2004, Edgard Morin a écrit 6 volumes de La Méthode, afin de proposer une
nouvelle approche théorique et pratique liée à la complexité du réel. Il désirait par cette
méthode, « développer une connaissance qui respecte la multidimensionnalité des choses, une
connaissance qui, dans tous les domaines, débouche sur des actions complexes et non
mutilantes » 16 . Voici en résumé, certaines caractéristiques de cette méthode de la
complexité :
— Le mot « complexité » renvoie au mot latin « complexus » qui signifie « ce qui est
tissé ensemble ». La pensée complexe cherche à relier et organiser les éléments
distincts.
15 R. Fortin, Comprendre la complexité : introduction à La Méthode d’Edgard Morin. L’Harmattan, 2000, p. 18.
16 Intro ibid., p. 21.
17 Cf. théorie de l’énaction de F. Varela, de l’auto-organisation d’ H Atlan, de la seconde cybernétique.
18 E. Morin, Introduction à la pensée complexe, op. cit., p. 10.
19 Ibid., p. 11.
22
— Une dynamique circulaire entre le tout et les parties.
Penser la complexité c’est relier les éléments, même au semblant différent, dans une
dynamique de relation. C’est considérer des allers-retours constants entre le tout et les
parties. E. Morin, reprend une citation de Pascal qui expose très bien cette idée :
La complexité est basée sur cette dynamique d’organisation entre des savoirs
différents. Elle aspire à n’être ni cloisonnée, ni réduite, mais plutôt à être libre de
parcourir les liens entre les éléments : de pouvoir ainsi plonger dans les détails
d’une connaissance, ou au contraire prendre le recul de voir cette connaissance en
interaction avec son contexte et ses relations. Elle s’inspire des théories de l’auto-
organisation 23 dans lesquels une part de chaos et de désordre est à admettre afin de
laisser le système libre (d’une certaine manière) de ses interactions intrinsèques.
Dans un cadre donné, c’est par tension permanente entre les éléments qu’émerge
petit à petit la connaissance. Ceci montre bien l’impossibilité d’avoir un achèvement
et une complétude de l’objet étudié qui est toujours en mouvement.
20 E. Morin, Mon chemin : entretiens avec Djénane Kareh Tager. Fayard, 2008, p. 183.
21 R. Fortin, Comprendre la complexité : introduction à La Méthode d’Edgard Morin, op. cit., p. 13.
22 E. Morin, Introduction à la pensée complexe, op. cit., p. 11.
23 Par exemple : H. Atlan, Le vivant post-génomique ou qu’est-ce que l'auto-organisation ?. Odile Jacob, 2011.
23
reconnaissance de l’inachèvement et de l’incomplétude de toute
connaissance. » 24
Lors de ce doctorat, j’ai découvert la méthode de recherche-création qui est enseignée dans
mon laboratoire à l’université Paris8. Elle incite par des allers-retours entre recherches et
créations artistiques à construire son cadre d’étude. La théorie et la pratique se nourrissant
l’une de l’autre. J’y ai trouvé un premier lien avec la méthode de la complexité par cette
boucle récursive entre recherche et création.
J’ai ensuite, alimenté mon processus par d’autres aspirations liées à la complexité :
— Je tiens à garder chaque discipline dans son contexte et à en étudier ses relations
avec les autres : parcourir de manière plus spécialisée chaque discipline, puis en
trouver les points de convergence entre elles. Mes expériences qui m’ont permis de
vivre un apprentissage dans chacune d’elles, enrichissent ma manière de les
visualiser dans leur contexte, ou en dehors de leur cadre.
24
STRUCTURE DE LA THESE
Dans ce cheminement de recherche, j’ai abordé chaque discipline dans leur contexte
propre, mais également dans les relations existantes entre elles, afin de montrer comment
elles se nourrissent mutuellement. Par une dynamique interrelationnelle entre ces
disciplines, tout au long de ce doctorat, inspirée par la méthode de la complexité, j’ai
exploré un vaste espace de recherche-création centré sur les illusions entre le réel et le
virtuel (IRV).
L’annexe se compose des entretiens et enquêtes auprès des spectateurs et de deux projets
hors doctorat, (interdisciplinaires, transmédias) auxquels j’ai participé, afin d’illustrer dans
d’autres contextes la dynamique du processus de recherche-création inspirée par la
méthode de la complexité.
26
27
28
Partie I. PARTIE THEORIQUE :
LES IRV POUR LA CREATION
Le chapitre 3, explore les courants qui m’inspirent dans le domaine artistique, et qui
sont en cohérence avec ma démarche centrée sur les illusions entre le réel et le virtuel
(IRV).
29
30
Chapitre 1. DEFINITION DES ILLUSIONS ENTRE LE
REEL ET LE VIRTUEL (IRV)
31
Dans ce chapitre je vais revenir sur les définitions des mots qui sont essentiels à la
compréhension de ma démarche. J’entends par définition, la manière dont j’envisage ces
termes, et dans quels sens ils vont servir mon propos. Je vais donc fragmenter la notion de
« Illusions entre le Réel et le Virtuel » (noté IRV) pour ensuite donner un aperçu plus clair
de ce qu’elle signifie.
Mon propos n’est pas de dresser un inventaire des modèles du « réel » (philosophique,
scientifique, etc.). Ce que je voudrais décrire ici, c’est ce que j’entends par « réel » quand je
l’emploie lors de mes créations par exemple. Quel est ce « réel » qui s’hybride avec un
« virtuel » ?
Etudier une œuvre du point de vue du spectateur est central dans mes recherches. Je
m’interroge sur l’expérience artistique vécue par celui-ci. C’est donc le « réel humain » dont
je traite : celui qui est vécu par l’homme. Le réel « perçu ».
Comment nous, humains, considérons les éléments autour de nous comme réels ? Ne
pourrait-on pas mettre en évidence un réel qui se construit de nos perceptions / actions
dans un environnement, qu’il soit réel ou virtuel ?
32
L’environnement, selon l’échelle considérée – microscopique à cosmologique – apporte
également d’autres séparations, échantillonnant différentes « réalités ». La physique
quantique nous a en effet montré qu’à une échelle microscopique les « perceptions »
pouvaient être différentes. Jean Hamburger, médecin et chercheur français, parle de
« césure » qui « sépare souvent [...] des résultats obtenus à des échelles très différentes » 27 .
Mais ce « réel humain », devons-nous le considérer comme étant le « même » pour tout le
monde ?
Si nous observons, une personne qui aurait vécu toute sa vie dans un désert, aura-t-elle la
même « réalité » qu’une personne habitant une grande ville ?
Étant pourtant tous physiologiquement humains, notre réalité reste différente et s’inscrit
dans notre expérience. Selon notre culture, notre vécu et notre environnement, nous nous
formons une réalité. Et finalement à une échelle moins exagérée, même au sein d’une
communauté identique, nous sommes chacun dans des vécus personnels et différents.
27 J. Hamburger, Concept de réalité, Encyclopædia Universalis, [en ligne : consulté le 04-11-2014, URL :
http://www.universalis-edu.com/encyclopedie/concept-de-realite ]
28 O. Nannipieri, P. Fuchs, “Pour en finir avec La Réalité : une approche socio-constructiviste de la réalité virtuelle.” Revue
des Interactions Humaines Médiatisées, S. Leleu-merviel, K. Zreik. 2009.
29 M. Merleau-Ponty, Le primat de la perception et ses conséquences philosophiques. Verdier, 2014, p. 52.
33
Pour compléter ainsi mon cadre d’étude :
Ce réel multiple n’est donc pas statique, mais plutôt mouvant et difficilement cernable.
Comment pouvons-nous alors l’étudier, le considérer, l’atteindre ?
Pour reprendre les termes de Gaëtan Desmarais : « Entre le monde physique réel (MR) et le
monde projeté de la manifestation sensible (MP), il existe un hiatus infranchissable » 31 . Dans
son livre La Dynamique du Sens, en s’inspirant de la thèse de Jean Petitot-Cocorda et de
René Thom, il montre comment une structure émerge de ce MR vers ce MP, et que c’est là le
seul moyen d’avoir une idée de la provenance de « ce réel inatteignable ». C’est par la
morphogénèse et donc l’auto-organisation d’éléments qu’émergent ces manifestations
sensibles. Étonnamment d’ailleurs, des structures semblables apparaissent, comme pour la
structure de contes narratifs.
Ce mot « dynamique », du titre de son livre, est essentiel. Le réel accessible pour l’homme
(MP) n’est pas défini : il émerge d’une dynamique. Au sujet d’un espace architectural,
l’auteur de la Dynamique du sens décrit : « Ne jamais aborder l’espace bâti comme un fait
statique et interprétable en tant que tel, mais le concevoir plutôt comme une forme signifiante
émergente, c’est à dire comme un espace structuré, polarisé, dynamisé et rendu signifiant par
les actions qui s’y déroulent. » 32
30 Les « capacités [de chacun] s’enracinent dans les structures de notre corporéité biologique, mais elles sont vécues et
éprouvées à l’intérieur de domaine d’action consensuelle et d’histoire culturelle » F. Varela, L’inscription corporelle de
l'esprit : Sciences cognitives et expérience humaine. Seuil, 1999, p. 211.
31 G. Desmarais, Dynamique du sens. Septentrion, 1998, p. 16.
32 Ibid., p. 97.
34
Nous associons notre notion de « réel » à la perception humaine et
son émergence (et non en fonction d’un réel inatteignable par
l’homme).
Le sujet n’est pas séparé du monde qui l’entoure : entre le sujet et le monde se crée une
dynamique et ainsi l’émergence d’une réalité. Comment cette dynamique se crée-t-elle ?
Comment le sujet et le monde rentrent-ils en contact ?
A.3. L’énaction
Dans les sciences cognitives, de nombreux modèles essayent de comprendre des visions
d’un réel possible. L’inscription corporelle de l’esprit, de Francisco Varela, donne un aperçu
de ces courants dont je vais en résumer quelques parties afin de montrer mon intérêt pour
la théorie de l’énaction.
33 F. Varela, L’inscription corporelle de l'esprit : Sciences cognitives et expérience humaine, op. cit., p. 234.
34 Ibid.
35
Les courants cognitivistes et connexionnistes veulent dépasser ce dualisme corps / esprit
et explorent d’autres manières d’interprétation du réel :
Fin des années 1980, apparaît le connexionnisme, plus ouvert que la théorie
cognitiviste, s’inspirant de la biologie, il prend en compte les systèmes émergents. Le
cerveau est ainsi représenté comme un réseau qui s’auto-organise et fait émerger un
résultat. Cependant, ce résultat est toujours comparé avec celui attendu, permettant
par rétroaction de tendre vers lui.
« L’information du réel » serait ainsi accessible soit par une résolution symbolique d’un
problème spécifique, soit par émergence vers un résultat attendu. Bien que plus ouvert, ces
courants ne se séparent pas de l’idée d’un monde prédonné et extérieur, auquel l’homme
ne peut accéder que par ces différents traitements. Varela nous expose la difficulté pour
l’homme de concevoir un monde qui n’a aucune représentation stable 37. Un monde non
prédonné qui s’auto-construit sans aucun modèle de comparaison.
La théorie de l’énaction
Varela propose une autre approche plus convaincante pour notre propos avec le terme
d’« énaction ». Dans les années 1990, cette théorie, prenant comme métaphore le vivant et
sa dynamique, ne considère plus de représentation prédéfinie à atteindre, mais plutôt une
dynamique ouverte, et en évolution d’un couplage structurel entre l’entité et son
35 Cf. Z. Pylyshyn, Computation and cognition: Toward a foundation for cognitive science. MIT Press, 1984.
36 Cf. F. Rosenblatt, The perception: a probabilistic model for information storage and organization in the brain.
Psychological Review, 65(6): 386-408, 1958.
37 « Nous n’avons tout simplement aucune idée de ce qu’est le monde extérieur, sinon qu’il est l’objet supposé de nos
représentations. [...] Nous sommes réduits à nous accrocher à nos représentations internes, comme si elles pouvaient nous
procurer un point de référence sûr et stable. » F. Varela, L’inscription corporelle de l'esprit : Sciences cognitives et expérience
humaine, op. cit., p196.
36
environnement. La perception est ainsi liée à la mémoire de l’individu et à son histoire, et
est également fortement imbriquée avec son action 38 dans l’environnement.
Et ainsi : « la cognition, loin d’être la représentation d’un monde prédonné, est l’avènement
conjoint d’un monde et d’un esprit à partir de l’histoire des diverses actions qu’accomplit un
être dans le monde » 42
38 « En recourant au terme action, nous souhaitons souligner [...] que les processus sensoriels et moteurs, la perception et
l’action sont fondamentalement inséparables dans la cognition vécue. » Ibid.
39 Ibid., p. 235.
40 Illustration du concept d’énaction par R.Held et A.Hein (1958) : « Held et Hein élevèrent des chatons dans l’obscurité et
les exposèrent à la lumière seulement dans des conditions contrôlées. Un premier groupe d’animaux furent autorisés à
circuler normalement, mais ils étaient attelés à une voiture et à un panier contenant le second groupe d’animaux. Les deux
groupes partageaient donc la même expérience visuelle, mais le second groupe était entièrement passif. Quand les animaux
furent relâchés après quelques semaines de ce traitement, les chatons du premier groupe se comportaient normalement, mais
ceux qui avaient été véhiculés se conduisaient comme s’ils étaient aveugles : ils se cognaient sur les objets et tombaient par-
dessus les bords. Cette belle étude témoigne en faveur de l’idée d’énaction, selon laquelle voir les objets ne consiste pas à en
extraire des traits visuels, mais à guider visuellement l’action dirigée par eux. » Ibid., p. 237.
41 Ibid., p. 235.
42 Ibid., p. 35.
37
A.4. Représentation et Universalité
Plusieurs questions arrivèrent, lorsque je suis venue à cette définition du réel qui
correspondait à mes attentes : si chacun forme sa réalité qui n’a aucune source de
représentation prédonnée, comment pouvons-nous vivre ensemble et nous comprendre ?
Pourquoi entre nous, pouvons-nous identifier par exemple un même objet ou une même
couleur ? Et même, comment puis-je me construire cette représentation d’un « rouge » que
je peux identifier plusieurs fois ?
« L’une des activités cognitives les plus fondamentales accomplies par tous
les organismes est la catégorisation. C’est par ce moyen que le vaste
ensemble d’expériences particulières, dont chacune est unique, est
transformé en un ensemble plus limité de catégories signifiantes apprises
auxquelles répondent les êtres humains et les autres organismes. » 43
Pour une couleur, dès enfant, par répétition et identification, je me suis construite une
catégorie : « rouge » par exemple. Ce « rouge » est lié à ma culture et à mon vécu. Il n’est
pas statique, mais semble plus ou moins invariant. Il me permet quand j’écris ce mot
« rouge », d’en avoir une image mentale, et de pouvoir en levant les yeux identifier tous
éléments qui dans cet instant et cet environnement me semblent rouge.
43 Ibid., p. 240.
44 J. Piaget, B. Inhelder, La psychologie de l’enfant. PUF, 2004, p. 11.
38
« Quand je dis que j’ai devant moi une tache rouge, le sens du mot tache est
fourni par des expériences antérieures au cours desquelles j’ai appris à
l’employer. » 45
Et cela de même pour des objets qui juste cités, coussin, pomme, armoire, etc., suscitent
une image mentale personnelle.
Mais cet « autre » qui construit son image mentale, comment se fait-il que je puisse le
comprendre ?
Et bien, revenons sur cette idée de culture et de cet « autre » qui physiologiquement me
ressemble et vit dans le même environnement. Les catégories qui me permettent
d’identifier mon monde vont alors être partagées de cette similitude et de ce
rapprochement social. Par exemple, « les catégories de couleurs s’avèrent ainsi former un
universel panhumain, propre à l’espèce » 46 :
« Les catégories rouge, vert, jaune, bleu, violet, orange -tout comme
clair/chaud, sombre/froid, jaune-et-vert, etc. sont expérientielles,
consensuelles et corporellement inscrites : elles dépendent de l’histoire
biologique et culturelle de notre couplage structurel avec notre
environnement » 47
De notre réalité nous pouvons donc « garder » cette notion d’universalité. Mais sans oublier
que c’est une universalité catégorielle qui s’est construite par nos représentations
personnelles et mouvantes.
Nous pouvons alors distinguer une universalité liée à notre physiologie d’humain et à une
invariance liée à notre culture et environnement communautaire. La formation du langage
reflète bien cet aspect culturel.
39
Si nous résumons ce concept avec les éléments recueillis ci-dessus :
Ces trois niveaux sont décrits ici séparés, mais ils sont à considérer comme imbriqués dans
le réseau de perception/action, nous permettant de vivre et d’évoluer. Cependant,
n’oublions pas notre notion de réel « mouvant ». En effet, malgré ces catégories plus ou
moins stables, la source reste ce réel non prédonné et émergeant avec lequel nous
interagissons.
Réalités :
-Universelle
-Sociale
-Individuelle
49 Cf. Inspiration des « ordres de réalité » du livre : F.-G. Roussel, M. Jeliazkova-Roussel, Dans le labyrinthe des réalités : La
réalité du réel, au temps du virtuel. L’Harmattan, 2009.
40
A.5. Ma conception du réel inspirée de l’énaction
Cette « universalité » qui se construit de nos catégorisations, s’avère dans le sens commun
immuable et figée. Pourquoi est-il si difficile de s’en défaire ? Pourquoi semble-t-il pénible
de dépasser nos catégorisations, surtout celles qui semblent les plus stables ?
Nous avons vu que c’est par nos répétitions que nous la formons. Que nous construisons
une réalité toujours fluide. Il paraît alors normal que par cette « habitude » nous nous
mettions à croire qu’elle est la normalité, et qu’ainsi quand elle est remise en question nous
disions : « c’est une erreur ! ».
C’est ici que je trouve qu’il y a un terrain d’expérience à réaliser afin de « se jouer » de cette
« angoisse ». Et plus particulièrement sur cette réalité que l’on peut croire figée de par nos
habitudes et nos préjugés.
50 Dans le cycle de conférence : « Les Jeudis de l’imaginaire » organisé par la chaire de recherche et d’enseignement :
Modélisation des imaginaires, innovation et création. 28 Juin 2012, Paris. Plus d’informations [en ligne : consulté le 01-02-
2015, http://imaginaires.telecom-paristech.fr/ ].
51 F. Varela, L’inscription corporelle de l'esprit : Sciences cognitives et expérience humaine, op. cit., p. 201.
41
« La prétendue évidence du sentir n’est pas fondée sur un témoignage de la
conscience, mais sur le préjugé du monde. Nous supposons d’emblée dans
notre conscience des choses ce que nous savons être dans les choses. » 52
Ces deux questions sont fondamentales dans mes recherches et créations et me guident
tout au long de ce travail de thèse.
Comment alors créer ces ruptures avec notre monde aux airs prédonnés ? Comment
prendre conscience de traces de cette source de réalité mouvante et instable, au-delà des
catégorisations et préjugés plus ou moins stables et déterminés ?
L’étude des illusions m’a semblé un terrain tout à fait approprié, notamment car elles sont
souvent considérées comme des erreurs par rapport à une perception soi-disant
invariante.
42
B. L’ILLUSION : UN MOYEN POUR RENVERSER NOS PRECONÇUS
L’illusion est souvent définie comme une erreur des sens, en comparaison avec une
soi-disante « normalité » :
« Vie réelle, telle qu’elle est, par opposition aux désirs, aux illusions :
Regarder la réalité en face. » 56
Si les illusions sont des erreurs, comment expliquer qu’« au cours de l’histoire ; ce qui était
tenu pour vrai devient faux, et du coup, ce qui passait pour une illusion devient une
représentation légitime de la réalité » 57 ? Jacques Ninio, dans la science des illusions, nous
rappelle qu’au temps de Lucrèce, entre autres, les échos dans les montagnes et les ombres
étaient considérés comme des phénomènes illusoires. S’il y a lieu d’erreurs, avec le temps
elles ne le deviennent donc plus.
Pourquoi ce sens commun, est-il si présent ? Comme esquissé plus haut, les catégories
que nous formons deviennent petit à petit des habitudes. Nous préjugeons et nous nous
raccrochons à une certaine stabilité, qui peut paraître bien confortable et rassurante, mais,
comme précise Constable à propos d’une peinture, qui « [obscurcit notre] vision. » 58
43
« Dans chaque situation, notre système sensoriel applique automatiquement les méthodes de
traitement qui ont réussi précédemment et sont désormais profondément enracinées » 59
« Nous concluons [alors] qu’il s’agit d’illusions parce qu’il y a contradiction entre ce que nous
observons et ce que nous savons » 60. Ainsi, « Notre façon de voir les choses est influencée par
ce que nous connaissons d’elles » 61
Notre passé, notre culture et notre vécu influencent bien évidemment notre perception des
illusions (tout comme notre définition de la perception de notre réalité).
59 R. N. Shepard, L’oeil qui pense. Visions, illusions, perceptions. Seuil, 2000, p. 17.
60 Jean Bullier, Le tableau mouvant, Pour la science Hors-séries, Les illusion des sens, ed. française de scientific americain,
Avril/Juin 2003, (p.6-7).
61 E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit., p. 255.
62 D’après une citation de John Ruskin : Ibid., p. 251.
63 M. Jimenez, La psychologie de la perception. Flammarion, 1997, p. 63.
64 Ibid., p. 64.
65 Françoise Viénot, Jean Le Rohellec, Jeux de couleur, Pour la science Hors-séries, Les illusion des sens, éd. française de
scientific americain, Avril/Juin 2003, (p.20-27).
44
L’illusion n’apparaît donc pas comme une erreur, mais comme une perception qui se
construit avec l’environnement, selon le contexte, le vécu, l’histoire, etc.
« Puisque dans tous les cas la perception est construite, il n’y a plus de
raison de différencier une perception “erronée” d’une perception “vraie”.» 66
Merleau Ponty, exprime l’ambiguïté face à l’illusion de Müller-Lyer dans laquelle toute
perception est valable et véridique sans contradiction l’une par rapport à l’autre :
Illustration 10. Illusion de Müller-Lyer, d’après l’illusion créée par Franz Carl Müller-Lyer (1854-1916)
« [La science] exige que deux lignes perçues, comme deux lignes réelles,
soient égales ou inégales, qu’un cristal perçu ait un nombre de côtés
déterminé sans voir que le propre du perçu est d’admettre l’ambiguïté, le
“bougé”, de se laisser modeler par son contexte. Dans l’illusion de Müller-
Lyer, l’une des lignes cesse d’être égale à l’autre sans devenir “inégale” : elle
devient “autre”. C’est-à-dire qu’une ligne objective isolée et la même ligne
prise dans une figure cessent d’être, pour la perception, “la même”. » 68
L’illusion semble ne pas exister, ou tout est illusion, mais ne convient-il pas mieux de
l’envisager autrement ?
45
B.2. L’illusion, une perception singulière
Pour Alain Berthoz, « les illusions perceptives sont en réalité des solutions trouvées par le
cerveau lorsque les informations sensorielles sont ambiguës, ou contradictoires entre elles ou
avec les hypothèses internes qu’il peut faire sur le monde extérieur ». Il considère ainsi
l’illusion comme « la meilleure hypothèse possible. » 69
L’illusion a de ce fait une existence. C’est finalement une manière de percevoir ces
informations ambiguës, contradictoires et non habituelles.
En effet,
Ainsi, l’illusion semble être un type de perception singulière, éloignée de toute notion
de comparaisons entre « vrai » ou « faux », mais plutôt comme faisant partie de notre
rapport au monde mouvant et énactif.
Nous avons mis en évidence plus haut, cette difficulté de considérer l’illusion comme
« vraie ». De part, nos habitudes et nos attentes nous créons un espace entre nos croyances
et ce que l’on perçoit. Tout est bien placé dans nos têtes, de manière plus ou moins précise,
et nous continuons de vivre sans trop nous retourner, sans trop marquer de pauses.
Il est normal dans nos fonctionnements sensori-moteurs et cognitifs que petit à petit une
habitude se crée, permettant de ne pas perdre trop d’énergie devant des tâches régulières.
Ainsi, conduire, après un apprentissage demandant beaucoup de concentration, devient un
automatisme 71 . Nous pouvons communiquer, réfléchir au chemin, etc. sans nous
préoccuper totalement de toutes nos perceptions et actions. Et si soudainement, un
élément perturbateur survient — quelqu’un qui traverse au mauvais moment, la route qui
est en travaux, etc. — nous reprenons un état de conscience différent pour gérer cette
nouvelle situation. Puis la perturbation passée, nous adaptons notre conduite à ce nouvel
élément.
46
Finalement, si face à l’habitude, un changement survient, il va permettre de créer des
ruptures et des prises de conscience, redonnant ainsi des bribes de ce sens premier de la
perception, évoqué par Roberto Barbanti. 72
Et c’est par ce « choc » que j’aimerais ici proposer un parallèle avec l’illusion.
Ces types de perceptions singulières que sont les illusions ont, nous venons de l’observer
ci-dessus, un effet particulier :
De ce fait, elles paraissent correspondre à notre cas d’étude : trouver le moyen de réaliser
que notre réalité, construite de nos habitudes, n’est pas préétablie et que tout est mouvant.
Elles sont finalement, une porte d’entrée vers des prises de conscience de notre
manière de percevoir, et donc de vivre en échange avec ce qui nous entoure.
72 Cf. Présentation d’habilitation à diriger des recherches : Roberto Barbanti, Métamorphoses du medium dans l’art du 20e
s. à nos jours : Multémédialité et ultramédialité, université Paris 8, 2012.
73 E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit., p. 47.
74 Jacques Ninio, La Science des illusions, op. cit., p. 25.
47
ces taches plates et colorées, vues simplement en tant que telles, sans que
nous prenions conscience de leur signification » 75.
En comparaison avec ce peintre, pouvons-nous effacer notre savoir pour retrouver cette
innocence de l’instant perceptif ? Et surtout le voulons-nous ? Précédemment, nous avons
vu, avec « l’angoisse de Descartes », que face à l’incertitude, une crainte apparaît. Braque
évoque le « frisson de terreur qu’il a éprouvé en découvrant à quel point nos catégories sont
fluides et incertaines, avec quelle facilité la lime peut se transformer en chausse-pied, le seau
en brasero. » 77
Shepard, précise également très bien ce ressenti face à ces ruptures du quotidien.
75 D’après une citation de John Ruskin : E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit.,
p. 250.
76 Ibid., p. 264.
77 Ibid.
78 R. N. Shepard, L’oeil qui pense. Visions, illusions, perceptions, op. cit., p. 15.
48
B.4. Étude des illusions
Nous avons vu le « pouvoir » des illusions et ce qu’elles déclenchent, mais comment décrire
ces illusions ? Comment les identifier ? Le mot « ambigu » est revenu souvent dans nos
propos pour caractériser cette perception rare. Et « l’ambiguïté en tant que telle [] n’est pas
une chose que l’on puisse voir. » 80
Dans l’art et l’illusion, Gombrich, face à l’ambiguïté de forme entre le lapin et le canard
remarque qu’il est impossible de se rendre compte des deux images en même temps. Et
qu’on oscille entre les deux : « l’illusion, nous le découvrons, est une chose fort difficile à
décrire ou à analyser, car, tout en ayant parfaitement conscience que toute expérience
sensorielle est nécessairement une illusion, nous sommes incapables en fait de nous observer
en tant que sujet éprouvant une illusion. » 81
Dans la suite de ce mémoire, nous reviendrons sur cette idée de possibilité d’observation
du sujet vivant une illusion. Ce qui retient notre propos pour l’instant, c’est ce caractère
difficile et indéchiffrable lié à ces perceptions ; à « Ces instants où l’expérience sensorielle
diffère totalement de ce à quoi on s’attend [produisant] un état interne particulier de
bouleversement épistémologique. Tout à coup, on se rend compte que quelque chose a
radicalement dérapé, mais sans avoir la moindre idée de ce que c’est. » 82
79 D’après une citation de John Ruskin : E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit.,
p. 12.
80 Ibid., p. 264.
81 Ibid., p. 5.
82 R. N. Shepard, L’oeil qui pense. Visions, illusions, perceptions, op. cit., p. 35.
49
Devant cette difficulté d’identification, il n’est pas étonnant que les scientifiques s’y
attardent, essayant de nous renseigner grâce à ces « sondes du système de perception et de
cognition » 83, sur « le fonctionnement perceptif ». 84
Plusieurs études sont ainsi menées dans différentes disciplines telles que la psychologie 87 ,
les mathématiques 88, etc. : Piaget étudie par exemple, par la méthode génétique, la
comparaison de la perception d’illusion selon l’âge et le développement. 89
L’illusion m’intéresse également pour son côté accessible. Elle peut être appelée « science
amusante » tout comme les techniques liées à la magie (un domaine particulièrement
riche que nous allons étudier par la suite). Les illusions d’optique foisonnent dans les livres
et sur internet. Outre ce côté angoissant qui peut surgir face à l’incertitude, leurs
particularités sont d’avoir en elles tout un imaginaire lié au plaisir et au merveilleux. Et
c’est finalement dans un sentiment de surprise et de curiosité que nous aimons
recommencer à nous étonner de ces illusions, aussi simples soient-elles. C’est pourquoi je
trouve cette sensation intéressante, par ce jeu sur nos perceptions et cette manière de
provoquer l’émerveillement. Nos habitudes s’en retrouvent troublées un bref instant, nous
83 Ibid., p. 16.
84 Jean-Claude Risset, Illusions musicales, Pour la science Hors-séries, Les illusion des sens, ed. française de scientific
americain, Avril/Juin 2003, p.66-73.
85 Jacques Ninio, La Science des illusions, op. cit., p. 45.
86 Jacques Ninio, Les illusions de contraste, Pour la science Hors-séries, Les illusion des sens, ed. française de scientific
americain, Avril/Juin 2003, p.8-15.
87 M. Jimenez, La psychologie de la perception, op. cit.
88 Cf. Mathematic of impossible Objects de Kokichi Sugihara.
89 Cf. J. Piaget, Les Mécanismes perceptifs : Modèles probabilistes, analyse génétique,relations avec l’intelligence. Presses
Universitaires de France - PUF, 1975.
50
amenant ainsi à rafraîchir nos sens et nous interroger sur cette réalité perçue. C’est ainsi,
pour citer Gombrich, que « l’émerveillement est à l’origine du savoir. » 90
L’émerveillement paraît utile pour pallier une certaine ignorance. Cependant, il peut, le
savoir acquis, sembler ensuite dérisoire.
M. Edwards expose les propos d’Aristote et Descartes, pour qui l’émerveillement permet la
connaissance, mais doit ensuite être dépassé et ne pas continuer. Il est « le commencement
de la philosophie. » 91
M. Edwards, tout au long de son livre réfute cette thèse. Par des exemples, en littérature, en
peinture, en musique, etc. ; il démontre que l’émerveillement en effet nous « donne
l’impression [...] de commencer [...] dans le champ d’une conscience qui naît, ou qui renaît »,
mais dont la finalité est de « révéler ce que pourrait être le monde si nous le vivions à une
autre profondeur ». « Il convient [alors] peut-être de ne plus parler de connaissance par
l’émerveillement, mais d’inconnaissance, de la conviction qu’il y a là quelque chose, mais que
nous ne le saisissons pas. » 94
51
« On s’émerveille profondément et durablement en voyant que le quotidien
est merveilleux au-delà de sa dimension ennuyeuse et répétitive, que le réel
de tous les jours peut paraître chargé, à n’importe quel moment, d’un
surcroît de réalité. » 96
Ce qui rejoint notre exemple pris en rapport avec « l’angoisse de Descartes ». C’est
finalement, toujours un « lâcher-prise » sur les habitudes qui est demandé. Un plongeon
dans l’inconnu.
C’est ce que je propose avec l’exemple des illusions : d’étudier et de créer des portes
d’entrée vers l’« illimité ». D’accentuer ce « pressentiment d’autre chose, la conviction d’un
possible à réaliser, dans le moi et dans tout ce qu’il observe » 101. Avec les illusions, nous
pouvons nous écarter du côté angoissant. Nous avons noté le côté amusant que peut avoir
un livre d’illusions d’optique ainsi que l’atmosphère enivrante des tours de magie : dans ces
deux cas, il y a plutôt une notion de plaisir et de consentement face à ces expériences.
96 Ibid., p. 197.
97 Ibid., p. 186.
98 Ibid., p. 43.
99 Ibid.
100 Ibid., p. 282.
101 Ibid.
52
« Les plaisanteries qui me plaisaient le plus étaient celles qui étaient fondées sur des effets
sensoriels incongrus et surprenants » 102, expose Roger N. Shepard en parlant de sa
découverte pour la création d’illusion.
Un plaisir retrouvé également en peinture (nous reviendrons sur le côté artistique plus
tard dans ce manuscrit) :
C’est un plaisir proche de l’enfance et de cette curiosité bouillonnante qui nous anime au
début de nos découvertes du monde. Je propose non pas de revivre cet état, mais plutôt de
le prolonger dans notre échelle d’adulte. Et tel que le souligne M. Edwards dans son
émission radiophonique « Émerveillez-vous » 104 : « transformer l’émerveillement de l’enfant
en un émerveillement adulte au-delà de la raison et des sens », car « l’émerveillement c’est une
façon de s’ouvrir à ce mystère et à cette complexité, multiplicité ».
L’autre notion évoquée est celle du « consentement ». Comment faire accepter une
illusion ? Rendre l’expérience crédible ? Je reviendrai plus en détail sur ce point, lors des
explications autour de la magie et des créations. Mais, j’introduirai ici le terme de
« suspension consentie de l’incrédulité » (willing suspension of disbelief) qui exprime
l’accord implicite que nous pouvons avoir pour nous laisser emporter vers l’imaginaire, la
fiction, le « surnaturel » (pour reprendre les termes de M. Edwards). C’est un concept qui
fut introduit en 1817 par Coleridge à propos de la littérature et qui est encore bien
d’actualité pour de nombreux autres médias.
Par exemple, cela permet au lecteur de se laisser emporter dans un livre, même si les
univers sont fictionnels (pensons aux livres tels ceux de Philip K. Dick ou Borges qui nous
emportent dans des réalités différentes, mais plausibles).
102 R. N. Shepard, L’oeil qui pense. Visions, illusions, perceptions, op. cit., p. 32.
103 E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit., p. 236.
104 Michael Edwards, Emerveiller-vous ! ¼ : Qu’est-ce que l’émerveillement, émission radiophonique par Adèle Van Reeth et
Philippe Petit, France culture, 2012.
105 Cf. Samuel Taylor Coleridge, Biographie Literaria, 1772-1934, [e-Book en. en ligne 2004 : consulté le 06-02-2015,
http://www.gutenberg.org/files/6081/6081-h/6081-h.htm#link2H_4_0002 ]
53
Une problématique qui reviendra ainsi tout au long de cette thèse:
Nous sommes plus ou moins enclins à nous laisser porter par notre imagination. Dans le
dictionnaire Larousse, l’imagination est décrite comme une « faculté de l’esprit d’évoquer,
sous forme d’images mentales, des objets ou des faits connus par une perception, une
expérience antérieure » 106. C’est une « capacité d’élaborer des images et des conceptions
nouvelles ».
Gombrich nous rappelle le procédé d’évocation que met en place Charles Chaplin dans La
Ruée vers l’or, en créant toute une danse avec de simples fourchettes et des petits pains.
54
B.6. Exemple d’illusions
« Les sens sont liés entre eux. Malgré ces découvertes, nous continuons à
réfléchir comme s’il n’y avait que cinq sens, alors que nous savons qu’il ne
s’agit que d’une simplification commode. De nombreux éléments prouvent
que les modalités sensorielles sont intégrées et que très peu de perceptions
se limitent à une seule d’entre elles. Ainsi, le mécanisme de la vision fait
intervenir les muscles et le vestibule de l’oreille, à travers les mouvements
des yeux et les positions du corps ; pourtant, nous nous efforçons de réduire
le phénomène au seul système visuel. » 107
Cependant, il n’est pas question ici de pousser plus loin la réflexion sur un classement
éventuel. Je présenterai plutôt quelques illusions qui me semblent pertinentes, ou m’ont
particulièrement touchées et inspirées pour mes recherches et créations (Sous forme d’une
planche illustrative. Cf. Illustration 13. Exemples d'illusions d'optique). Ainsi qu’une manière
de les nommer (prise des livres 108, sites internet, discussions menées ici et là) que je trouve
intéressante. Certaines autres illusions seront bien évidemment exposées tout au long de
ce mémoire et renverront plus au lien avec « le virtuel ». C’est ici une introduction que je
propose de vous exposer afin de commencer à entrer dans la magie de l’expérience.
107 Nicholas Wade, Des illusions dans tous les sens, Pour la science Hors-séries, Les illusion des sens, éd. française de
scientific americain, Avril/Juin 2003, (p.2-3).
108 Par exemple : D. Picon, Illusion d’optique, Mango 2004 ; A. Seckel, La grande illusion d’optique, Fleurus, 2007.
55
Couleur/contraste/ géométrie
Illusion du mur du café (les droites sont parallèles) Ebbinghaus illusion (les deux cercles oranges sont de la
même taille)
Vacillation/mouvement
56
Dessin caché / Forme Multi-stable
Leandro Erlich, Bâtiments, 2004 Salvador Dali, Marché d'esclaves avec apparition du
buste invisible de Voltaire, 1940
Construction impossible
57
Perspective / Anamorphose
Alessandro Diddi, Double Illusion, 2013-2015 Georges Rousse, Ruesselsheim II, 2003
Effet de Relief
58
B.6.2. L’illusionnisme (la magie)
Nous pourrions placer la magie dans les types d’illusion ci-dessus, mais sa richesse en fait
un domaine à part que je vais exposer dans cette partie. Elle renvoie au merveilleux, à
l’étrange et semble dépasser l’impossible même dans le quotidien le plus banal. C’est
pourquoi plusieurs notions sont à préciser, car elles se relient à nos problématiques. La
découverte de la magie et de son fonctionnement est un terrain inépuisable d’inspiration
dans cette recherche.
L’illusionnisme serait même plus proche de nos intérêts, car ce terme « véhicule une vision
plus “psychologique” de la magie, où entrent en jeu la manipulation des sens et le jeu des
apparences. C’est un terme à la fois riche et ambigu de par sa parenté avec le terme “illusion”,
aux sens multiples ». 109
Dans son livre Illusionnisme et Magie, Stefan Alzaris philosophe et artiste magicien, nous
donne un aperçu assez complet de sa pratique. Il est étonnant alors de constater que de
nombreux ponts se rattachent aux notions déjà évoquées plus haut. Nous retrouvons le
concept :
— de renversement qui fut exposé pour l’illusion : d’un réveil d’une conscience
endormie et d’une ouverture au monde ;
59
face au mystère. Il ouvre ainsi une voie nouvelle pour se relier au monde et
à nous-mêmes. » 112
— et d’émerveillement, comme une porte vers un autre monde où tout est possible.
« La magie artistique n’a pas de “trucs” à dévoiler. Elle est une invitation à
l’émerveillement, une porte ouverte sur un monde qui recèle encore - et
pour longtemps, et pour toujours- des ruisseaux de mystères et
d’enchantements. Retrouver la capacité d’émerveillement et le sens du
mystère des choses, c’est reconnaître et laisser s’épanouir en nous la
spontanéité de l’enfant, la simplicité de sa relation au monde et
l’authenticité de ses sentiments. La magie nous met sur la voie de notre
légende personnelle. » 116
Ce retour à l’enfance est ici aussi évoqué. Comme pour la notion de l’émerveillement, l’idée
est de retrouver cette « naïveté » de l’enfant, mais dans notre condition d’adulte : « sur la
voie d’un réenchantement » 117. C’est un paradoxe. Dans le monde des enfants, « la magie va
de soi ! », car leur « système de logique n’est pas complètement borné et bordé. » 118
60
« Pour que la magie se manifeste- en tant que sensation de l’impossible-, il
faut évoluer dans un univers aux lois cartésiennes qui bornent le jeu des
possibles. Nouveau paradoxe ! Sans “raison des choses ”, la magie n’existe
pas ! » 119
Ainsi, étrange de penser alors, que sans nos préjugées sur notre monde, et nos objectivités
sur le monde, la magie n’aurait pas le même impact. Le magicien est-il donc un créateur de
l’impossible, dépassant les limites pour nous montrer le caractère mouvant de notre
réalité ? Gregory Madyson, magicien et professionnel dans le milieu de la réalité virtuelle,
parle même de réalité alternative dans laquelle il transporte le public. Mais comment créer
ce chemin vers cette réalité parallèle où d’autres possibles émergent ?
Pour créer un instant magique, une des recettes en deux points principaux, proposées par
Juan Tamariz 120 est :
61
Cette harmonie est fragile ! Le magicien est ainsi un « catalyseur » 124, qui construit dans le
temps cette alchimie entre imaginaire et réel. Voici quelques clés relevées pour cette
entreprise :
Le magicien est en constante écoute avec le public. Il doit « établir une relation de
confiance » 125 pour ensuite le guider en initiant « un contexte et un système de croyances
au sein duquel la perception du spectateur va s’insérer » 126.
Pour cela, le spectateur doit accepter de se laisser emporter. Nous revenons ici sur cette
Suspension consentie d’incrédulité : « On se laisse prendre au jeu parce qu’on le veut bien,
parce qu’on le décide. » 129 « L’important en magie n’est pas de croire rationnellement que les
effets sont réels, mais de vivre pleinement un moment magique » 130.
Ainsi, une relation se noue entre le spectateur qui se laisse emporter dans la magie et
l’illusionniste, aux commandes, qui maintient une harmonie particulière et entretient
l’atmosphère. Il est intéressant de noter que la notion de spect-acteur et d’interaction que
nous exposerons dans le contexte de l’art numérique est ici explicitement pointée :
62
d’une “zone commune”, d’un espace de partage où chacun met un peu de
lui-même ». « Jusqu’à chercher parfois à lui faire croire et à lui faire
découvrir qu’il est lui aussi magicien ! » 132
Créer un scénario
C’est étape par étape que l’artiste va nouer cette relation en travaillant la mise en scène et
la présentation :
Petit à petit, il va transporter le spectateur dans une progression dramatique qui consiste à
« faire monter le suspens en accentuant les attentes du public grâce aux rebondissements et
aux conditions de plus en plus improbables. » 135
63
Cette méthode qui consiste en douceur et lenteur à modifier le vécu du spectateur
s’apparente à ce qui est dénommé : « la parabole de la grenouille ébouillantée » p86. Peter
Senge dans La Cinquième Discipline 137, explique ce phénomène :
Cette structure générale qui garde la dynamique et plonge subrepticement le public dans
une réalité alternative, n’est qu’un moyen pour ensuite jouer entre les deux réalités : celle
où le spectateur se croit être, et celle où le magicien l’emmène. Stefan Alzaris, expose très
bien ce ressenti dans cette citation :
« Au début, le spectateur reste extérieur, il n’y croit pas, il n’a pas envie de
se laisser prendre au jeu qui s’installe, puis, progressivement, l’envie de
participer de manière plus active à l’histoire, à l’expérience en cours, de s’y
impliquer réellement, le gagne. Les barrières mentales s’abaissent, les
résistances fondent. La puissance magique de l’ambiance, du geste et du
137 P. Senge, La Cinquième Discipline. L’Art et la manière des organisations qui apprennent. Editions Générales First, 1992,
pp. 39–40.
138 S. Alzaris, Illusionnisme et magie, op. cit., p. 88.
64
verbe, accomplit son travail. Le désir plus ou moins conscient du spectateur
de passer de l’autre côté du miroir, de passer dans le monde imaginaire du
magicien, se concrétise. Le spectateur est maintenant dans l’autre
monde. Il peut vivre pleinement chaque moment du spectacle, le vivre
de tous ses sens et de l’intérieur. » 139
Le magicien est ainsi en équilibre entre ces deux mondes en oscillant de l’un à l’autre et en
emportant le public dans ces vagues ; en brouillant ainsi les frontières entre imaginaire et
réel :
« La magie est un jeu paradoxal pour l’artiste qui oscille sans cesse entre
des techniques qui doivent rester cachées et la présentation théâtrale qui
laisse se déployer un monde imaginaire. »
Il peut ainsi jouer en créant des ruptures entre ces deux mondes, et réaliser ce fameux
« effet magique » 141 :
« La magie par son caractère inattendu, joue précisément sur les attentes et les croyances du
public. » 143Et, finalement, comme me l’a expliqué Gregory Madyson, « la magie c’est plutôt
la rupture de la réalité alternative que le magicien a créé. » Ce moment où tout
bascule. Où ce qu’on pensait vrai est en fait remis en question. Cette bifurcation s’appelle la
dissonance cognitive. Et c’est en cela que l’effet magique prend naissance.
65
« C’est à travers cette rupture dans “l’ordre normal des chose” que peut se
créer cet espace d’étonnement et d’émotion qu’est l’effet magique » 144:
« L’effet magique est, en réalité, un effet cognitif qui se traduit par un écart
entre une attente et un résultat. Cet écart se produit entre l’effet attendu,
pressenti ou conjecturé par le public, et l’effet final qui vient en dissonance
de l’attente. » 145
146
Illustration 14. Schéma de fonctionnement de la dissonance cognitive, d’après le livre de Stefan Alzaris
— la théorie de l’engagement
66
— la permanence des objets
Jouer sur le fait que lorsque l’on voit un objet et que celui-ci est caché il existe
encore pour nous dans ces mêmes propriétés.
— l’utilisation du quotidien
Tel que des objets ou dans la relation proche du public (cf. le close-up) :
Le magicien puise dans sa Boîte à effets. Il nous apparaît ainsi, « comme un artisan de la
construction d’une perception d’une réalité magique. » 149 « 90 % de savoir, de savoir-faire
et de se savoir être, restent invisibles aux yeux du public. » 150
67
« Le magicien est à la fois auteur, metteur en scène et comédien. Il crée,
invente et adapte ; il assemble organise et met en scène ; il présente, joue et
interprète. » 153
Et cela remonte à bien longtemps ! « Le plus vieil objet truqué qui ait été retrouvé remonte
au 4e s. av. J.-C… C’est le “ Zauber Vase” » 154
Au 18e s., la magie va s’inspirer des sciences de la mécanique telles que l’horlogerie et les
automates, et de l’optique.
« l’Académie des sciences lui offre un siège aux côtés de Louis Pasteur et
Claude Bernard. Génial et infatigable inventeur, il aura déposé plus de
cent brevets dans des domaines aussi divers que l’ophtalmologie,
l’électricité, la mécanique de précision...Cet homme, tout au long de sa
vie, aura su marier, à l’instar d’un Léonard de Vinci, les disciplines les
plus diverses » 155
Chez les magiciens, le secret professionnel est très fort, comme une sorte de pacte pour
faire perdurer le mystère. Et cela marche bien ! Nous nous étonnons toujours d’un simple
tour de cartes. Cependant, l’innovation technologique apporte leur lot de nouveauté, et
permettent à ces artistes, toujours en soif de nouveautés d’inventer d’autres
« impossibles », proches ainsi, des attentes et des imaginaires d’une culture et de son
époque.
Nous avons pu aborder plusieurs exemples d’illusions, des plus anciennes et courantes, aux
plus travaillées et mises en scène dans le cadre d’un spectacle d’illusionnisme, afin
d’introduire et poser les bases de notre propos. J’aimerais maintenant exposer un autre
68
type d’illusion qui est celui lié aux nouvelles 156 technologies. Dans notre rapide historique
de la magie, nous avons vu que les magiciens sont proches de l’innovation afin de sans
cesse rechercher matière à émerveiller. Mais nous constatons également que l’évolution
des techniques au-delà de cette pratique apporte de nouveaux outils d’illusion.
Le cinéma en est par exemple la preuve : à la sortie de L’Arrivée d’un train en gare de La
Ciotat des Frères Lumière 157, les réactions furent très fortes, tant ce nouveau médium
perturbait et apportait une nouvelle manière de voir et d’entendre. Cependant, ce type
d’illusion est soumis à un phénomène d’adaptation : avec le temps, elle va moins nous
surprendre au niveau technique tout en nous transportant toujours, au fil des différentes
narrations et créations.
D’autres procédés apparaîtront alors afin de retrouver un « effet Waouh » 159. Citons les
procédés stéréoscopiques, le son spatialisé, les images haute-fréquence. Et c’est ainsi, dans
la recherche et la compréhension de l’utilisation de ces technologies, qui sortent des
laboratoires scientifiques, que s’ouvre tout un champ de découvertes auquel je me référerai
tout au long de ce mémoire : je vais me focaliser principalement sur différentes
technologies qui permettent de créer différentes illusions, par des dispositifs nouveaux tels
ceux commercialisés chaque année dans des domaines variés, tels que la réalité virtuelle et
mixte. Et sur des technologies plus anciennes, qui apportent également dans d’autres
contextes une source inépuisable de recherche.
Autre point, qui découle de cette étude des nouvelles technologies, concerne le numérique
comme outil d’illusion. Et de ce fait, l’étude du virtuel que nous définirons dans la
prochaine partie.
156
Le mot « nouvelle » sera employé dans ce texte pour désigner les technologies de l’innovation, plus particulièrement
les « dernières » technologies crées : « à chaque époque sa “dernière” technologie » p.6. F. Beau ; P. Dubois, G. Leblanc,
Cinema et dernières technologies, Arts & Cinéma, 1998.
157 Frères Lumière, L’Arrivée d’un train en gare de La Ciotat, film, 1895.
158 E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit., p. 53.
159
Mot souvent employé en marketing désignant « le fait qu’un produit ou service puisse déclencher chez les
consommateurs un effet de surprise, d’admiration ou d’appréciation pouvant notamment se traduire par l’expression “wow !”
ou “whaou !”. [En ligne, consulté le 15-09-2014, URL : http://www.definitions-marketing.com/Definition-Effet-wow ].
69
Plusieurs questions seront abordées aussi en lien avec la création : comment la magie avec
ce numérique impalpable est-elle imaginable ? Comment l’innovation numérique apporte-
t-elle de nouveaux procédés d’illusion pour les artistes ?
70
B.7. Un modèle pour la création : des paliers d’illusion ?
Nous parlions de réalité alternative lorsque nous évoquions la magie. Mais de quelle nature
est cette « réalité ».
« L’illusion magique est une illusion du second ordre. C’est une illusion
au niveau de la représentation de la réalité et non de la réalité elle-même.
Ce n’est pas la réalité qui est une illusion, c’est la réalité du phénomène
perçu qui est une illusion. Dans cette perspective, l’effet magique est
littéralement un effet, un effet de perception et de représentation. Le
rideau qui sépare la magie de l’illusion, de l’illusion de la magie
s’amincit... » 160
Notons, qu’il convient de faire attention ici sur cette notion de réalité. En effet, parler de
réalité alternative veut-il dire qu’il y a plusieurs réalités ? De notre définition du réel
« mouvant et émergeant d’un couplage structurel entre l’humain et son environnement », il
n’y a pas « plusieurs réels », car toutes perceptions et actions entre l’homme et
l’environnement sont au même niveau. Donc de ce point de vue du vécu il y a en effet
qu’une réalité. Cependant, et pour faire écho à la citation ci-dessus, si l’on se place du point
de vue de la représentation, de la construction d’autres perceptions/actions, nous
pouvons observer plusieurs mondes parallèles : citons le monde de la magie, le monde du
rêve, le monde des illusions, le monde de l’imagination, le monde virtuel, etc.
Et comme examinés avec la magie, nous oscillons d’un monde à l’autre. Olivier Nannipieri,
expose dans sa thèse cette présence mixte et non ubiquitaire : on ne peut pas être à deux
endroits en même temps, mais on oscille entre ces mondes.
71
si j’étais, de mon point de vue, à la fois pleinement présent (dans le
souvenir du dernier livre lu) et pleinement présent à ce dîner. »
« J’étais “absent” (c.-à-d. présent dans le dernier livre que j’ai lu). Je ne le
suis plus (je suis présent à ce dîner). Il n’y a pas de simultanéité possible : je
passe d’une présence dans un lieu à la présence dans un autre lieu,
jamais ces deux présences ne sont superposées si on considère qu’être
présent c’est être totalement et pleinement présent. En revanche, je peux
alterner la première présence et la seconde, cela n’a rien d’impossible et
rien de paradoxal, puisque ces deux états ne sont pas simultanés puisqu’ils
se succèdent. » 161
Nous reviendrons plus en détail sur ces aspects lors de l’étude de la présence dans les
mondes virtuels.
J’amorce cependant ici la réflexion, car il semble déjà se former avec l’étude des illusions et
de la magie, une distinction entre des mondes différents. Le magicien étant « comme le
funambule en équilibre sur son fil, entre deux mondes. » 162
De plus, nous parlions de portes vers un monde merveilleux, vers des prises de conscience,
vers d’autres possibles, tels des miroirs d’Alice ou d’Orphée. La pratique de la magie expose
en cela, un exemple assez précis de progression dramatique pour amener la personne avec
son consentement, à franchir petit à petit les accès vers ce monde magique. Une notion de
profondeur apparaît. Le spect-acteur semble plonger lentement jusqu’à ce que « Les
barrières mentales s’abaissent, les résistances fondent. » Rappelons-nous cette citation :
161 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle. Thèse,
Université de Toulon, dir. Philippe Dumas, 2013, p. 73.
162 S. Alzaris, Illusionnisme et magie, op. cit., p. 73.
163 Ibid.
72
Pareillement à la théorie de l’engagement déjà évoqué pour la pratique du magicien,
pouvons-nous créer des paliers vers l’imaginaire, tels des paliers de plongée ? Et
finalement en proposant d’ouvrir une porte vers le monde de l’illusion, rendre accessible
d’autres portes, que la personne sera amenée à pousser pour entrer de plus en plus dans
l’expérience ?
En comparaison avec les schémas de paliers en plongée, je propose tout au long de cette
thèse d’identifier des paliers propres aux IRV, et ainsi suggérer un schéma chronologique
d’une expérience en fonction des paliers atteints. Une analogie pourrait être également
réalisée avec les schémas narratifs de films ou les schémas de cycles du sommeil.
164
Illustration 15. Schémas de plongée en mer
165
Illustration 16. Schémas narratif de film
164 Cf. site de cours de plongée en mer : [En ligne, onsulté le 26-08-2015, URL : http://www.osml-plongee.fr/tables.html
et http://denis.ader.free.fr/alice/ni/courni.htm].
165 [En ligne, consulté le 26-08-2015, URL : https://xkcd.com/657/large/ ].
73
Proposition d’un schéma de plongée pour un scénario de spectacle de magie
Imaginons la scène suivante : lors d’une soirée improvisée, un magicien propose de faire un
tour à une personne. Il s’approche d’elle, met sa main sur son épaule, lui montre un objet
sorti de sa poche, lui serre le poignet, lui montre autre chose, et ainsi de suite : durant un
petit moment, il lui explique ce que peut être un tour de magie par tous ses gestes et
explications. Puis soudain, le magicien s’arrête de parler, fouille dans sa poche, et sort son
téléphone. Il s’excuse, il ne peut pas faire le tour, c’est un appel qu’il doit prendre. Il
s’éloigne. Puis revient après une hésitation (toujours le téléphone à l’oreille) et s’adresse à
la personne « vous avez l’heure s’il vous plaît ? » En faisant signe que c’est important pour
son coup de fil. La personne regarde son poignet : plus de montre ! Le magicien s’excuse
alors « Oh désolé, je n’avais pas vu que j’avais une montre ! ». Il regarde son poignet où est
attachée la montre de la personne, provoquant la surprise et l’émerveillement de celle-ci,
qui finalement se rend compte que tout ce scénario faisait partie du tour.
Nous pouvons repérer ici deux « réalités » vécues : celle du spectateur (sa réalité
habituelle) et celle du monde de la magie (où le magicien emporte le spectateur). Le
spectateur est dans sa réalité en attente d’un tour potentiel du magicien. Pour lui, il a
toujours sa montre sur lui. Tandis que le magicien a déjà commencé son tour, et emporte
petit à petit le spectateur dans son monde alternatif, dans lequel il lui donne l’illusion que
sa montre est sur son poignet, alors qu’elle n’est plus là. Jusqu’au dénouement (l’effet
magique ou dissonance cognitive) où le spectateur se rend compte, par la vue de sa montre
sur le magicien, que le tour avait déjà commencé : que sa montre s’est « magiquement »
retrouvée sur le poignet du magicien.
Illustration 17. Schéma de fonctionnement de la dissonance cognitive, proposée sur le scénario du tour de la
montre volée
74
Le spectateur perçoit donc dans le temps de l’expérience deux réalités : il est présent dans
sa réalité habituelle où rien n’a changé. Puis, l’effet magique lui fait prendre conscience
qu’il est en fait dans le tour du magicien. Il est présent dans cette réalité, dans laquelle il est
possible de faire disparaître une montre et de la faire réapparaître dans un autre endroit :
dans une réalité non habituelle, d’illusion.
Voici le schéma de plongée estimé pour cette expérience (en abscisse le temps t, et en
ordonnée la profondeur dans les illusions PI) :
75
Il comporte trois phases :
— Une phase « descendante » (td 0-1) progressive puis plus abrupte à la fin :
corresponds aux illusions employées par le magicien pour emporter petit à petit le
spectateur dans son monde de magie, et à la fin le moment plus abrupt, où le
magicien expose la montre à la vue du spectateur. Cette descente correspond
finalement au schéma de dissonance cognitive (cf. Illustration 17) : on visualise la
logique invisible progressive (par une courbe de descente douce) que met en œuvre
le magicien pour emporter le spectateur à son insu, et à la fin une descente plus
abrupte, lorsque le magicien a exposé la montre.
— Une phase « plate » (P1) dans le palier P1 : le spectateur en voyant la montre a
compris qu’il était dans la réalité du magicien.
— Une phase « montante » (tm1-0) lorsque le tour est fini et que le spectateur
retourne à d’autres occupations dans la soirée, dans sa réalité habituelle.
76
C. UN VIRTUEL ACTUEL, QUI S’HYBRIDE AVEC LE REEL
Suite aux éclaircissements sur les termes « réel » et « illusion », nous continuons avec la
notion de « virtuel » qui sera largement cité dans ce mémoire. Sa définition, non sans moins
d’ambiguïté que les deux précédentes, présente de nombreuses utilisations et sens. Nous
verrons donc dans cette partie quel « virtuel » m’inspire et permet de s’intégrer dans mon
espace de création.
Nous opposons souvent le virtuel au réel dans notre quotidien. Cet objet a une existence :
c’est du réel. Cet objet, n’a pas d’existence : c’est du virtuel.
Dans le Larousse :
Le virtuel exprimé dans ces deux dictionnaires est opposé à l’actuel. Il n’existe qu’en
puissance et possède le pouvoir de se réaliser. Le Larousse place sur le même plan le
possible et le potentiel, tandis que le CNRTL, ne cite que le potentiel auquel il est synonyme.
Ces définitions utilisent l’étymologie scolastique : virtualis (ce qui existe en puissance et
non en acte). Par exemple une statue de marbre est virtuellement présente dans le bloc.
Elle ne s’actualisera que lorsque le sculpteur aura fini son ouvrage.
77
Gilles Deleuze et Pierre Levy vont également faire la distinction entre le virtuel et l’actuel et
placer ainsi le virtuel et le réel sur le même plan :
— G. Deleuze, précise dans Différence et Répétition que le virtuel n’est alors pas
opposé au réel, mais à l’actuel : « Le virtuel possède une pleine réalité, en tant que
virtuel. » 168. Il ajoute plus loin que c’est le possible qui est opposé au réel. ;
Il apparaît cependant des distinctions plus fines entre tous ces positionnements. Suzanne
Beer dans sa thèse explore de manière approfondie ce sens de virtuel, du point de vue
notamment philosophique. Elle identifie certains couples de concepts de manière détaillée.
En voici un aperçu suffisant pour notre recherche, afin de dénoter la complexité de ces
notions. 170
— Virtuel /Réel : « Le virtuel fait part du réel puisqu’il permet sa genèse. » 171
— Virtuel /Actuel : « Le virtuel s’opposerait plutôt à l’actuel, puisque l’actuel est
l’actualisation du virtuel. » 172
— Virtuel /Possible : Selon Levy, le possible et le réel s’opposent. Le possible est
déterminé, mais sans existence, contrairement au réel. Tandis que le virtuel, plus
riche que le possible, offre une émergence et une création non déterminée en
attente d’actualisation.
78
Le possible est déjà tout constitué, mais il se tient dans les limbes. Le
possible se réalisera sans que rien ne change dans sa détermination ou
dans sa nature. C’est un réel fantomatique, latent. Le possible est
exactement comme le réel : il ne lui manque que l’existence. La réalisation
d’un possible n’est pas une création, au sens plein de ce terme, car la
création implique aussi la production innovante d’une idée ou d’une forme.
La différence entre possible et réel est donc purement logique.
Mais étaient-ce ces définitions que nous voulions développer ; s’accordent-elles avec
notre pratique ?
Mettre sur un même plan d’existence le réel et le virtuel me convient parfaitement, car je
travaille entre ces deux espaces, dans leur rencontre. Cependant, c’est principalement
l’effet du virtuel en tant que phénomène qui m’intéresse et sa conception liée à la
technologie : son effet, que j’observe autour de moi dans notre société ainsi que les
transformations qu’il implique. Suzanne Beer, distingue d’ailleurs, le virtuel
« philosophique » dont nous avons exposé un aperçu, et le virtuel « technologique » qui
nous intéresse plus.
Je rejoindrais donc plus la thèse de Denis Berthier, reprise par Olivier Nannipieri dans son
mémoire, lié à une approche plus « centrée sur le phénomène en tant que rencontre entre un
dispositif technique [...] et un sujet percevant. » 175
173 P. Lévy, Qu’est ce que le virtuel ?, op. cit. [En ligne, consulté le 06-02-2015. URL: http://hypermedia.univ-
paris8.fr/pierre/virtuel/virt0.htm ].
174 S. Beer, Du virtuel philosophique au virtuel technologique, op. cit., p. 27.
79
Olivier Nannipieri résume très bien ce parti-pris :
« La raison en est simple : alors que ces auteurs [vu dans la première
définition,] cherchent à mettre en exergue une ontologie en accordant aux
concepts un rôle prédominant, l’approche de Denis Berthier est centrée sur
le phénomène en tant que rencontre entre un dispositif technique – même
simple, comme un miroir – et un sujet percevant. Si Pierre Lévy pose la
question “qu’est-ce que le virtuel ?”, Denis Berthier pose la question
“qu’est-ce qui est virtuel ?”. Dans le premier cas, il s’agit de définir le
virtuel, dans le second, de définir l’entité virtuelle. Qu’est-ce qui
caractérise alors une entité virtuelle ? » 176
En effet, dans son livre, Méditations sur le réel et le virtuel, Denis Berthier, prend l’exemple
des images virtuelles dans le miroir. Notre regard converge de l’autre côté du miroir. Elles
ont une pleine présence, et ainsi, sur le plan optique, peuvent être indiscernables avec le
réel. Elles sont donc pleinement actuelles.
Nous pouvons admettre ici, que ce virtuel, « n’est pas “plus qu’un simple potentiel”, mais qu’il
est au contraire pleinement de l’ordre de l’actuel. » 177, contredisant ainsi l’opposition
précédemment évoquée entre virtuel et actuel.
Olivier Nannipieri, expose très clairement les limites relevées par Denis Berthier face aux
affirmations de Pierre Levy :
« La première limite […], insiste sur le fait que, le virtuel ne tend pas à
s’actualiser : il est, déjà, actuel, c’est-à-dire en acte. La simulation du vol est
en acte et non en puissance.
175 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 132.
176 Ibid.
177 D. Berthier, Médiations sur le réel et le virtuel. L’Harmattan, 2004, p. 71.
80
La troisième limite consiste à montrer que la potentialité seule n’est pas
en mesure de garantir le processus d’actualisation En effet, le feu n’est pas
virtuellement présent dans l’allumette puisque l’allumette seule ne suffit
pas à allumer le feu. il serait possible d’affirmer également que le feu est
tout aussi virtuellement contenu dans l’allumette qu’il est contenu
virtuellement dans la main qui va la saisir (ou pas) ou dans l’oxygène qui
l’entoure.
C’est dans ce courant plus technologique que nous situerons notre recherche. Sans pour
autant délégitimer, entre autre les définitions plus philosophiques d’Aristote, Deleuze et
Lévy qui prennent leur sens dans d’autres cas d’étude (par exemple, qui alimentent l’étude
de S. Beer sur les musées virtuels), mais qui ne nous satisfont pas pour le sujet traité ici.
Denis Berthier va, dans un premier temps, distinguer de manière claire le virtuel et le
potentiel.
— Virtuel / Potentiel : sont différents, car le potentiel est ce qui pourrait être
actualisé, mais ne l’est pas encore, et ne se fera pas forcément. Berthier précise
cette idée en donnant l’exemple de l’eau retenue par un barrage qui peut
potentiellement inonder la vallée, si le barrage présente des imperfections.
« Mais dire de la vallée qu’elle est virtuellement inondable par cette eau
signifierait autre chose : à savoir que le barrage serait condamné, de
manière quasi inéluctable, à se rompre incessamment (ce qui n’est pas le
destin normal d’un barrage) et que l’on se situe d’emblée dans une
anticipation catastrophique de cette situation. » 179
178 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
pp. 129–130.
179 D. Berthier, Médiations sur le réel et le virtuel, op. cit., p. 69.
81
Dans un deuxième temps, Denis Berthier, va utiliser un autre angle d’approche plus littéral
en associant le mot virtuel à « ayant les vertus de ». Ainsi il va étudier l’étymologie
« virtus » du mot vertus plutôt que « virtualis » (de virtuel) qui produisait l’analogie avec le
potentiel. Virtus, est lui-même formé à partir de « vir » qui désigne l’homme, le héros, la
personne douée de qualités particulières 180, et de « tus » qui renvoie à la qualité. Ainsi virtus
signifie : la qualité d’être particulier. Nous retrouvons dans le dictionnaire latin 181 :
capacité, prouesse, vaillance, vertu, associant cette idée de force d’être. Dans cette analogie,
« virtuel », peut-être alors plus considéré comme « ayant les vertus de ». Par exemple, une
image virtuelle dans un miroir a les vertus visuelles d’une image réelle ; elle s’impose à la
vision avec la même force. De ce fait, Berthier précise :
« Est virtuel ce qui, sans être réel, a avec force les qualités de. » 182
Il rajoute : et « ce qui, sans être réel, est opératoirement équivalent au réel ». 183
En effet, une pomme qui tombe dans le réel par la force gravitationnelle, va également
tomber de la même manière dans l’image virtuelle du miroir. Une entreprise virtuelle va
avoir toutes les propriétés opératoires d’une entreprise réelle.
Ce qui nous amène à la notion de vicariance, chère à Alain Berthoz 184, qui veut dire : « se
substitue à ». Ici en effet, le virtuel semble se substituer au réel, avec la qualité, la force et
les propriétés opératoires de ce dernier.
La définition de D. Berthier complète qui sera notre référence, est ainsi la suivante :
82
distinguer le virtuel du réel par des principes généraux, qui seraient
intrinsèquement liés à cette modalité sensorielle. » 186
De plus, cette notion d’indiscernabilité est au cœur de cette recherche et sera développée
plus loin.
Précisons que cela ne veut pas dire que virtuel et réel s’oppose, mais plutôt s’hybrident.
Visualisons plutôt un continuum entre le réel d’un côté et le virtuel de l’autre, laissant de
nombreuses possibilités d’hybridation avec plus ou moins de virtuel ou de réel. C’est cette
frontière que nous identifierons dans notre espace de création : une frontière aux
nombreuses possibilités d’hybridation et donc d’effets.
Ce virtuel, peut donc être une copie du réel, (une représentation). Mais il peut également
représenter des mondes complètement imaginaires, sans cependant perdre son ancrage
dans le réel.
Par exemple, « aussi intangible que puisse être la matérialité de la lumière, elle est un champ
et une énergie, et sa source est de toute manière un objet physique. » 190
83
Nous pourrions donc employer le terme d’intangible ou d’impalpable, bien que là encore
cela dépendra du cas expérimenté. Un reflet est en effet insaisissable : il peut sembler
flotter dans les airs. Mais les interfaces haptiques et tous procédés que nous préciserons
liés à la réalité virtuelle et mixte, peuvent permettre, en un certain sens, de redonner un
« palpable » à ce virtuel. Cette problématique sera amplement ré-évoquée dans ce
mémoire, car elle permet de brouiller d’avantage par d’autres modalités sensorielles la
limite entre le réel et le virtuel.
Autre point qu’il convient de soulever dans cette partie est l’indépendance du virtuel et
de l’imaginaire. Le virtuel n’est pas forcément imaginaire et réciproquement.
« Le virtuel (au sens propre que nous lui attribuerons) doit désormais être
considéré comme une catégorie épistémologique majeure, irréductible à
celles de l’imaginaire ou du potentiel. » 191
84
Serge Tisseron), liées à l’étude de l’effet que produit le virtuel comme de nouveaux moyens,
et même besoins, de représentation. Il part d’une opinion non technophobe, en
reconnaissant le virtuel comme partie intégrante de nos vies. Celui-ci est à comprendre,
expérimenter, exploiter dans toute sa dimension et relation avec le réel. Par exemple, page
205 de son livre, Berthier qui cite Tisseron, expose le fait que le virtuel prolonge notre
découverte du « moi » : une sorte de stade du miroir prolongé par ces clones virtuels. Je ne
me lancerai pas dans ces études qui demanderaient beaucoup plus d’analyse autour de la
psychanalyse, et de l’évolution de l’enfant et de l’adulte (cf. Freud, Lacan, Piaget, et etc.) ;
mais je pointe juste les références ici afin de montrer une bribe d’idée des changements qui
s’opèrent dans l’évolution de notre société.
Philippe Quéau, par ses nombreuses interventions, présente également l’idée, que la
montée du virtuel, est un sujet à prendre en compte dans toutes les sphères de nos actions
et recherches, car il est complètement entremêlé dans notre environnement.
Nous avons introduit la capacité du virtuel à se confondre avec le réel, amenant ainsi
plusieurs questionnements quant à notre environnement et sa perception.
Nous retrouvons ainsi notre notion d’illusion et son pouvoir de renversement des
habitudes : ce virtuel peut ressembler au réel ou le dépasser, le contourner, le diminuer, et
etc. permettant d’être un fabuleux outil pour la construction de ces illusions qui interrogent
notre réalité. Ceci sera longuement exposé par la suite.
Je voudrais ici noter également le caractère fascinant et même magique que peut avoir le
virtuel, présentant alors un véritable moteur pour la création et l’imagination.
Même si l’habitude rend quotidienne et normale l’utilisation d’une vitre ou d’un miroir,
l’espace du reflet, du double restera toujours un lieu inspirant, et « magique ».
85
Ainsi, le virtuel, par toutes ses variantes (reflets, hologrammes, mondes virtuels
numériques, etc.), permet de créer de « nouveaux espaces » intrigants, se détachant de
notre réalité quotidienne.
Nous verrons dans la Partie II, que ce sont plus majoritairement le virtuel de la réalité
virtuelle (monde virtuel 3D), et le virtuel optique (par exemple les reflets), qui
m’intéressent d’explorer pour mes créations.
86
D. CONCLUSION : LES IRV, MON ESPACE DE RECHERCHE-CREATION
Nous venons d’éclaircir les trois principaux concepts fondamentaux pour cette thèse : le
réel, l’illusion et le virtuel. Toutefois, ils ne sont pas à considérer indépendamment. Ils sont
chacun imbriqués et s’hybrident, offrant des espaces de frontières passionnants à explorer.
Nous proposons dans cette partie d’en présenter certaines caractéristiques afin de mieux
comprendre ce que nous entendons par illusion entre le réel et le virtuel.
« Entre » représente « l’intérieur d’un espace délimité par deux éléments. » 194 Nous
l’assimilons au concept de frontière, cependant il ne s’agit pas d’une séparation
indépendante des deux éléments différents constituants, mais plutôt de l’espace qui se crée
à la convergence de ces éléments : un espace d’intersection.
Nous considérons donc des frontières « ténues aux contours flous, presque impalpables et
pratiquement sans ruptures, qui provoquent un jeu de croisement et de “brouillage” de la
définition de l’objet étudié ». « De ces frontières émergent des espaces de création qui
peuvent s’apparenter à des espaces complexes (au sens où l’entendait Edgard Morin). »
« [Ces] espaces permettent de mettre en cohésion des médias de chaque nature tout en
gardant leurs spécificités, générant ainsi de nouvelles formes artistiques dans un art
hybride. » 195
Réel Virtuel
87
Nous avons déjà pointé précédemment, l’idée de l’indiscernabilité du réel et du virtuel. En
effet, ce virtuel étant imbriqué au même niveau dans notre réalité. Il peut ainsi s’y hybrider.
Denis Berthier, expose dans son livre cette « impossibilité de distinguer le virtuel du réel par
des principes généraux » 196, « que ce soit dans l’ordre de la perception et de l’action ou dans
l’ordre des signes, des savoirs et de la raison. » 197
Cependant, même s’il peut sembler que certains verrouillages dans les mondes virtuels
sont possibles, ceci ne remet pas en doute l’intégrité du « sentiment de réel ».
« Quelle que soit l'évolution des techniques, ils y aura toujours des
différences sensori-motrices entre le monde réel et le monde virtuel, […]. Le
virtuel est toujours détectable au niveau sensori-moteur, donc aussi
automatiquement au niveau mental. » 199
Cette frontière présente donc de nombreuses possibilités pour la création, aussi bien dans
l’inspiration théorique de ce que peut provoquer cette indiscernabilité, que dans la
pratique, par la réalisation d’expériences réelles/virtuelles.
88
Par exemple dans son livre, Berthier décrit cinq films de science-fiction, qui explorent dans
la narration cette ambivalence.
Ils abordent principalement, le thème de la relation entre ces mondes virtuels et notre
réalité ordinaire, ainsi que les effets, et évolution imaginés :
Mamuto Oshii, sur le livret du DVD, exprime très bien l’intérêt qu’il a trouvé dans cette
problématique, lors la réalisation d’Avalon :
Notons également une citation de Morpheus, le personnage dans Matrix qui présente le
doute du sentiment de réalité qui apparaît dans la matrice.
Néo : De la Matrice ? »
Sans remettre pour autant en question cette indiscernabilité du monde réel et artificiel :
Morpheus « N’as-tu jamais fait ces rêves, Néo, qui ont l’air plus vrais que la
réalité ? Si tu étais incapable de sortir d’un de ces rêves, comment ferais-tu
la différence entre le monde du rêve et le monde réel ? » 202
89
Et ainsi, « Si les situations décrites par le cinéma sont imaginaires, certaines des
interrogations qu’elles soulèvent sont en effet bien réelles. » 203
Réel Illusion
De même que pour le virtuel, ce monde des illusions fait partie intégrante de notre réalité.
Un continuum peut donc dans ce cas également être identifié entre le réel, et les illusions,
créant ainsi pareillement des jeux d’indiscernabilité.
Pour une autre illustration, rappelons-nous le scénario employé par les magiciens, qui
brouille notre temps et espace afin de mieux nous surprendre et réaliser cette sensation de
dissonance cognitive.
Les illusions, étant de l’ordre de nos perceptions, elles offrent de multiples conjectures plus
ou moins surprenantes par rapport à nos habitudes sensori-motrices.
Virtuel Illusion
Cette dernière frontière de notre espace des IRV interroge le lien entre le virtuel et
l’illusion. Le réel et le virtuel peuvent s’hybrider. Le réel et l’illusion également. De ce fait la
90
rencontre du virtuel et du monde de l’illusion est possible. C’est cette frontière qu’il
m’intéresse d’explorer particulièrement pour mes recherches-créations. Pouvons-nous
trouver des illusions propres au virtuel ? Des illusions qui prendraient comme source les
caractéristiques intrinsèques du virtuel ?
L’illusion de présence dans un monde virtuel est déjà une base importante dans ce sens.
Elle permet de placer le spectateur dans une représentation d’une autre réalité possible,
par le virtuel. Nous l’exposerons plus en détail lors de la partie B, sur la réalité virtuelle.
Mais pouvons-nous aller plus loin, et chercher tel un magicien, différents tours possibles
grâce au médium du virtuel qui peut copier la réalité mais également complètement la
modifier ?
« De l’exemple de l’évolution du téléphone portable, qui en moins de 30 ans est devenu une
véritable plateforme de communication, à la domotique, domaine qui étudie le moyen de
rendre notre maison “intelligente” en y intégrant divers appareils électroniques, nous
avons ici déjà les symptômes d’un mode de vie de plus en plus lié au numérique.
205 Le mot “nouvelle” sera employé dans ce texte pour désigner les technologies de l’innovation, plus particulièrement les
“dernières” technologies crées : “à chaque époque sa ‘dernière’ technologie” p.6. F. Beau ; P. Dubois, G. Leblanc, Cinema et
dernières technologies, Arts & Cinéma, 1998.
206 “La diffusion des supports et des outils numériques au sein des activités humaines, tant récréatives que professionnelles,
tant culturelles que sociales, au niveau individuel et collectif, transforme les sociétés qui les emploient selon une relation
réflexive.” Imad Saleh et Hakim Hachour, Le numérique comme catalyseur épistémologique, Revue française des sciences de
l’information et de la communication, [En ligne : consulté le 11-01-2014. URL : http://rfsic.revues.org/168]
207 J. Guez, “Illusions entre réel et virtuel.” Dans : Images numériques, leurs effets sur le cinéma, dir.Caroline Renard.
Publication Universite Provence, 2014.(pp.115-125)
91
applications qui changent notre façon de vivre 208. Et surtout, à travers eux, le numérique
devient de plus en plus accessible tout en étant au cœur des recherches actuelles. Prenons
l’exemple de la Microsoft Kinect de Microsoft : développée pour les jeux vidéo et
commercialisée en 2010, cette interface permet de reconnaître les gestes de l’utilisateur à
distance. Considérée comme un véritable bijou de technologie et abordable, nous la
retrouvons également dans beaucoup de laboratoires scientifiques. »
208Marshall McLuhan, Pour comprendre les médias. Les prolongements technologiques de l’homme, Paris, Seuil, 1968. Titre
original Understanding Media, New York, McGraw-Hill, 1964.
92
D.2. Conclusion : Mon espace de recherche-création
— d’une part, cet intérêt pour la relation du spectateur avec l’œuvre : comment
trouver des manières de créer, garder et guider cette relation ? De premières
expérimentations m’ont permis de creuser ces idées : immerger le spectateur dans
l’œuvre, induire l’action du spectateur, ou encore le faire prendre part à la création.
La découverte du médium numérique et de l’interaction temps réel m’ont permis de
commencer à créer des narrations interactives, explorant le lien sensible entre le
spectateur et l’œuvre ;
— d’autre part, cette envie de lier les éléments afin d’en trouver de nouveaux, à la
convergence de leur rencontre. Ainsi, je gravite entre l’art, les sciences, les
technologies, la psychologie, etc.
Cette double curiosité m’a amené à explorer les espaces du virtuel et de l’illusion et leurs
liens avec notre réel. Ces trois concepts sont éclairés dans cette première partie :
— quand j’emploie le mot « réel », je considère « un réel humain » non prédonné, qui
se construit constamment par notre physiologie et notre rapport avec notre
environnement : c’est par une dynamique de perception/action constante avec le
milieu dans lequel nous vivons, qu’il émerge ; impliquant notre vécu, notre culture,
notre histoire et notre rapport à l’autre.
Sur cette base, nous nous formons plusieurs couches de réalités superposées
différentes, plus ou moins stables et déterminées : partant de ce que l’on pourrait
considérer d’universel, de par notre nature humaine, et allant jusqu’au niveau plus
personnel et subjectif de notre manière unique d’appréhender le monde.
Cette manière de conceptualiser le réel, m’amène à comprendre ainsi, la difficulté
que nous avons de reprendre conscience de sa source la plus profonde, mouvante et
émergente. Nos catégorisations s’enracinent dans notre vécu par l’habitude et se
confondent trop souvent entre elles, s’imprégnant d’une stabilité rassurante.
93
— L’effet de l’illusion m’est apparu comme un moyen très attrayant, afin de créer
des portes d’entrée vers un renversement de nos préjugées. Semblant se jouer
de nos perceptions, les illusions s’en distinguent par leurs ambiguïtés face à nos
habitudes sensorielles et motrices. Elles sont finalement de véritables vecteurs
de connaissances, vers cette source de réel mouvant. De plus, face à l’angoisse
qui peut être ressentie devant un changement imprévu de nos routines, elles en
contournent l’aspect, par l’émerveillement et le plaisir qu’elles suscitent : c’est
dans un consentement personnel que nous aimons entrer dans le monde des
illusions et de la magie, et ainsi nous laisser emporter vers d’autres possibles.
Ces trois notions ne sont pas à considérer séparément. Elles s’imbriquent et créent entre
elles des espaces de frontières :
C’est dans les rencontres de ces trois frontières qu’apparaît mon espace de recherche et de
création artistique :
209 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 132.
94
Illustration 22. Mon espace de recherche-création qui hybride le réel, le virtuel et l'illusion
Il est important de repréciser ici, que cet espace, ainsi que ses parties constituantes, ont
toujours été appréhendés d’un point de vue artistique : comme fondement de mes
recherches et créations. C’est dans ses convergences que j’ai trouvé une dynamique
toujours plus grande d’inspiration et de réalisation dont nous en apercevrons l’importance
dans ce mémoire. Les définitions soulevées ne prétendent nullement à une vérité absolue,
mais contribuent à impulser et à cadrer mes intuitions créatives et effervescentes !
95
96
Chapitre 2. LA REALITE VIRTUELLE ET MIXTE : UN
SUPPORT POUR LA CREATION DES IRV
97
Mon espace de création étant défini, il convient de l’illustrer. La réalité virtuelle et mixte est
un domaine riche. Il prend en compte de nombreuses caractéristiques liées à cet espace.
Ainsi, dans cette partie, les exemples s’attachant à cette spécialité seront souvent
considérés dans un cadre technique : lié à des dispositifs, ou bases qui ensuite pourront
être considérés comme de véritables médiums pour la création artistique, dont nous en
aurons un aperçu par la suite.
210 En lien avec les définitions qui m’inspirent pour la création autour des illusions entre le réel et le virtuel (cf. Partie
I.Chapitre 1).
98
A. LA REALITE VIRTUELLE ET MIXTE
A.1.1.1. Historique
Un des premiers prototypes, notés comme une des origines de ce domaine, est le
Sensorama, conçu en 1956 par Morton Heilig. Cinéaste et inventeur, il voulait « faire
211 Pour la promotion de son entreprise spécialisée dans les périphériques d’immersion VPL, lors du salon professionnel
TEXPO’89 à San Francisco.
212 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit.
P. Fuchs, G. Moreau, J.-M. Burkhardt, S. Coquillart, Le traité de la réalité virtuelle Volume 2 - L’interfaçage, l'immersion et
l'interaction en environnement virtuel. Presses de l’Ecole des Mines, 2006.
P. Fuchs, G. Moreau, T. Jacques, Le traité de la réalité virtuelle Volume 3 - Outils et modèles informatiques des environnement
virtuels. Presses de l’Ecole des Mines, 2006.
P. Fuchs, M. Guillaume, B. Arnaldi, P. Guitton, Le traité de la réalité virtuelle Volume 4 - Les applications de la réalité
virtuelle. Presses de l’Ecole des Mines, 2006.
P. Fuchs, M. Guillaume, S. Donikian, Le traité de la réalité virtuelle Volume 5 - Les humains virtuels. Presses de l’Ecole des
Mines, 2009.
213 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 5.
214 Mot repris du colloque : Des images habitables, Arts de la scène et 3D organisé entre autre par Clarisse Bardiot, 27/28
novembre 2013. [en ligne : consulté le 20-04-2015, URL : http://www.imageshabitables.com/].
99
vivre » la scène au spectateur : le dispositif représentait une sorte de cabine dans laquelle
le spectateur pouvait ressentir de nombreux stimuli (vue, ouïe, température, souffle du
vent, odorat, illusion de mouvement) afin de le convaincre qu’il était sur une motocyclette.
Ensuite, des années 1960 aux années 1990 de nombreuses évolutions techno-
logiques firent leur apparition, notamment :
Illustration 23. Morton Heilig, le Sensorama, 1956 Illustration 24. Sutherland, visio-casque monoscopique, 1965
A.1.1.2. Définitions
100
David Zelter en 1992 élabore un modèle pour définir la réalité virtuelle en trois axes
(autonomie, interaction et présence, confondue ici avec l’immersion). G. Burdea et P.
Coiffet en 1993 préfèrent ceux d’immersion, interaction et imagination.
Cependant, ce sont l’immersion et l’interaction qui ont été principalement retenues dans
la littérature. Elles sont complétées par une notion de comportement.
Ainsi, retenons la définition technique du traité de la réalité virtuelle exposée par Bruno
Arnaldi :
Philippe Fuchs complète cette définition en éclairant sur la finalité et la fonction de cette
spécialité :
215 P. Fuchs, G. Moreau, A. Berthoz [et al.], Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement virtuel, op.
cit., p. 8.
216 Ibid., p. 3.
101
d’interaction : interaction avec un environnement simulant la réalité ou
interaction avec un monde imaginaire ou symbolique. » 217
De ce fait :
Replaçant l’objectif final de la réalité virtuelle, P. Fuchs évoque la possibilité pour l’homme
de s’extraire de la réalité, et d’aller au-delà de sa réalité physique pour vivre d’autres
expériences : dans d’autres mondes artificiels, dans d’autres espace-temps, où il pourra
expérimenter une activité sensori-motrice et cognitive particulière. Ces mondes peuvent
être des copies partielles du réel, être largement symboliques, ou totalement imaginaires.
Nous verrons par la suite qu’il peut être intéressant de jouer sur ces différentes
représentations dans le temps de l’expérience.
Les interfaces comportementales, évoquées par B. Arnaldi, permettent de faire le lien entre
le monde virtuel et le monde réel. Ces interfaces peuvent être classées en trois types.
les visiocasques
217 Ibid., p. 7.
218 Ibid., p. 5.
102
les enceintes
Capteurs de mouvements
Souris
Kinect, Microsoft
Razer-Hydra
5DT Data Glove 5 Ultra
103
Notons qu’ici le « sensoriel » est séparé du « moteur ». Même si nous avons vu
précédemment que toute perception est active, cette distinction est nécessaire pour
faciliter le choix technologique et la distinction des interfaces selon leurs principales
utilités.
219 Cf. Recherches de Mark Mine : Walt Disney Imagineering. Research & Development, Inc. VR studio.
104
Dans le domaine artistique, sujet que nous
développerons par la suite.
Paul Milgram et Fumio Kishino en 1994, dans « Taxonomy of Mixed Reality Visual
Displays » 221, présentent un continuum, entre l’environnement réel et virtuel, maintenant
devenu une référence. À l’une des extrémités se trouve le monde virtuel (l’immersion et
l’interaction dans ce monde virtuel caractérisent le domaine de la réalité virtuelle) et à
l’autre est le monde réel. Entre les deux s’offrent de multiples variations d’une réalité
mixte (RM).
Illustration 29. Continuum entre le réel et le virtuel, de Paul Milgram et Fumio Kishino
a) Historique et définition
La réalité augmentée est une des variantes les plus connues de ce continuum. Elle se
caractérise par un pourcentage d’éléments réels beaucoup plus fort que d’éléments
virtuels. Elle s’apparente par exemple à l’incrustation temps réel d’éléments virtuels dans
notre environnement réel.
220 Edmond Couchot, “Le virtuel”, Grand dictionnaire de la philosophie, sous la dir. de Michel Blay, ed. by Larousse, Paris,
2003, (p. 1096).
221 P. Milgram, F. Kishino, “Taxonomy of mixed reality visual displays.” IEICE Transactions on Information and Systems. Inst
of Electronics, Inf & Commun Engineers of Japan, 1994, vol. E77-D, no. 12.
105
C’est également Ivan Sutherland qui en 1968 réalise le premier système de réalité
augmentée 222. Et c’est en 1992 que le terme réalité augmentée est défini par Tom Caudell
et David Mizell 223.
En 1997, Ronald Azuma, chercheur à l’université de Caroline du Nord, donne une définition
de la réalité augmentée 224. Elle doit respecter trois règles fondamentales :
1/ Le monde réel est vu directement. Les images de synthèse sont affichées par reflet ou
transparence, soit par un visiocasque à écran semi-transparent, soit par des écrans
directement placés dans l’espace réel.
222 I. E. Sutherland, “A head-mounted three dimensional display.” Proceedings of the December 9-11, 1968, fall joint
computer conference, part I on - AFIPS ’68 (Fall, part I). ACM Press, 1968.
223 T. P. Caudell, D. W. Mizell, “Augmented reality: an application of heads-up display technology to manual manufacturing
processes.” Proceedings of the Twenty-Fifth Hawaii International Conference on System Sciences. 1992.
224 R. Azuma, “A survey of augmented reality.” Presence: Teleoperators and Virtual Environments. 1997, vol. 6, no. 4.
225 P. Fuchs, O. Hugues, O. Nannipieri, “Proposition d’une Taxonomie Fonctionnelle des Environnements de Réalité
Augmentée.” AFRV2010. Cinquième Journées de l’Association Française de Réalité Virtuelle et de l'Interaction 3D. 2010.
106
au travers des « lunettes », et le virtuel est mixé par l’œil de l’utilisateur (ex :
Laster Technologie, Google Glass, Microsoft Hololens).
Face à une vitre, nous pouvons distinguer l’image virtuelle de notre reflet ainsi
incrusté avec l’environnement réel se trouvant derrière. C’est une expérience
assez aisément réalisable, si nous comptons le nombre de fenêtres, vitres de
magasins, de transports, etc. qui nous entourent. Cependant, pour une bonne
incrustation, il convient de prendre en compte plusieurs paramètres dont :
Plusieurs procédés sont ensuite possibles selon le sujet reflété. En voici quelques
exemples :
— une vitre à 45 degrés reflète le sujet qui se trouve par terre dans une
fosse ;
— une vitre à 45 degrés reflète une projection d’une vidéo au plafond ;
226 D’après l’invention de Henry Dircks (1806-1873). Pepper utilisa cette technique pour la première fois au théâtre à
Londres en 1862, lors de la représentation d’une pièce de Charles Dickens : « L’homme hanté ou le Pacte du fantôme ».
107
— Plusieurs vitres, positionnées de manière pyramidale, reflètent un
écran, de telle sorte qu’un objet semble flotter dans l’espace.
D’une autre manière, par projection d’images virtuelles sur une surface plus ou
moins transparente, il est possible de mêler le réel et le virtuel.
Pensons aux tissus, comme le tulle, qui par son maillage fin et espacé possède une
certaine propriété de transparence. Placé à l’horizontale, avec une projection et un
sujet derrière lui, il permet de jouer sur la confusion, (les réglages de lumière étant
toujours un aspect très important de cette « magie »).
2/ Le monde réel est vu indirectement, les images de synthèse sont affichées sur un
écran avec des images vidéo de caméras observant le monde réel.
— Par un dispositif fixe, par l’intermédiaire d’une webcam pouvant être mobile.
108
Ainsi, le point de vue peut être calibré une fois seulement, permettant une bonne
incrustation, par exemple pour une borne touristique archéologique qui permettrait
de voir un bâtiment à un emplacement vide.
Les images virtuelles peuvent également être directement projetées sur une surface
réelle, en épousant son architecture. Ces trompe-l’œil mouvants permettent de
modifier complètement une forme réelle en brouillant sa limite avec l’image
projetée.
109
227
Illustration 32. Le Petit Chef. Mapping vidéo sur une table de restaurant
O. Bimber and R. Raskar 228 font un état de l’art (2006) des différents dispositifs utilisés
selon le placement de l’interface par rapport à l’utilisateur.
— d’une part à augmenter notre perception (par exemple afficher des informations
supplémentaires pour aider à la conception, pour documenter une situation, pour
permettre une meilleure visibilité de certains éléments) ;
— d’autre part à imaginer des environnements non existants (par exemple,
imaginer le placement de meubles dans une pièce, visualiser un bâtiment ancien sur
son emplacement, ou encore, créer des environnements impossibles à réaliser dans
le réel).
110
Un exemple d’application de réalité augmentée : le « Télescope RA »
« Télescope RA » est un projet sur lequel j’ai collaboré lors de mon stage de master
« Robotique et Systèmes Intelligents » en 2009 230. J’ai travaillé pendant 6 mois au CITU
(Création Interactive Transdisciplinaire Universitaire) 231 dont la mission contribue au
développement de la recherche, de l’expérimentation et de la création artistique dans le
domaine des nouveaux médias.
Nous avons développé un télescope de réalité augmentée. Un premier prototype,
positionné en haut de l’Arc de triomphe, fut présenté dans le cadre de Futur en
Seine 2009. Le rôle de ce télescope était de proposer une plateforme aussi bien destinée
aux applications touristiques qu’artistiques. La première application présentée lors du
festival donnait la possibilité d’observer les paysages environnants en obtenant toutes
les informations que l’on souhaiterait y découvrir en surimpression. Ainsi,
contrairement à un télescope classique, celui-ci permettait de voir le paysage tout en
ayant par exemple les noms des bâtiments en surimpression. Un zoom permettait une
navigation plus ou moins précise dans cette documentation affichée en temps réel.
La contrainte majeure de ce type d’applications consiste à estimer en temps réel (c’est-
à-dire à la fréquence de la caméra) les paramètres de positionnement (rotation et
translation) et physiques (focale, centre optique) du capteur d’acquisition utilisé. Ces
paramètres permettent de superposer de façon réaliste les éléments virtuels dans le
mode réel observé par l’utilisateur.
Illustration 33. Télescope de réalité augmentée, Arc de Triomphe, Futur en Seine 2009
230 J. Guez, Contribution au Développement d’un Télescope de Réalité Augmentée. Université Paris 6, CITU Paris 8, (dir.)
Safwan Chendeb, 2009.
231 Association de laboratoires universitaires (Paragraphe et CIREN de l’Université de Paris 8 et CRECA de l’Université de
Paris 1).
111
Cet exemple relève deux points importants lors de la création d’application de réalité
augmentée :
— avoir une cohérence graphique entre le réel et le virtuel. Pour que les éléments
virtuels semblent appartenir au monde réel, plusieurs processus sont nécessaires.
232 Cf. J. Guez, État de l’art des méthodes de traking robustes pour la réalité augmentée, op. cit.
233 Cf. recherches de Gilles Simon, Maître de conférences en informatique au département informatique de la Faculté des
Sciences et Technologies de l’Université de Lorraine [En ligne, consulté le 22/04/2015, URL :
http://www.loria.fr/~gsimon/ra/#fig:problematique ].
112
Il est possible par des méthodes de calcul de la luminosité de la scène réelle de la
retranscrire sur les éléments virtuels afin qu’ils s’y incrustent mieux. (Ex. « Towards
Using Realistic Ray Tracing in Augmented Reality Applications with Natural
Lighting » 234, « Interactive Common Illumination for Computer Augmented Reality
» 235 et « Real‐time Estimation of Light Source Environment for Photorealistic
Augmented Reality » 236).
À noter que les rendus non-réalistes peuvent également nécessiter une cohérence
des éléments réels/virtuels 237
Illustration 34. Différents rendus possibles des objets virtuels ajoutés sur la scène réelle.
— des objets, ou son propre corps 238 peuvent être incrustés en temps réel dans
l’environnement virtuel ;
234 F. Scheer, O. Abert, S. Müller, “Towards Using Realistic Ray Tracing in Augmented Reality Applications with Natural
Lighting.” GI Workshop. 2007.
235 G. Drettakis, L. Robert, S. Bougnoux, “Interactive Common Illumination for Computer Augmented Reality.” Proceedings
of the Eurographics Workshop on Rendering Techniques ’97. 1997.
236 M. Kanbara, N. Yokoya, “Real-time estimation of light source environment for photorealistic augmented reality.” In
Proceedings of the 17th International Conference on Pattern Recognition,ICPR, Japan. 2004, vol. 2.
237 J. Chen, G. Turk, B. MacIntyre, “Watercolor inspired non-photorealistic rendering for augmented reality.” Proceedings
of the 2008 ACM symposium on Virtual reality software and technology - VRST ’08. ACM Press, 2008.
113
— une représentation du réel, comme le flux d’une webcam ;
— des informations du réel ;
— pour exposer un autre sens que le visuel : au niveau tactile, l’utilisateur peut sentir
un objet réel dans la scène virtuelle. Ceci permettant par exemple de caler l’objet
virtuel et réel ;
Dans l’article « From virtuality to reality and back » 239, les auteurs montrent l’importance de
considérer les objets réels comme des interfaces pour réaliser une transition plus naturelle
de l’environnement réel au virtuel.
Il peut également me permettre de mieux définir les transitions entre le réel et le virtuel, et
d’identifier dans le temps de l’expérience les différents espaces hybrides réels/virtuels.
À noter que dans les prochaines parties nous explorerons plus les écrits liés aux
domaines de la réalité virtuelle, car ce domaine est le plus complet et courant
238 Par exemple, L’acteur d’une pièce de théâtre est placé en temps réel dans la scène virtuelle de l’intrigue : A. D. Cheok,
W. Weihua, X. Yang, S. Prince[et al.], “Interactive theatre experience in embodied + wearable mixed reality space.”
Proceedings. International Symposium on Mixed and Augmented Reality. 2002.
239 M. A. Schnabel, X. Wang, H. Seichter, T. Kvan, “From virtuality to reality and back.” Proceedings of the International
Association of Societies of Design Research. 2007.
114
lorsque nous évoquons le vécu dans un monde virtuel. Cependant, nous verrons
que même si ce n’est pas explicitement évoqué, des rapprochements avec cette
réalité mixte définie par Milgram peuvent se reconnaître (surtout concernant la
virtualité augmentée, encore peu référencée).
240 O. Baus, S. Bouchard, V. Gougeon, J. Guez, “Augmented reality – An efficient alternative to inducing anxiety.” Symposium
conducted at Canadian Association of Cognitive and Behavioural Therapies 2013 Conference, Montréal, Quebec. 2013.
115
A.2. Modèles pour créer une expérience en environnement
virtuel, centrée utilisateur
« Dans tout dispositif de réalité virtuelle, l’homme est au centre du système, car l’application
virtuelle lui est adressée. » 241
Olivier Nannipieri souligne très bien dans sa thèse la portée pratique de ce modèle, dont
l’objectif « est de proposer un cadre théorique et méthodologique sur la base duquel il est
possible de créer des environnements virtuels » 244. Les éléments — d’un côté le dispositif
socio-technique et de l’autre l’individu qui fait l’expérience de ce dispositif — participent
241 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 10.
242 Ibid., p. 16.
243 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 145.
244 Ibid., p. 143.
116
ainsi à la co-construction d’une relation complexe « constituée de paramètres d’ordre
physique, biologique, sociologique, psychologique, etc. » 245
I2 sensori-motrices
I2 cognitives
L’interface est considérée comme un lien entre l’homme et le monde virtuel. Pour la rendre
le plus « transparent » possible afin de ne pas prendre trop d’importance (ce qui est
souvent le but dans une expérience de réalité virtuelle), deux approches sont envisagées
dans le traité de la réalité virtuelle.
L’utilisation de :
— schèmes comportementaux importés (SCI). Les schèmes, déjà évoqués plus haut
et proposés par J. Piaget, permettent à l’utilisateur de faire appel à certains des
automatismes sensori-moteurs liés à ses habitudes dans le monde réel. Par exemple,
si une porte virtuelle se présente à lui dans le monde virtuel et qu’il peut l’ouvrir
avec le même geste qu’avec une porte réelle, nous pouvons dire que le schème
d’ouverture de porte a été importé dans l’environnement virtuel ;
117
I2 fonctionnelles
Ce niveau est fondamental et doit être envisagé en premier lors de la conception. Il précise
les activités (fonctions) possibles dans un environnement virtuel et ainsi met en évidence
la finalité de l’expérience. Ces activités peuvent être catégorisées sous quatre primitives
comportementales virtuelles (PCV) :
Ce modèle constitue une base solide dans le domaine et sa modularité permet selon le cas
d’étude d’être complété par d’autres approches que nous décrivons ci-après.
118
A.2.2. Autres modèles centrés utilisateur
Voici deux exemples qui prennent en compte une étude centrée utilisateur inspirée par
la théorie de l’énaction 247 :
1/ Indira Thouvenin dans son HDR 248, s’intéresse à la connaissance induite par les
interactions dans un environnement virtuel, et cela en prenant en compte la complexité de
la relation aussi bien de l’homme avec le monde virtuel que des interactions possibles entre
les éléments de ce monde.
Elle considère la réalité virtuelle comme un moyen de vivre des expériences qui ont un
impact sur le sujet.
247 Cf. Partie I.Chapitre 1.A.3. Concernant les détails de mes intérêts concernant cette théorie.
248 I. M. Thouvenin, Interaction et connaissance : construction d’une experience dans le monde virtuel. HDR, Université de
Technologie Compiègne, 2009.
249 Ibid., p. 21.
250 Ibid., p. 23.
251 Ibid., p. 27.
119
expérience singulière (unique dans le temps et unique, car propre à chaque
utilisateur) par une interaction avec un monde artificiel. » 252
À noter que « ce n’est pas l’interface qui est (ou n’est pas) énactive. C’est l’humain, utilisant
une interface [appropriée] qui rend le monde énactif. » 253
2/ Jean-François Jégo 254 s’appuie sur cette approche de connaissance énactive dans sa
thèse, tout en focalisant ses recherches autour de l’adaptation liée à l’interaction dans un
monde virtuel. Citant l’article de Bobillier-Chaumon 255 , il précise l’importance de
considérer « l’homme dans son épaisseur et sa complexité » 256 dans sa rencontre avec la
technologie. En se fondant sur plusieurs théories centrées utilisateurs (modèle 3I2, théorie
de l’action, théorie du Flow et théorie de l’énaction), il expose les enjeux de conception et
de réception liés à la réalisation d’un modèle énactif de réalité virtuelle qui s’ajuste dans le
temps de l’expérience aux gestes de l’utilisateur.
Ces deux exemples, proches de mes intérêts, montrent la possibilité d’hybrider plusieurs
domaines pour la construction d’un modèle centrée plus sur l’homme dans toute sa
complexité et son vécu. Par son ambiguïté d’approche aussi bien technologique
qu’expérientielle, la réalité virtuelle permet des fusions de modèles associés à des
disciplines variées.
120
cette « autre réalité » et ainsi comment lui faire prendre conscience de sa propre nature ?
Et enfin, comment conceptualiser des créations artistiques s’appuyant sur ce médium ?
121
B. CONCEPT DE L’ILLUSION DE PRESENCE EN REALITE VIRTUELLE
— Matthew Lombard et Theresa Ditton en 1997 260, tout en restant centrés sur le média
technologique, ouvrent vers un aspect plus psychologique en identifiant la présence à
une illusion de non-médiation. Pour les auteurs, le média doit s’effacer afin de ne pas
obstruer la présence pour l’individu : il doit devenir « transparent » (associé par
exemple à un schème ou métaphore rapidement apprise).
— Frank Biocca en 2003 261 ouvre sur une approche psychologique centrée sur le sujet.
Ce n’est plus le média technologique qui induit la présence, mais le corps qui devient ce
vecteur de présence. Nous nous rapprochons plus de cette approche dont nous
prendrons, tout au long de ce survol, des écrits en référence, notamment de Patrice
257 T. B. Sheridan, “Musings on telepresence and virtual presence.” Presence : Teleoperators and Virtual Environments.
1992, vol. 1, no. 1.
258 B. Reeves, “Being there: Television as symbolic versus natural experience.” Institute for Communication Research,
Stanford Universi. 1991.
259 M. Minsky, “Telepresence.” Omni Magazine. 1980.
260 M. Lombard, T. Ditton, “At the Heart of It All: The Concept of Presence.” Journal of Computer-Mediated Communication.
2006, vol. 3, no. 2.
261 F. Biocca, “Can we resolve the book, the physical reality, and the dream state problems? From the two-pole to a three-
pole model of shifts in presence.” EU Future and Emerging Technologies, Presence. 2003.
122
Bouvier 262, Olivier Nannipieri, Jayesh S. Pillai 263, ainsi que des recherches menées
en cyberpsychologie 264.
262 P. Bouvier, La présence en réalité virtuelle, une approche centrée utilisateur. Thèse, Université Paris-Est, dir. Gilles
Bertrand, 2009.
263 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence. Thèse,
École Nationale Supérieure d’Arts et Métiers, dir. Simon Richir, 2013.
264 Cf. B. K. Wiederhold, S. Bouchard, Advances in Virtual Reality and Anxiety Disorders. Springer US, 2014.
265 J. Gibson, “The Ecological Approach to Visual Perception.” Boston: Houghton Mifflin. 1979.
266 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 310.
267 Ibid., p. 331.
123
De ce fait, nous clarifions cette double nature « objectif/subjectif » de la réalité virtuelle,
ainsi que « [le positionnement] du sujet par rapport aux deux environnements » 268 réel et
virtuel.
— F. Biocca (1997) 270, K. M. Lee (2004) 271 expose de manière différente cette
présence physique, sociale et de soi ;
Olivier Nannipieri (2013), de manière plus claire, synthétise cela en deux types de
présence :
— la présence personnelle : « exprime le fait que le sujet se sente comme s’il était
localisé dans l’environnement virtuel» ;
124
Ces composantes essentielles englobent d’autres composantes : par exemple la
présence sociale qui s’effectue lorsqu’on a l’illusion de communiquer avec un autre
individu, peut faire partie de la présence environnementale. En effet, une personne
peut être présente dans un environnement sans forcément qu’il y ait présence
d’individu.
Mel Slater (2009), de manière complémentaire, distingue deux types d’illusion dans son
article « Place illusion and plausibility can lead to realistic behaviour in immersive virtual
environments » 274 :
À noter qu’une cassure de présence (« Break In Présence » notée BIP) dans Pi peut
être plus facilement retrouvée (ex : saute visuelle,…) que dans Psi, car cette dernière
casse la crédibilité envers l’expérience (par l’exemple dans l’expérience de Milgram,
si le comportement de l’avatar n’est plus synchronisé avec l’appui sur le bouton).
Pour qu’une expérience de présence soit efficace, tout l’enjeu est donc d’arriver à
provoquer l’illusion d’être là (Pi), ajouté à l’illusion de plausibilité (Psi), afin
d’obtenir une réponse (perception / action) du spectateur identique à celle qu’il
274 M. Slater, “Place illusion and plausibility can lead to realistic behaviour in immersive virtual environments.”
Philosophical transactions of the Royal Society of London. Series B, Biological sciences. 2009, vol. 364, no. 1535.
275 M. Slater, A. Antley, A. Davison, D. Swapp[et al.], “A virtual reprise of the Stanley Milgram obedience experiments.”
PLoS ONE. 2006, vol. 1, no. 1.
276 M. Slater, M. Usoh, A. Steed, “Taking steps: The influence of a walking technique on presence in virtual reality.” ACM
Transactions on Computer Human Interaction (TOCHI). 1995, vol. 2, no. 3.
125
aurait dans la réalité. M. Slater note ainsi la formule suivante : Pi + Psi = RAIR
(Response-As-If-Real).
Il conclura qu’il faut deux facteurs essentiels pour être présent : l’illusion
perceptive et l’illusion psychologique.
277 J. S. Pillai, C. Schmidt, S. Richir, “Achieving presence through evoked reality.” Frontiers in Psychology. 2013, vol. 1, no. 2.
278 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.,
p. 22.
279 Ibid., p. 37.
126
J. S. Pillai, d’ailleurs, considère dans ses définitions que la présence perceptive et la
présence psychologique sont liées.
Nous mettons ainsi en évidence certains des principaux facteurs permettant de faire varier
la présence par degré pour le sujet qui l’éprouve. Nous verrons par la suite que plusieurs
études ont permis de dévoiler certains paramètres plus précis, que ce soit du domaine de
l’illusion psychologique et/ou perceptive, ou du cadre personnel et/ou environnemental.
Ainsi, s’il ressent une illusion perceptive et psychologique de son soi dans un
environnement virtuel, et que cet environnement paraît également présent (par une
illusion perceptive et psychologique), alors il peut avoir (au regard de l’énaction) l’illusion
d’être en perception/action dans cet environnement virtuel : y être présent.
Relevons que la séparation de ces termes est utile pour la compréhension et la création
d’expériences induisant la présence. Cependant, il est bien évident que ces composantes
sont liées et que c’est dans la rencontre de l’homme avec l’environnement virtuel ou non,
qu’émerge cette présence, phénomène complexe dont nous pouvons seulement en exposer
la surface.
280 Ibid.
281 Ibid., p. 86.
127
Illusion perceptive
Illusion de présence
personnelle
Illusion psychologique
Illusion perceptive
Illusion de présence
environnementale
Illusion psychologique
128
B.2. L’illusion de présence pour notre recherche
L’illusion de présence est une base riche pour étudier et concevoir des dispositifs centrés
sur l’effet de la réalité virtuelle et de la réalité mixte sur le spectateur. Concernant ma
recherche-création, plusieurs caractéristiques de l’illusion de présence sont à préciser en
accord avec mon espace des illusions entre le réel et le virtuel, afin de relever les éléments
essentiels me concernant pour cette thèse.
L’association du terme « présence » avec le terme « illusion » est déjà un point significatif.
Pour Jaron Lanier, la présence c’est « l’illusion d’être dans un monde alternatif » 282, et en
cela nous retrouvons le lien avec le magicien qui emporte le spectateur dans le monde
alternatif où tout est possible. La présence dans un monde virtuel relève donc d’une
illusion, et ainsi d’un paradoxe fort de notre vécu entre le réel et le virtuel :
« Y être sans y être vraiment. Savoir que tout ceci relève d’une illusion sensorielle et pourtant
agir comme si cela était bel et bien réel. » 283
Dans quelle mesure cette illusion de présence va-t-elle nous permettre de vivre des
expériences singulières qui se détachent de nos habitudes perceptives ? Comment des
passages entre notre vécu dans notre réalité quotidienne et notre vécu dans cet état
d’illusion, dans ces systèmes de réalité virtuelle et mixte, sont possibles ? Ceci interroge la
manière même de représentation de la réalité, qui peut être une copie de notre réalité
connue ou complètement imaginaire. Pouvons-nous substituer notre réalité à sa
représentation ? Quels moyens peuvent permettre ce changement ?
Nous finirons cette partie en exposant différents paramètres qui caractérisent la présence
dans la littérature, puis nous les compléterons par des exemples d’expériences plus
proches de nos intérêts.
129
B.2.1. Présence et illusion de passage dans un autre environnement
Nous avons exposé plus haut que la réalité virtuelle permet de vivre une expérience dans
un monde virtuel : l’étude de la présence de l’homme dans ce monde virtuel devient alors
indispensable afin de conceptualiser et développer une expérience centrée sur son vécu.
Au-delà de l’aspect technologique, l’aspect subjectif lié au vécu de l’homme a donc une
grande importance. P. Fuchs, dans son modèle 3I2 n’expose pas ce concept séparément,
mais il est considéré comme inhérent aux immersions et interactions, principalement au
niveau cognitif. Cependant, centrant nos recherches sur les effets du dispositif,
l’identification de la présence paraît essentielle. De plus, dans la littérature scientifique,
ce concept est un cadre d’étude abondamment exploré, ce qui va nous permettre
d’alimenter notre « boîte à outils » pour la création.
Rappelons que dans le traité de la Réalité Virtuelle, D. Mestre et P. Fuchs opèrent également
cette scission entre l’aspect technologique et subjectif, afin « d’aborder la question des effets
de l’immersion sur le comportement du sujet ».
Cette citation, qui reconnaît la caractéristique dynamique de la présence qui s’étudie aussi
bien en relation avec le monde réel que virtuel, semble également confirmer le choix
d’étude de ce concept, proche de nos attentes : trouver un moyen de faire vivre des
expériences temporelles et changeantes qui se rapproche de notre vécu avec le
monde réel, afin de créer de nouvelles illusions et ruptures avec nos habitudes.
284 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 319.
130
B.2.1.2. La présence crée le passage dans des mondes possibles
Le spectateur, au centre de l’expérience, va ainsi créer le passage entre son vécu dans sa
réalité quotidienne et son vécu dans ce nouvel environnement. Comment ces passages
peuvent-il être possibles ?
Mel Slater, dans son article « Presence and the Sixth Sense » 287, identifie l’effet de
présence dans un monde virtuel à une émergence d’une « Gestalt environnementale » 288.
Pour lui la présence apparaît lorsque le sujet, devant différentes hypothèses
d’environnements possibles, sélectionne la meilleure solution.
Ainsi, lorsque deux environnements — celui de notre réalité quotidienne et celui proposé
par l’expérience de réalité virtuelle — sont possibles dans la rencontre avec le sujet, celui-
ci sélectionnera (de manière consciente ou inconsciente) l’environnement qui semble le
plus probable.
À noter que ce choix se rafraîchit à chaque moment de l’expérience. C’est ainsi que M. Slater
parle de « basculement de gestalt » (« Gestalt
Switch ») : le moment où on passe d’un environnement
à un autre.
131
Rappelons que devant cette ambiguïté, un choix perceptif est fait pour ne sélectionner
qu’une représentation possible : nous ne pouvons voir en même temps les deux
représentations. Une fois que nous avons identifié les deux formes possibles, le cerveau
semble osciller de l’une à l’autre sans pour autant les confondre.
Thierry Collet, magicien contemporain, lors de son intervention « le réel manipulé » 289 à
l’exposition de Julio le Parc au Palais de Tokyo (Paris 2013), a décrit ce phénomène comme
étant proche de nos perceptions primitives. En effet, lorsque deux situations
(environnements) sont probables, la perception oscille entre les deux, afin d’avoir toutes
les possibilités qu’un environnement offre, et ainsi prévenant, par exemple, d’un danger
envisageable.
Il est important de repréciser ici 291 que même si on est présent dans un monde virtuel, le
sentiment « de réel » est toujours là. Nous sommes encore bien loin des théories de
perte complète ou de substitution totale du réel, inspirant fortement les films de science-
fiction 292.
132
détectable au niveau sensori-moteur, donc aussi automatiquement au
niveau mental. » 293
Le sujet n’est jamais « pleinement » présent dans l’un ou l’autre environnement, mais crée
le passage.
C’est le sujet, qui en glissant plus ou moins rapidement d’une réalité à une autre permet de
s’y échapper et d’y rentrer de nouveau : entre présence et absence entre les
environnements, un continuum se crée formant un espace de frontière.
293 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 72.
294 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 48.
295 Ibid., p. 88.
296 Ibid., p. 91.
297 D. W. Winnicott, Jeu et réalité. Gallimard, 2002.
133
c’est ne pas uniquement être tout à fait ici, ni tout à fait ailleurs, d’où
l’expression de « présence mixte ». 298
Nous retrouvons ici cette notion de frontière qui caractérise notre espace de création :
entre le réel et le virtuel se crée un lieu de passage dont le sujet est le principal vecteur.
Selon M. Slater, le sujet oscille donc entre deux environnements (celui réel et celui virtuel).
Cette approche « binaire » (il est présent, il n’est pas présent) n’est pas si claire. En effet,
nous retrouvons dans la littérature de nombreuses interprétations de ce passage :
— W. Ijsselstein en 2002 299 s’oppose à M. Slater. Pour lui le sujet n’est pas dans l’un ou
l’autre environnement, mais un peu dans les deux. Il réfute donc la thèse de la Gestalt et la
comparaison du phénomène de transition de présence avec celui de transition, par
exemple, de l’illusion perceptive du canard-lapin (cf. Illustration 11. Illusion du Canard-
Lapin).
298 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 241.
299 W. Ijsselsteijn, “Elements of a multi-level theory of presence: Phenomenology, mental processing and neural
correlates.” Proceedings of PRESENCE 2002. 2002.
134
favoriser le retrait d’un sujet de son environnement initial et, d’autre part,
à favoriser l’accès à un environnement alternatif. » 300
La présence semble ainsi arriver ou repartir comme par vagues entre les deux
environnements.
Et cette présence mixte n’est-elle finalement qu’une analyse réalisée avec le recul de
l’expérience ? Si nous devions décrire l’illusion du lapin et du canard ne dirions-nous pas «
cette image est ambiguë, elle représente aussi bien un canard qu’un lapin », même si
pendant le vécu de l’expérience nous oscillons entre les deux représentations de manière
indépendante ?
— Jayesh S. Pillai précise dans sa thèse 302 l’impossibilité d’être dans deux réalités en
même temps : le cerveau changeant constamment d’une présence à une autre, de manière
volontaire ou involontaire.
Ainsi, cette oscillation entre la perception de l’environnement réel et celle du virtuel garde
une cohérence. En gardant cette analogie avec la transition du canard et du lapin nous
remarquons qu’en nous transportant dans le monde virtuel, nous avons toujours en nous
les traces de l’environnement réel. Ces deux environnements sont possibles pour nous, et
nous oscillons donc de l’un à l’autre, plus ou moins vite, plus ou moins précisément. Et plus
un environnement est considéré comme la solution la plus probable, plus nous avons
l’impression d’y être. À chaque instant nous pouvons soit choisir d’être dans le réel, soit
choisir d’être dans le virtuel. Cette oscillation peut se faire vite, et ainsi faire apparaître des
phénomènes ambigus, tels que ceux décrits dans les entretiens après expérience d’O.
300 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 91.
301 Ibid., p. 90.
302 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.
135
Nannipieri 303. Cette rapidité d’oscillation pourrait donc être la justification de cette mise en
évidence de la présence mixte : après l’expérience, pendant l’entretien, nous pouvions avec
du recul nous voir dans le monde réel et virtuel en même temps.
Nous garderons donc pour la suite de notre exposé le postulat de Mel Slater d’une
oscillation possible et temporelle de présence entre plusieurs environnements. Tout en
préservant cette notion de présence mixte d’O. Nannipieri dans cette frontière entre le réel
et le virtuel : l’oscillation entre le réel et le virtuel devient un moyen permettant de
nous placer dans cette frontière ambiguë, lieu hybride de la présence dans le réel et
le virtuel.
Il est alors intéressant de faire ici un autre parallèle : celui du phénomène de cassure de
présence (« Break In Presence »), évoqué couramment dans le domaine de la réalité
virtuelle lorsque le sujet ressent qu’il est passé de l’environnement virtuel à
l’environnement réel, avec celui de la dissonance cognitive, évoqué par les magiciens.
Les magiciens emportent le spectateur dans un monde magique à leur insu, pour ensuite
leur faire vivre cet « effet magique » surprenant, mais tellement plaisant. Ainsi le magicien
crée le passage entre la réalité quotidienne du spectateur et son monde de magie, tandis
que le dispositif de réalité virtuelle crée le passage entre la réalité quotidienne du
303 « J’étais sur ma chaise et j’étais en train de marcher dans la simulation. Je ne sais pas, j’étais entre deux, je me voyais moi
en train de marcher mais je sais que mes sens étaient un peu troublés» personne questionnée après une expérience de
réalité virtuelle. Identification d’une présence Mixte par O. Nannipieri. (O. Nannipieri, Les paradoxes de la présence dans
les environnements immersifs : de la réalité à la réalité virtuelle, op. cit., p. 255.).
136
spectateur et le monde virtuel. Une différence que nous pouvons relever ici est que dans un
système de réalité virtuelle les deux environnements réel et virtuel sont identifiés dès le
début par le spectateur (par exemple en prenant les interfaces et en mettant un casque de
réalité virtuelle, le spectateur s’attend à percevoir et à agir dans le monde virtuel),
contrairement au spectacle de magie dans lequel le public ne se rend pas compte de son
« accompagnement » vers le monde des illusions.
137
B.2.2. Illusion de présence et représentation de la réalité (médiatisée
ou non)
La réalité virtuelle peut donc être un lieu d’expériences dans lequel le spectateur peut
explorer le passage entre sa réalité quotidienne et une réalité simulée. Comment la
présence dans cette réalité simulée peut-elle nous paraitre possible ? À quel niveau cette
représentation de la réalité, diffère-t-elle de notre réalité quotidienne ?
J. S. Pillai, dans sa thèse, défini la présence comme le résultat d’« une expérience de la
réalité » 304. La présence devient la résultante d’une illusion de la réalité ; d’une illusion
spatio-temporelle de la réalité évoquée dans notre esprit.
Il note ainsi ER « Evoked Reality », la réalité « évoquée », qui est une illusion de la réalité
dans un espace-temps de référence, dans laquelle on peut faire l’expérience d’une
présence évoquée (EP « Evoked Presence »).
Cette manière de conceptualiser la présence est en accord avec mes intérêts, d’une part
dans cette notion d’ « illusion de réalité », et d’autre part dans sa liaison avec l’idée de
« représentation », étroitement inspirante dans le domaine artistique.
Nous avons vu, que le réel qui m’intéresse est un réel mouvant, qui se construit
constamment de nos perceptions/actions avec l’environnement. Par nos habitudes, notre
vécu, notre mémoire, nous formons une stabilité : notre réel quotidien, habituel, dans
lequel nous pouvons évoluer. J. S. Pillai note ce « réel », la réalité primaire (PR « Primary
Reality »).
Comme nous venons de l’exposer, la réalité virtuelle permet de vivre une expérience
énactive dans un autre « monde ». En quoi cette réalité alternative diffère-t-elle alors de
notre réalité habituelle, primaire ?
304 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.,
p. 36.
305 P. Berger, T. Luckmann, La Construction sociale de la Réalité. Armand Colin, 2012.
138
le virtuel comme actuel, ouvrant ainsi la possibilité au partage de son environnement avec
celui du réel. (Cf. Partie I.Chapitre 1.C ).
Ces « autres réalités alternatives » sont ainsi toutes aussi légitimes que notre réalité
primaire. En cela nous rejoignons notre définition de l’illusion : ces réalités alternatives
sont des illusions de la réalité, car elles sont plus singulières et moins habituelles en
comparaison avec notre vécu dans la réalité primaire, tout en permettant d’y avoir une
expérience sensori-motrice au même titre que dans cette réalité primaire. Finalement elles
se substituent à notre réalité. L’illusion, ici, tout en étant loin d’une tromperie de nos
perceptions/actions, nous permet de vivre dans un monde alternatif « comme si » il était
réel.
Ainsi, si nous faisons un parallèle entre cette définition et les théories apportées par le
domaine de la présence en réalité virtuelle (notamment par M. Slater), nous pouvons
affiner le concept de l’illusion (cf. Partie I.Chapitre 1.B) :
306 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 141.
307 A. Berthoz, Le sens du mouvement, op. cit., p. 263.
139
L’illusion apparaît lorsque ce choix est singulier et rentre en rupture avec nos
habitudes et croyances face à l’environnement dans lequel nous percevons et
agissons quotidiennement.
Ainsi, l’illusion de réalité est cette réalité alternative sélectionnée par l’homme,
lorsque pour lui ce choix s’offre à lui comme la meilleure solution. Elle provoque une
présence dans cet autre environnement, qui peut être cassée à tout moment, consciemment
ou non (cf. la notion de cassure de présence).
Ne prétendons pas répondre à ces questions riches et complexes, mais creusons quelques
pistes porteuses pour nos recherches.
Dans son article, « Presence in the Past: What Can We Learn from Media History ? » de
2003 308, W. Ijsselstein précise que l’homme a toujours aspiré à représenter la réalité : il a
cherché plusieurs moyens de s’en rapprocher, brouillant ainsi les frontières entre la réalité
et sa représentation 309.
J .S Pillai, en comparant les peintures préhistoriques dans les grottes et nos nouvelles
manières de représenter, montre de même que l’homme, depuis le début des civilisations,
essaye d’exprimer son ressenti, son histoire, ou simplement de communiquer.
Le désir de représenter n’est donc pas nouveau. De même que le désir de dépasser le
monde réel, et de construire ainsi des illusions d’un autre monde possible.
W. Ijsselstein expose clairement cette quête de réalisme perceptif que l’homme essaye
d’atteindre. Il donne les exemples du début du cinéma (où les images prennent « vie » par
le mouvement), de la télévision, et du début de l’interactivité, en passant par les artistes
cinétiques : autant de moyens pour étendre son environnement.
308 W. Ijsselsteijn, “Presence in the past: What can we learn from media history?” Being There: Concepts, Effects and
Measurement of User Presence in Synthetic Environments. 2003.
309 « blur bondary between realité and its representation » Ibid., p. 2.
140
Dans le traité de la Réalité Virtuelle, il est précisé dans l’introduction qu’« il est naturel pour
l’homme de s’échapper de la réalité quotidienne pour différentes raisons (artistiques,
culturelles ou professionnelles). »
La réalité virtuelle, dans une continuité de ce désir d’évasion, apporte une dimension
supplémentaire : l’interactivité. « La réalité virtuelle lui offre une dimension supplémentaire
en lui procurant un environnement virtuel dans lequel il devient acteur. » 310
Ainsi, dans ces exemples, nous pouvons remarquer qu’un des moyens pour passer dans
cette illusion de réalité est le média, quel qu’il soit (peintures dans les grottes, cinéma,
dispositif de réalité virtuelle).
B.2.2.3. Rôle du média comme outil de passage dans cette réalité évoquée
Voici une question qui provoque quelques divergences dans la communauté scientifique de
la réalité virtuelle, notamment par le fameux « paradoxe du livre ». Face à l’approche
technologique de la présence qui place l’immersion sensori-motrice comme l’un des
facteurs essentiels induisant la présence, F. Biocca (2003) 311 s’interroge sur le fait que lors
de la lecture d’un livre, il semble apparaître une forte présence. « We can be bored in VR and
moved to tears by a book » 312. F. Biocca a ainsi construit un modèle dans lequel il a ajouté à
l’espace du réel et du virtuel un troisième pôle : l’espace de l’image mentale. Il y place les
différents médias selon leur propension à provoquer de la présence, idéalement induite.
Par exemple, nous pouvons voir sur le schéma suivant qu’un livre, par son fort engagement
mental, peut arriver pratiquement au même niveau qu’un dispositif de réalité virtuelle. À
bien noter que cette carte donne un idéal et évolue constamment : c’est le sujet qui, vecteur
de cette présence, peut à tout moment l’être plus ou moins. De plus, chaque personne aura
un degré de présence différent qui dépend aussi du contenu du média, (restons pour le
moment sur la considération des médias : nous pouvons voir le rêve apparaître sur le
modèle ; nous y reviendrons par la suite).
310 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 3.
311 « If sensorimotor immersion is the key variable that causes presence, then how do we explain the high levels of presence
people report when reading books? » F. Biocca, “Can we resolve the book, the physical reality, and the dream state
problems? From the two-pole to a three-pole model of shifts in presence”, op. cit.
312 Trad. De W. Ijsselsteijn, “Presence in the past: What can we learn from media history?”, op. cit., p. 3.
141
Illustration 37. Modèle de F. Biocca, 2003
Ainsi, pour lui, la présence concerne principalement les dispositifs de réalité virtuelle. Il
n’est donc pas possible de comparer des médias qui induisent une catégorie de présence
différente, comme un jeu vidéo sur écran, avec une expérience dans un casque de réalité
virtuelle.
142
Premièrement : Slater présuppose une distinction forte de la réponse émotionnelle et
physiologique avec la réponse comportementale.
Mon approche plus complexe s’est écartée du côté linéaire, mais considère que toutes ces
réponses (émotionnelles, physiologiques, comportementales) font partie d’un tout qui
émerge lors de la relation de l’homme avec l’environnement proposé par le dispositif.
Je rejoins ainsi la thèse de Olivier Nannipieri qui, en citant Merleau-Ponty dans La structure
du comportement (1942), affirme :
Ainsi, la réponse émotionnelle semble avoir toute sa légitimité dans une étude sur la
présence du sujet dans un environnement virtuel, au même titre que la réponse
comportementale et physiologique. Les études en cyberpsychologie 316 le montrent bien :
en exposant par exemple le patient à la représentation virtuelle de sa phobie, ces études
récoltent de nombreuses données cognitives et comportementales, afin d’étudier les
réactions du patient et de pouvoir adapter la thérapie.
315 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 82.
316Cf. pour plus d’information sur la présence appliquée à la cyberpsychologie : B. K. Wiederhold, S. Bouchard, Advances
in Virtual Reality and Anxiety Disorders, op. cit.
317 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.,
p. 39.
143
Dans ce sens je m’éloigne des écrits de M. Slater, qui considère la comparaison
d’expériences possible uniquement si les médias induisent une catégorie de présence
identique. En revanche, je reste d’accord sur le fait qu’un dispositif de réalité virtuelle
proposant un fort engagement multi-sensoriel et d’action peut favoriser une forte
présence, car cela joue un rôle important sur notre déplacement de l’attention, comme
nous avons déjà pu le voir.
Rappelons que lors de la première projection de L’arrivée d’un train en gare de la Ciotat, les
réactions comportementales furent très fortes, tandis que pour un public actuel découvrant
ce film projeté dans les mêmes conditions, elles le seront beaucoup moins.
C’est toujours le sujet qui, par son vécu, ses connaissances, ses attentes par rapport à un
certain média, peut plus ou moins présenter ces réponses comportementales.
W. Ijsselstein, nomme cela le « media schemata ». Dans son article « Presence in the Past:
What Can We Learn from Media History ? », par de nombreux exemples historiques, il
montre l’apport essentiel d’une prise de conscience de l’évolution des médias. Prenant ce
même exemple du film des Frères Lumière, il indique par l’étude des interviews après la
première projection, que la surprise est arrivée au moment où le média représentait autre
chose que ce qui était connu ou attendu (en dehors de leur média schemata) : « les images
prenaient vie ! »
C’est en cela, et avec nos médias actuels que je m’intéresse aux innovations principalement
numériques, pour ainsi trouver d’autres chemins d’expériences artistiques et d’autres
moyens de « transporter » 318 le spectateur vers d’autres possibles.
318 « La tâche de l’écrivain ou du cinéaste consiste à transporter le lecteur ou le spectateur d’un univers, le sien, dans un
autre, qui est celui que créent la typographie et le cinéma. » M. M. Luhan, Pour comprendre les médias. Editions HMH,
1968.
144
Si finalement, c’est le sujet qui induit la présence dans sa rencontre avec le média, ce
support est-il nécessaire ?
Cette question au semblant naïf, va nous permettre de faire la transition avec les
expériences de présence dans une « réalité rêvée » : une réalité auto-évoqué (« Self-ER »),
comme le nomme J. S. Pillai.
Olivier Nannipieri, s’appuyant également sur une approche centrée sur le vécu du sujet,
montre dans cette citation ci-dessous, la similitude de la présence dans notre réalité, dans
nos pensées, et celle induite par un média (quel qu’il soit) :
Par exemple, si j’écris puis, regardant mon stylo je commence à penser à l’endroit où je l’ai
acheté (souvenir de voyage, magasin, etc.), je vais être présente dans cette « autre réalité »
du souvenir à ce moment précis. Et finalement, ce n’est qu’après coup, revenue sur ma
feuille blanche que je prends conscience de « ce voyage ».
De même pour un rêve, induisant une plus forte présence : ce n’est qu’au réveil (qui peut
être brutal), que nous prenons conscience de notre réalité, tout en gardant certaines
sensations de cet autre possible.
Relevons une description précise et poétique d’Edgard Morin à ce propos, qui identifie le
rêve à une autre réalité alternative dans laquelle nos codes spatio-temporels se retrouvent
modifiés :
319 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.,
p. 39.
320 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 74.
145
fonctionnent de façon irrégulière ou incertaine, le contrôle de la constance
perceptive peut défaillir ; l’univers, devenant grouillant et métamorphique,
perd sa cohérence et sa stabilité. Ce qui produit le sentiment de réalité dans
la perception est la co-production par le monde extérieur et
l’esprit/cerveau d’une représentation stable et cohérente. Ce qui produit
le sentiment de réalité dans le rêve est l’interruption de cette co-
production, et c’est cette interruption qui permet à la réalité mentale
incontrôlée du songe de s’imposer comme réalité. »
L’esprit humain, « s’il ignore qu’il rêve dans ses rêves, il fait la
distinction sitôt éveillé. » 321
Nous avons mis en évidence plusieurs « types de présence », comme celles induites par les
médias ou celles induites par les rêves. Comment alors étudier les variations de cet effet
qui peut apparaitre lors d’expériences aussi disparates que le rêve et une expérience de
réalité virtuelle ?
Le modèle déjà exposé de F. Biocca donne des éléments, mais nous préférons le modèle que
J. S. Pillai a élaboré dans sa thèse, plus modulable et plus proche de nos attentes créatives :
La Carte de Présence (« Presence Map »).
La présence évoquée, notée EP (Evoked Présence) est le résultat d’une expérience dans
la réalité évoquée.
321 E. Morin, La méthode : La Connaissance de la Connaissance. vol. 3. Editions du Seuil, 1986, p. 111.
146
— La Réalité Simulée [SR : Simulated Reality] : la Media-ER la plus
élevée (une réalité virtuelle parfaite) ;
— à droite est représenté la partie de l’illusion de réalité évoquée par les médias,
dont la réalité simulée parfaite (SR : Simulated Reality) est le point le plus
optimum.
— à gauche est représenté la partie de l’illusion de réalité auto évoquée, dont le
rêve (DR : Dream Reality) est le point le plus optimum.
— au centre est noté la réalité primaire (PR : Primary Reality).
— le triangle en gras représente notre présence dans la réalité primaire, plus
quotidienne et habituelle. Nous retrouvons ici le sentiment de réel qui ne peut
être nul, sauf peut-être dans le cas idéal d’une simulation parfaite (pour le
moment utopique) ou d’un rêve parfait, dans lesquels il semble s’y confondre.
322 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.,
p. 155.
147
Nous remarquons également qu’à chaque réalité évoquée (ER) est associé une
présence « évoquée » (EP) dont le degré dépend du placement de cette réalité évoquée
sur la carte : plus la réalité évoquée est loin de notre réalité primaire et plus la présence
évoquée est grande ( et moins notre sentiment de réel est intense).
Si nous reprenons notre postulat de « l’oscillation » : plus la réalité évoquée est loin de
notre réalité primaire et moins nous avons d’oscillation dans la présence dans notre réalité
primaire (triangle en gras) ; moins nous avons de cassures de présence (cf. la notion de
« BIP » de M. Slater).
Ainsi, J. S. Pillai, comme l’avait fait F. Biocca, identifie des réalités évoquées ER (et donc des
présences évoquées PR), qui sont provoquées par différents moyens.
Illustration 39. Placement des Réalités Evoquées (ER), sur la Carte de Présence, J.S. Pillai
Communément, un livre (ER1) provoque une illusion de réalité plus faible que dans un
dispositif de réalité virtuelle (« Immersive VR » : ER4), et induit donc moins de présence. Le
dispositif de réalité virtuelle induit donc moins de cassures de présence (BIP) vers la réalité
primaire (PR) qu’un livre.
De même, des pensées (ER5) induiront moins de présence dans cette réalité alternative que
dans un rêve lucide (ER8). Le rêve est donc moins sujet aux cassures de présence vers la
réalité primaire (PR), qu’une simple pensée.
Illustration 40. Placement des réalités évoquées (ER) selon différents facteurs, sur la Carte de Présence, J.S. Pillai
Un autre avantage de cette Carte de Présence, est son côté modulable. J. S. Pillai montre
plusieurs possibilités de chemins d’expériences de présence.
149
Nous oscillons donc entre tous ces états possibles, d’une présence d’une réalité
évoquée par un média, à notre réalité primaire, à des réalités auto-évoquées
possibles pendant l’expérience 323. Par exemple, nous pouvons lire un livre, puis tout
un coup cela nous rappelle un souvenir vers lequel on dérive, puis de nouveau nous
pouvons revenir à la lecture, et soudainement être ramenés à notre réalité
habituelle par la sonnerie d’un téléphone.
— Une réalité auto-évoquée (Self-ER) dans une réalité évoquée par un média
(Media-ER) : dans certaines situations, la réalité évoquée par un média (Media-ER)
peut devenir temporairement proche de l’expérience vécue dans notre réalité
quotidienne (PR). À ce moment-là, il est possible pour le sujet d’avoir une réalité
auto-évoquée, dans une réalité évoquée par un média. Cela se vérifie par exemple
dans un système de réalité virtuelle, qui permet dans cette simulation de la réalité
de planifier, réfléchir, imaginer en fonction d’elle. Le schéma suivant montre cette
variation. Remarquons ainsi que le chemin parcouru entre la réalité évoquée (ER) et
le point central de notre réalité primaire (PR) est ainsi plus long grâce à cette
imbrication de réalité évoquée, augmentant ainsi la présence et diminuant le risque
de cassures de présence jusqu’à notre réalité primaire (PR).
Illustration 41. Une réalité auto-évoquée (Self-ER) dans une réalité évoquée par un média (Media-ER), dans la
Carte de Présence, J.S Pillai
323
« EP oscillating between the Self-ER, Media-ER, and the Primary Reality. » Ibid., p. 8.
150
— Partant de là, J. S. Pillai continue en montrant la flexibilité de cette carte. Si la
simulation de la réalité (SR) est perçue similaire à notre réalité primaire, alors il est
possible d’avoir une Simulation dans une Simulation (Simulation within a simulation
: SWAS). De même de l’autre côté pour un Rêve dans un Rêve (Dream within a
Dream : DWAD). Cette situation, devenue classique parmi les films de science
fictions 324, laisse entrevoir de nombreuses inspirations pour la création.
C’est avec mes différentes créations que je vais essayer par la suite d’amorcer une réponse.
324 Ex : ExistenZ (Cronenberg 1999), Matrix (Wachowski 1999), Inception (Nolan 2010).
151
B.2.3. Identification de paramètres pour caractériser la présence
La présence dans une illusion de réalité, de manière générale, peut être induite par un
média et/ou par nos processus de formation d’images mentales, qui peuvent également
nous transporter dans d’autres possibles.
Dans mes créations d’installations, j’utilise des dispositifs de réalité virtuelle afin d’essayer
d’induire cette présence et créer des expériences d’illusions. Ainsi, j’aimerais préciser ici
quels paramètres semblent permettre à une personne de commencer à se sentir présente,
et comment garder ou jouer avec cette illusion grâce à ce média de la réalité virtuelle.
Méthodes d’analyse
« la présence peut être corrélée au fait que le comportement des sujets est
similaire au comportement qu’ils auraient dans le monde réel, dans des
circonstances similaires (Ijsselstein et al., 2000). » 325
— une réaction induite par une présence réflexe. Elle concerne les
comportements simples et plus ou moins inconscients. Par exemple, si
l’utilisateur évite un obstacle, ou ferme les yeux à l’approche d’un objet
virtuel ; 326
325 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 324.
326 Cf. Etude sur les reactions de surprise : R. Held, N. I. Durlach, “Telepresence.” Presence: Teleoperators and Virtual
Environments. 1992, vol. 1, no. 1.
152
— une réaction induite par une présence comportementale. Si le sujet est présent
dans l’environnement virtuel, il va y importer ses habitudes (par exemples ses
schèmes comportementaux). Nous pouvons alors observer une corrélation entre
les comportements dans le monde réel et dans le monde virtuel.
Une comparaison avec le réel n’est pas suffisante : il n’est pas possible de reproduire une
exacte copie du réel. Et il n’est d’ailleurs pas toujours évident d’avoir des interfaces
« naturelles » (d’où l’utilisation de métaphores). De même dans le cas de mondes
imaginaires dans lesquels les codes de perceptions et d’actions sont changés.
Olivier Nannipieri, dans son étude et sa mise en évidence d’une présence mixte, précise
qu’effectivement « ce n’est pas seulement (i.e. condition nécessaire et suffisante) en faisant
comme si il était dans la réalité que le sujet est présent. » 328
Recherche d’invariants
327 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 324.
328 O. Nannipieri, M. Isabelle, D. Mestre, J.-C. Lepecq, “La présence dans la réalité virtuelle : Quand la frontière se fait
passage.” Frontières Numériques. 2014.
153
« L’assertion générale est alors que l’identification d’invariants sensori-
moteurs dans le comportement du sujet (on peut penser à la loi de Fitts
liant vitesse et précision du geste) est un marqueur comportemental de la
sensation de présence. » 330
Sans prétendre donner une vision complète des méthodes pragmatiques de récupération
de données sur la présence, voici quelques exemples, qui seront également inspirants pour
l’analyse de mes créations lors de l’étude des réactions du spectateur.
Pendant l’expérience il peut être demandé au sujet de verbaliser certains ressentis. Par
exemple, demander le niveau d’anxiété de la personne selon une échelle particulière (ex :
de 0 à 10).
Plusieurs types de questionnaires sur la présence sont mis en place. Ils sont centrés sur le
vécu de l’utilisateur, et abordent des questions différentes selon le cas d’étude. 331
Recherchant l’effet des illusions sur les spectateurs, ces questionnaires sont une source
d’investigations. Cependant, voici une autre méthode encore plus proche de mes champs de
recherche : l’entretien d’explicitation. Ayant participé à de nombreux ateliers sur le
154
sujet 332, j’ai pu constater la richesse de ce procédé, d’une part par son objectif centré sur le
vécu de l’homme, et d’autre part par sa méthodologie qui permet de faire émerger de
nombreuses images mentales en lien avec nos souvenirs, (ce qui se rapproche de la
« réalité évoquée : ER » de J. S. Pillai).
Cette méthode d’entretien prend sa source dans la phénoménologie. Elle fut initiée par
Pierre Vermersch à la fin des années 1980 dans le but de répondre aux besoins de l’époque
de construire une psychologie fondée non seulement sur le comportement, mais également
sur la subjectivité. 333 « Cet outil a spécifiquement pour but la mise en mots “du vécu d’une
action passée.” » 334 L’entretien consiste à permettre à une personne de rapporter une
action singulière d’un vécu passé. C’est par un accompagnement dans la mémoire de la
personne que celle-ci, par évocation, peut verbaliser différents moments plus ou moins
détaillés.
Cette méthode m’aide notamment pour recueillir les propos des spectateurs ayant vécu
une de mes expériences artistiques, et ceci afin d’affiner et de continuer d’autres créations
en m’inspirant de ces résultats, (cf. Annexe relevant les propos de spectateurs pour les
installations : VRLux, Lab’Surd et La Chambre de Kristoffer, dans lesquels j’ai relevé
plusieurs paramètres liés à mon hypothèse de recherche).
332 Ateliers d’entretiens d’explicitation (2014-2015) réalisés par Chu-Yin Chen au laboratoire AIAC, INREV, Paris 8.
Ateliers de phénoménologie expérientielle (2012) réalisés par Jean Vion Dury à l’hôpital Ste Marguerite de Marseille.
333 Cf. Association Groupe de recherche sur l’explicitation (GREX).
334 P. Vermersch, Expliciation et phénoménologie : Vers une psychophénoménologie. PUF, 2012, p. 1.
335 Ibid., p. 3.
155
— Analyse des ruptures de présence dans un monde virtuel par Mel Slater
Mel Slater, dans « A virtual Presence Counter » 336, va compter le nombre de transitions du
monde virtuel au monde réel.
Tout un protocole d’étude est mis en place pour comparer deux situations différentes dans
l’action de prendre une pièce d’échec virtuelle : 10 personnes vont devoir faire le schème
de « prendre une pièce » tandis que 10 autres avec la souris vont employer une métaphore
pour prendre la pièce.
Durant l’expérience, le sujet doit dire verbalement à chaque fois qu’il « sort du monde
virtuel ». Ces identifications sont ensuite, à la fin de l’expérience, « corrélées temporellement
avec des évènements (du monde réel ou du monde virtuel) ou avec le comportement du
sujet. » 337
L’étude montre qu’il y a moins de cassures de présence dans le cas d’une action plus
naturelle employant le schème. M. Slater va modéliser ainsi la probabilité d’apparition
d’une cassure de présence dans le monde virtuel, afin d’essayer d’estimer un équilibre de
présence possible.
156
de poser sa main réelle sur la table réelle, et de voir sa main virtuelle rencontrer la
table virtuelle.
— Un CAVE six faces : L’utilisateur voit son corps et agit avec. Tout le reste est
virtuel.
Illustration 43. Expérience de cyberpsychologie (UQO) dans trois dispositifs (réalité augmentée et réalité virtuelle)
Le protocole consiste à demander au sujet de s’asseoir sur une chaise et de placer sa main
sur la table devant lui (qui dans le cas des casques de réalité virtuelle et augmentée était
réellement là). Petit à petit des araignées montent sur la table. À un moment, un spécimen
particulièrement gros s’avance vers la main, et s’arrête à une petite distance de celle-ci. Une
voix demande alors au sujet d’avancer sa main vers elle le plus possible. Puis au bout d’un
certain temps, les araignées partent.
157
Avant et après l’expérience, des questionnaires sur la présence ont été proposés au sujet. 339
Par comparaison de tous ces résultats de plusieurs natures (subjectifs et objectifs), l’étude
a confirmé la présence des personnes dans ces environnements. De plus, l’expérience dans
les trois dispositifs ne change pas le sentiment de présence de manière significative. Cela
ouvre des opportunités vers de plus grandes libertés de développement. La réalité
augmentée étant par exemple un excellent moyen de diminuer les coûts liés à la création de
mondes virtuels.
Lors des ateliers sur les entretiens d’explicitation mené par Chu-Yin Chen (INREV — Paris
8) 340, nous avons voulu analyser nos vécus face au tableau La jeune fille à la perle de J.
Vermeer.
Une première étape a consisté à venir se placer l’un après l’autre (nous étions six) face au
tableau (représenté sur un écran), et d’y rester autant que l’on pouvait le désirer.
Lors d’une seconde étape nous avons effectué six entretiens d’explication afin revivre ce
moment dans lequel nous étions face au tableau.
339 Inspirés de : State-Trait Anxiety Inventory (STAI-Y1; Gauthier & Bouchard, 1993), French-Canadian version of the
Disgust Scale (Armfield & Mattiske, 1996), French Canadian translation of the Short Version Ekel-State-Fragebogen
(ESF; Ihme & Mitte, 2009). French-Canadian translation of the reality judgement items of the Reality
Judgement and Presence Questionnaire (Ba̴ñ os, Botella, Garcia-Palacios, Villa, Perpiña, & Alcañiz, 2000).
340 Ateliers d’entretiens d’explicitation (2014-2015) réalisés par Chu-Yin Chen au laboratoire AIAC, INREV, Paris 8.
158
Enfin, lors d’une dernière étape nous avons analysé ces entretiens en les retranscrivant, et
en faisant ressortir les éléments signifiants qui en émergent.
Il fut frappant de voir la richesse des données que nous avons pu relever. Voici quelques
exemples de réactions identifiées :
Ce qui est intéressant dans cette méthode, c’est que le résultat émerge des entretiens,
donnant une ouverture dans la découverte de l’analyse.
B.2.3.2. Paramètres
Au fil de ces études, plusieurs paramètres ressortent, dont il est propice d’en inventorier
certains. Nous pouvons les séparer en deux catégories : Les paramètres « objectifs », plutôt
liés à la conception du dispositif technique et son contenu, et ceux plus « subjectifs »,
centrées sur le vécu du spectateur (sachant bien évidement que ces deux types de
paramètres sont liés).
Nous nous inspirons des éléments répertoriés par Olivier Nannipieri dans sa thèse, ainsi
que de nombreux articles déjà plus ou moins cités lors de notre survol de ce concept de
159
présence. Le chapitre de Daniel Mestre et Philippe Fuchs du traité de réalité
virtuelle vol.1 342 est également une bonne source d’inspiration pour cette classification.
Paramètres objectifs
L’immersion :
L’interaction :
Rappelons que des interactions permettant une activité du sujet dans le monde virtuel
conduisent à une implication supplémentaire de celui-ci, qui peut d’une part naviguer dans
le monde virtuel, mais aussi modifier effectivement l’environnement (cf. PCV).
Le choix d’interfaces « naturelles », par leurs propriétés plus affordantes, est enclin à
augmenter la présence.
342 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 309.
343 Ibid., p. 314.
344 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 169.
160
Ainsi, le type de dispositif, selon l’immersion et l’interaction qu’il propose, peut modifier la
relation entre l’homme et le monde virtuel, et de ce fait jouer sur le degré de présence, (par
exemple, des études montrent que la présence peut être plus forte dans un CAVE 345 ).
Contenu de l’expérience
Dans une expérience de réalité virtuelle, au-delà de la prise en compte des caractéristiques
du dispositif technique, la conception du contenu du monde virtuel dans le temps est
également à étudier. Plusieurs paramètres liés au rendu visuel du monde virtuel et à sa
narration peuvent influencer l’expérience.
Ainsi, la narration et la mise en place d’un scénario cohérent avec l’étude sont
fortement recommandées afin d’impliquer au mieux le spectateur.
161
« La présence d’autrui dans l’environnement virtuel, sous la forme d’avatars, induit
une augmentation du sentiment de présence (Biocca, Harms and Burgoon, 2003). » 350
P. Bouvier, dans sa thèse, montre que le contenu « esthésique » (tout ce qui n’est pas
de l’ordre de la description et du réalisme, mais peut susciter l’émotion), comparé à
un contenu « neutre » (« diégétique »), favorise un maintien de l’intérêt et de
l’attention et donc de la présence. Il prend l’exemple d’une étude 351 menée entre
autre par Mel Slater, dans laquelle le rougissement de l’avatar est étudié comme un
facteur favorisant la présence.
« Plus que le réalisme qui, nous l’avons vu, n’est pas nécessairement utile, ni
même possible, n’est-ce pas la fidélité ou crédibilité qui pourrait contribuer
à augmenter le niveau de présence de l’utilisateur ? Or, évidemment, la
crédibilité n’est pas une propriété du dispositif technique, mais un
jugement propre à l’utilisateur. » 352
350 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 164.
351 V. Vinayagamoorthy, A. Steed, M. Slater, “The impact of character posture model on the communication of affect in an
immersive virtual environment.” IEEE Transactions on Visualization and Computer Graphics. 2008, vol. 14, no. 5.
352 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 163.
162
Paramètres subjectifs
L’homme, au centre de l’expérience, est donc au cœur des analyses. Chacun réagit
différemment, et donc ressent la présence autrement. Cependant, quelques caractéristiques
semblent aider.
Émotion
Comme nous l’avons déjà exposé, l’émotion peut jouer un rôle sur la présence, pour par
exemple maintenir l’attention de l’utilisateur, et augmenter ainsi la crédibilité de
l’environnement virtuel (même si l’expérience est médiocre) :
L’émotion transporte :
G. Riva et al. 355 exposent en quoi la réalité virtuelle est un médium capable de susciter
l’émotion.
Y. Wang et al 357 montrent que les perturbations extérieures peuvent être diminuées avec
les émotions.
353 P. Bouvier, La présence en réalité virtuelle, une approche centrée utilisateur, op. cit., p. 76.
354 Ibid., p. 74.
355 G. Riva, F. Mantovani, C. S. Capideville, A. Preziosa[et al.], “Affective interactions using virtual reality: the link between
presence and emotions.” Cyberpsychology & behavior : the impact of the Internet, multimedia and virtual reality on behavior
and society. 2007, vol. 10, no. 1.
356 R. Baños, C. Botella, M. Alcañiz, V. Liaño[et al.], “Immersion and emotion: their impact on the sense of presence.”
Cyberpsychology & behavior : the impact of the Internet, multimedia and virtual reality on behavior and society. 2004, vol. 7,
no. 6.
357 Y. Wang, K. Otitoju, T. Liu, S. Kim[et al.], “Evaluating the effects of real world distraction on user performance in virtual
environments.” Proceedings of the ACM symposium on Virtual reality software and technology - VRST ’06. ACM Press, 2006.
163
— La suspension consentie d’incrédulité que nous avons identifiée pour la magie
entre autres, est également citée dans la littérature sur la présence en réalité
virtuelle (cf. Bouvier, Pillai, Steuer, Slater).
« Le sentiment de présence peut varier en fonction du fait que le sujet ait ou non
déjà été immergé dans un environnement virtuel (Coehlo et al., 2006) 359. » 360
— La tendance à l’immersion
« Bob Witmer et Michaël Singer (1998) montrent qu’il existe un lien de causalité
entre les tendances immersives du sujet et son sentiment de présence. Sur la base
de l’Immersive Tendencies Questionnaire (ITQ). » 361
358 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 59.
359 C. Coelho, J. Tichon, T. J. Hine, G. Wallis[et al.], “Media presence and inner presence : the sense of presence in virtual
reality technologies.” From communication to presence : cognition, emotions and culture towards the ultimate
communication experience, IOS Press, Amsterdam. 2006.
360 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 170.
361 Ibid.
362 Ibid., p. 171.
164
« L’implication constitue le degré d’engagement du sujet à l’égard d’une tâche
donnée. »« Pour une même tâche, deux sujets peuvent ne pas avoir le même
degré d’implication. » 363
— la crédibilité ou la fidélité
Nous avons vu que le réalisme au niveau d’une copie du réel n’a pas d’intérêt à
être considéré lors de l’étude de la présence, mais plutôt sa cohérence, et ainsi la
crédibilité et la fidélité que l’expérience fait vivre à l’homme.
363 Ibid.
364 Ibid., p. 172.
365 M. Csikszentmihalyi, Flow: The psychology of optimal performance. Harper Perennial Modern Classics, 1990.
165
de soi. L’utilisateur ainsi captivé ne voit plus passer le temps et
éprouve une grande satisfaction. » 366
Cette liste de paramètres donne un aperçu de certains facteurs pouvant jouer sur la
présence. Ils ne sont bien évidemment pas systématiques ni complets. Chaque expérience,
par sa propre fonctionnalité, apporte une spécificité jouant sur le choix technologique et
sur la réception attendue. Le contexte joue de ce fait un rôle essentiel. De plus, chaque
relation entre la personne et le dispositif sera différente.
366 J.-F. Jégo, Interaction basée sur des gestes définis par l’utilisateur : Application à la réalité virtuelle, op. cit., p. 28.
166
B.2.4. Exemples : Jouer sur l’illusion de présence dans la frontière
réel/virtuel
Maintenant que le concept de présence est défini plus en détail vis-à-vis de ma recherche,
je vais illustrer quelques expériences qui se concentrent plus particulièrement sur des jeux
d’indiscernabilités de présence entre le réel et le virtuel. Ces études se rapprochent de mon
espace de recherche-création des IRV et sont ainsi autant d’inspirations pour ma création,
aussi bien dans les explorations surprenantes de M. Slater, que dans d’autres approches qui
traitent de cette indiscernabilité réelle/virtuelle. Elles sont proches de ma problématique,
complétant, par leurs protocoles spécifiques, les paramètres et caractéristiques de la
présence déjà richement mis en évidence.
Nous allons exposer plusieurs thématiques proches de mes intérêts, qui explorent les
frontières entre le réel et le virtuel, entre le réel et illusion et entre le virtuel et l’illusion.
Nous verrons ainsi qu’il émerge des illusions propres au virtuel, et donc de cette frontière
du virtuel et de l’illusion qu’il m’intéresse particulièrement d’explorer dans mes création.
Les effets d’une illusion dans le réel peuvent être transcrits dans le virtuel. Mais il
convient également de trouver les effets spécifiques au monde virtuel, et
caractéristiques de ce médium.
Deux sens suffisent pour créer des effets non habituels et surprenants :
En réel
367 J. Lackner, “Some proprioceptive influences on the perceptual representation of body shape and orientation.” Brain : a
journal of neurology. 1988, vol. 111.
167
sollicitation de deux sens (ici le tactile et le visuel) peut, dans certains cas et si cela est
crédible, créer l’illusion d’une autre perception possible. 368
— « Rubber Hand illusion » 369 : de même avec cette expérience qui consiste à faire
prendre (dans une certaine limite) une main artificielle pour la nôtre. L’expérience est
simple : le sujet a les deux mains à plat sur une table, à une certaine distance l’une de
l’autre ; une des deux mains est non visible pour lui (cachée par exemple par une planche),
et une troisième main artificielle est placée là où pourrait être sa main cachée. Une autre
personne vient stimuler de manière synchrone (avec un pinceau par exemple) la main
artificielle visible et la vraie main non visible par le sujet. Au bout d’un petit moment, du
point de vue du sujet, l’illusion étrange que la main artificielle lui appartient peut subvenir.
Souvent, l’expérience est conclue par un test, par exemple en approchant un couteau de la
main artificielle. Les réactions du sujet volontaire ou non (recul, verbalisation, rythme
cardiaque accéléré, etc.), permettent de valider l’illusion.
370
Illustration 46. Expérience de la Rubber Hand Illusion
Cette expérience est utilisée à des fins thérapeutiques : lorsqu’une personne se fait
amputer un membre, celui-ci peut dans certains cas encore provoquer de la douleur, même
s’il n’est plus présent. Cette illusion permet d’appréhender ce membre fantôme pour un
moment, et ainsi diminuer la douleur (cf. Recherches de V. S. Ramachandran) 371.
368 A. Burrack, P. Brugger, “Individual differences in susceptibility to experimentally induced phantom sensations.” Body
Image. 2005, vol. 2, no. 3.
369 M. Botvinick, J. Cohen, “Rubber hands ‘feel’ touch that eyes see.” Nature. 1998, vol. 391, no. 6669.
370 © BRISC group, BCCN, University of Freiburg (www.bmi.uni-freiburg.de).
371 V. S. Ramachandran, W. Hirstein, “The perception of phantom limbs. The D. O. Hebb lecture.” Brain. 1998, vol. 121,
no. 9.
168
En réalité virtuelle et mixte
L’illusion de la Rubber Hand marche également avec une main virtuelle 372. M. Slater s’en est
inspiré pour de nombreuses expériences. Nous verrons plus de détails lorsque nous
parlerons des phénomènes de « transfert ou modification de corps ».
« Passive Haptic » : le concept de retour d’effort passif est un bon moyen d’augmenter
l’illusion de présence. En utilisant des objets réels qui sont à la même échelle et au même
emplacement que les objets virtuels, nos sens du visuel et du toucher sont sollicités en
même temps.
M. Meehan et al. 373 ont réalisé une expérience qui reproduit une pièce virtuelle à la même
échelle que la pièce réelle, en ajoutant un précipice (cf. aussi M. Slater « Pit Room » 374).
Illustration 47. Expérience de retour d'effort passif dans une pièce, Meehan, Slater, et al. 2008
372 M. Slater, D. Perez-Marcos, H. H. Ehrsson, M. V. Sanchez-Vives, “Towards a digital body: the virtual arm illusion.”
Fronttiers in human neuroscience. 2008, vol. 2.
373 M. Meehan, B. Insko, M. Whitton, F. Brooks, “Physiological measures of presence in virtual environments.” ACM
Transactions on Graphics (TOG) - Proceedings of ACM SIGGRAPH 2002. 2002, vol. 21, no. 3.
374 M. Usoh, K. Arthur, M. C. Whitton, R. R. Bastos[et al.], “Walking > Walking-in-Place > Flying, in Virtual Environments.”
SIGGRAPH ’99 Proceedings of the 26th annual conference on Computer graphics and interactive techniques. 1999.
375 B.E. Insko, “Passive Haptics Significantly Enhances Virtual Environments,” Computer (The University of North Carolina
at Chapel Hill, 2001), p. 100.
169
376
Une expérience m’a également beaucoup inspirée : lors de ma visite au Siggraph 2011 à
Vancouver, j’ai découvert le poster de Yuki Ban et al. : « Meta-ryoshka: haptic illusion on
perceiving shape », (SIGGRAPH ’11: ACM SIGGRAPH 2011 Posters) 377.
378
Illustration 48. Yuki Ban et al. "Haptic illusion on perceiving shape", 2011
170
L’utilisateur est placé devant un écran. Il place sa main derrière celui-ci, et la voit
apparaître dans un environnement représentant un fond vert et un objet cylindrique
bombé (comme un vase). L’utilisateur peut toucher cet objet qui existe en vrai au même
endroit derrière l’écran, ses doigts pouvant suivre sa surface. Pour lui, l’objet qu’il a touché
est bombé. Mais en réalité le cylindre réellement touché est droit. Par une habile
modification du rendu visuel, ils ont déformé le chemin des doigts sur la surface de l’objet.
Ainsi, visuellement et tactilement, le fait que le cylindre soit bombé est cohérent pour le
cerveau. Cette expérience est aussi réalisable avec d’autres formes.
Toutes ces expériences jouant entre les sens visuel et tactile rappellent également les
recherches sur la pseudo-haptique, notamment d’Anatole Lecuyer. 379
En Réel
L’effet McGurk, illusion bien connue, et détaillée par Jean-Claude Risset dans le magazine
Science des illusions 380, montre comment un même son que l’on voit sortir de la bouche
d’une personne peut changer dans notre interprétation si le mouvement des lèvres est
différent. De nombreuses vidéos sont visibles sur internet, nous donnant l’impression
d’entendre distinctement Pa, Da ou Ba à partir d’un son identique.
En Virtuel
379 A. Lecuyer, J.-M. Burkhardt, S. Coquillart, P. Coiffet, “‘Boundary of illusion’: an experiment of sensory integration with a
pseudo-haptic system.” Proceedings IEEE Virtual Reality 2001. 2001.
380Jean-Claude Risset, Illusions musicales, Pour la science Hors-séries, Les illusion des sens, ed. française de scientific
americain, Avril/Juin 2003, (p.66).
381 M. Slater, M. Usoh, Y. Chrysanthou, “The influence of dynamic shadows on presence in immersive virtual
environments.” Dans : Selected papers of the Eurographics workshops on Virtual environments. vol. 95. Springer-Verlag,
1995.
171
Visuel et proprioception
En Réel
— une petite pièce d’appartement est inclinée de 8 degrés. L'angle n'est pas visible
de façon évidente : c’est seulement une fois à l'intérieur que notre équilibre est perturbé,
nous faisant tanguer comme sur un bateau. Cette contradiction entre ce que l’on voit et ce
que notre sens proprioceptif détecte rend difficile le passage dans cette pièce.
En Virtuel
— Marche redirigée
Nous avons vu l’avantage que peut produire un espace s’il est de la même échelle en réel et
en virtuel. Pour éviter notamment les cybermalaises et de trop fortes incohérences entre
notre sens visuel et proprioceptif, l’idéal est de pouvoir marcher librement dans le monde
virtuel de la même manière que dans le réel (cf. l’expérience de « passive haptic » de
Meehan et al. décrite ci-dessus). Des interfaces explorent le moyen de réaliser une marche
sur place (cf. le Cyberith) tout en avançant dans le monde virtuel, donnant l’illusion de se
déplacer.
172
« Experience indicates that the sense of presence in a virtual environment
is enhanced when the participants are able to actively move through
it. » 382
D’autres recherches, sous le nom de « marche redirigée », essayent de jouer sur nos
perceptions afin de nous faire croire que nous avançons loin et longtemps, tandis qu’en fait
nous tournons en rond. Par exemple, en jouant sur des paramètres visuels ou auditifs qui
peuvent bouger de manière imperceptible mais suffisante pour changer notre équilibre : si
l’environnement tourne lentement, l’utilisateur sera amené à le suivre doucement, tout en
croyant marcher tout droit.
Sébastien Kuntz 383 dans son blog note deux articles de 2008 intéressants sur ce sujet :
« Analyses of Human Sensitivity to Redirected Walking » de F. Steinicke et al. 384 ; et D.
Engel et al. « A psychophysically calibrated controller for navigating environments in a
limited free-walking space. » 385
382 D. Engel, C. Curio, L. Tcheang, B. Mohler[et al.], “A psychophysically calibrated controller for navigating through large
environments in a limited free-walking space.” ACM, 2008.
383 [En ligne, consulté le 25-09-2015. URL : http://cb.nowan.net/blog/2008/12/02/redirected-walking-playing-with-
your-perceptions-limits/ ].
384 F. Steinicke, G. Bruder, J. Jerald, H. Frenz[et al.], “Analyses of Human Sensitivity to Redirected Walking.” Proceedings of
the 15th ACM Symposium on Virtual Reality Software and Technology VRST,France. ACM, 2008, éd. par S. K. Feiner, D.
Thalmann, P. Guitton, B. Fröhlich[et al.].
385 D. Engel, C. Curio, L. Tcheang, B. Mohler[et al.], “A psychophysically calibrated controller for navigating through large
environments in a limited free-walking space”, op. cit.
173
Illustration 50. Marche redirigée : F. Steinicke et al.
Une autre méthode pour effectuer cette marche redirigée est d’utiliser notre faculté à être
aveugle à certains changements. En effet, plusieurs illusions d’optique sont basées là-
dessus : par exemple, la vidéo de Daniel Simons et Christopher Chabris de l’Université de
Harvard (1999) 387, met en scène des joueurs se passant une balle. Si nous nous
concentrons sur le nombre de passes, nous ne voyons pas qu’une personne déguisée en
gorille passe de nombreuses fois dans le jeu. Plusieurs procédés sont à l’œuvre jouant sur
notre cerveau qui choisit la meilleure solution en repérant seulement ce dont il a besoin
386 Ibid.
387 [En ligne, consulté le 08-05-2015, URL : http://viscog.beckman.illinois.edu/flashmovie/15.php ].
Cf. autre référence sur une expérience de cécité au changement, de Daniel Simons de l’Université de Harvard : sur le
remplacement de deux personnes différentes dans un hall d’accueil [En ligne, consulté le 08-05-2015, URL :
https://www.youtube.com/watch?v=y8CWOB3Vpjo ].
174
pour une tâche à accomplir (cf. compter les passes). Notons aussi le film « Whodunnit ? » de
l’institut anglais pour la sécurité routière 388, qui change petit à petit les éléments du décor
hors champ. À la fin, persque tout a changé (les personnages, le décor), mais nous ne nous
rendons compte de cela qu’après un revisionnage attentif et avec un autre angle de caméra.
Ceci n’est pas sans rappeler la technique du scénario progressif employé par les magiciens
pour petit à petit emporter le spectateur dans son monde. L’expérience Sightline 389 pour
Oculus Rift, s’inspire également de ce point : les objets et le décor changent lorsqu’on ne les
regarde pas.
Cette technique d’aveuglement au changement est utilisée par Evan Soma de l’université
de Californie 390 pour la marche redirigée : tout au long du parcours du sujet, les portes et
les pièces vont changer à son insu, lui faisant croire qu’il parcourt un long labyrinthe, alors
que finalement il fait toujours le même chemin suivant un rectangle.
Nous avons décrit plus haut l’illusion de la « Rubber Hand », dans laquelle à un moment
donné, selon les conditions de l’expérience, nous avons l’impression que la main artificielle
nous appartient. Finalement, nous nous adaptons à cette possibilité : un transfert d’une
partie de notre corps semble possible. Mais jusqu’où cette appropriation de cet autre corps
peut-elle aller ? De nombreux chercheurs explorent cette question. Notamment Mel Slater,
qui en a fait un axe central : il examine les différents impacts sur notre notion de « soi »
175
dans des environnements de réalité virtuelle. Jusqu’où pouvons-nous appréhender ce corps
virtuel ? Quelles en sont les conditions signifiantes ? Jusqu’où cela reste-t-il crédible ? Quels
paramètres influent sur notre comportement ?
Déjà largement « désignée » dans les jeux vidéo, la place de « notre avatar » joue un rôle
dans l’expérience vécue. La narration change de la 3e personne, plus distante, à la vue à la
première personne, plus impliquée 391.
Jaron Lanier, dans son article « Homuncular Flexibility in Virtual Reality » 392, montre à
quel point nous pouvons faire preuve de plasticité face à ce « corps virtuel ». Il expérimente
même le fait d’incarner un homard, une manière d’essayer de voir à quel point nous
pouvons accepter des corps éloignés du nôtre : par exemple avoir trois bras.
Notons également l’exemple, de l’expérience « Dumpy », conçue pour l’Oculus Dk1 393 dans
laquelle nous incarnons un éléphant. La seule interaction est de bouger la trompe avec
notre tête. Il est fascinant de voir avec quelle rapidité les personnes qui l’essayent se
placent dans la « peau de l’éléphant ».
Ainsi, plonger dans un autre corps semble pouvoir être crédible. M. Slater, dans son article
« Place Illusion and Plausibility Can Lead to Realistic Behaviour in Immersive Virtual
Environments » 394, montre en quoi être dans un corps virtuel d’apparence différente
transforme la perception de notre propre corps, et induit une plus forte présence, car
l’illusion d’espace (Pi) et de plausibilité (Psy) sont ici fusionnées.
391 L. E. Nacke, C. A. Lindley, “Flow and immersion in first-person shooters.” Proceedings of the 2008 Conference on Future
Play Research, Play, Share - Future Play ’08. 2008.
392 J. Lanier, J. Lee, J. Bailenson, A. Stevenson Won, “Homuncular Flexibility in Virtual Reality.” Journal of Computer-
Mediated Communication. 2015.
393 [En ligne, consulté le 08-05-2015, URL : http://dumpygame.com/ ].
394 M. Slater, “Place illusion and plausibility can lead to realistic behaviour in immersive virtual environments.”, op. cit.
176
Il va aller plus loin dans ses études, dans « Measuring the Effects through Time of the
Influence of Visuomotor and Visuotactile Synchronous Stimulation on a Virtual Body
Ownership Illusion » 395 , en montrant qu’un transfert plus fort peut s’effectuer lorsque le
visuel et le tactile sont synchronisés. Il va également montrer le lien de synchronisation
entre les mouvements du corps de la personne réelle avec ceux de la personne virtuelle.
Ainsi, nombre des expériences qu’il réalise incluent au moins une synchronisation des
mouvements de l’utilisateur capté par motion capture avec celui virtuel, et au mieux, une
synchronisation entre les éléments réels et virtuels.
En combinant ces capacités à être présent dans un corps virtuel et notre capacité à
transférer notre appropriation de notre corps (cf. Rubber Hand), des études ont démontré
notre disposition à nous transférer dans un corps complet et distant. 396
V. I. Perkovav et H. Ehrsson 397 réalisent cette « sortie de corps » avec un mannequin réel.
Une caméra est accrochée sur la tête du mannequin qui filme l’abdomen de ce dernier. En
face, une personne perçoit ce flux vidéo en temps réel à travers son casque de réalité
virtuelle. Une personne extérieure va toucher de manière synchrone le ventre du
mannequin et celui du sujet. Ainsi, comme nous l’avons déjà
examiné plus haut, la confusion du sens visuel et tactile va créer
un transfert, le sujet ressentant l’étrange impression d’être au
niveau du mannequin. L’expérience finit par l’approche d’un
couteau qui va entailler le ventre du mannequin artificiel, le
sujet effectuant alors un mouvement de recul assez net.
Cette plasticité nous permet ainsi de nombreux jeux en relation avec la perception de notre
corps, qui va ainsi influencer notre interaction avec l’environnement.
395 E. Kokkinara, M. Slater, “Measuring the effects through time of the influence of visuomotor and visuotactile
synchronous stimulation on a virtual body ownership illusion.” Perception. 2014, vol. 43, no. 1.
396 B. Lenggenhager, T. Tadi, T. Metzinger, O. Blanke, “Video ergo sum: manipulating bodily self-consciousness.” Science
(New York, N.Y.). 2007, vol. 317, no. 5841.
O. Blanke, S. Ortigue, T. Landis, M. Seeck, “Stimulating illusory own-body perceptions.” Nature. 2002, vol. 419, no. 6904.
397 V. I. Petkova, H. Ehrsson, “If I were you: Perceptual illusion of body swapping.” PLoS ONE. 2008, vol. 3, no. 12.
398 M. Slater, B. Spanlang, M. V. Sanchez-Vives, O. Blanke, “First person experience of body transfer in virtual reality.” PLoS
ONE. 2010, vol. 5, no. 5.
177
— Changer la perception de son corps
399 J. M. Normand, E. Giannopoulos, B. Spanlang, M. Slater, “Multisensory stimulation can induce an illusion of larger belly
size in immersive virtual reality.” PLoS ONE. 2011, vol. 6, no. 1.
400 K. Kilteni, J. M. Normand, M. V. Sanchez-Vives, M. Slater, “Extending body space in immersive virtual reality: A very long
arm illusion.” PLoS ONE. 2012, vol. 7, no. 7.
401 D. Banakou, R. Groten, M. Slater, “Illusory ownership of a virtual child body causes overestimation of object sizes and
implicit attitude changes.” Proceedings of the National Academy of Sciences of the United States of America. 2013, vol. 110,
no. 31.
178
En 2011, Ehrsson et al. 402 expérimentent
même le fait de s’approprier un corps
beaucoup plus grand ou petit (comme un
corps de Barbie), remarquant que cela
change notre rapport à la taille dans
notre environnement.
— Changer de comportement
— Slater, dans la reprise du test de Milgram 405, montre bien comment les
personnes sont affectées par ce qui arrive à l’avatar.
— « The Use of Virtual Reality in the Study of People's Responses to Violent
Incidents » de Slater et al. 406, montre comment une personne peut avoir une
402 B. van der Hoort, A. Guterstam, H. H. Ehrsson, “Being barbie: The size of one’s own body determines the perceived size
of the world.” PLoS ONE. 2011, vol. 6, no. 5.
403 T. C. Peck, S. Seinfeld, S. M. Aglioti, M. Slater, “Putting yourself in the skin of a black avatar reduces implicit racial bias.”
Consciousness and Cognition. 2013, vol. 22, no. 3.
404 K. Kilteni, I. Bergstrom, M. Slater, “Drumming in immersive virtual reality: the body shapes the way we play.” IEEE
transactions on visualization and computer graphics. 2013, vol. 19, no. 4.
405 M. Slater, A. Antley, A. Davison, D. Swapp[et al.], “A virtual reprise of the Stanley Milgram obedience experiments”,
op. cit.
406 A. Rovira, D. Swapp, B. Spanlang, M. Slater, “The Use of Virtual Reality in the Study of People’s Responses to Violent
Incidents.” Frontiers in behavioral neuroscience. 2009, vol. 3.
179
réponse émotionnelle quant à l’observation d’une scène de violence entre
deux personnes virtuelles.
Pour revenir sur la Carte de Présence de J. S. Pillai et cette possibilité de modéliser une
simulation dans une simulation, voici une expérience menée par M. Slater autour de la
profondeur de présence possible dans un environnement virtuel. Il va comparer dans
« Depth of Presence in Virtual Environments » 407 différents facteurs associés à la
présence : la sensation physique de gravité, la sensation de vide avec un précipice virtuel,
et la sensation d’avoir un acteur virtuel qui nous suit. Il va également introduire l’idée
d’empilement de profondeur (« stacking depth »), afin d’essayer de provoquer des
profondeurs de simulation. Ce qui m’intéresse particulièrement dans cet article, et qui
appuie mes arguments, c’est qu’il valide le fait que réaliser « une simulation dans une
simulation » augmente la présence.
Dans le protocole, plusieurs environnements virtuels sont possibles, et pour passer de l’un
à l’autre, deux moyens sont mis en place : soit le sujet passe par une porte, soit il place un
casque modélisé en virtuel. Il est montré que dans le cas du placement du casque virtuel
dans l’environnement virtuel, la personne rentre dans une profondeur supplémentaire de
présence.
L’article de Slater cite celui de K. M. Fairchild : « The Heaven and Earth Virtual Reality:
Designing Applications for Novice Users, » 408, qui déjà en 1993 ont mis en place une
expérience dans lequel deux environnements sont possibles : « the heaven », et « the
407 M. Slater, M. Usoh, A. Steed, “Depth of presence in virtual environments”, op. cit.
408 K.M. Fairchild and others, “The Heaven and Earth Virtual Reality: Designing Applications for
Novice Users,” Proceedings of IEEE Virtual Reality Annual International Symposium, 1993.
180
earth », l’un permettant de servir de guide pour les personnes qui n’ont jamais fait de
réalité virtuelle, et l’autre permettant d’entrer dans la tâche à accomplir. Cette expérience
propose ainsi « un protocole d’immersion ». Nous reviendrons sur cette notion de
réalisation d’un « contexte », qui est important dans mes créations car il contribue à une
progression évolutive dans l’expérience :
comment créer une progression de l’expérience par des passages entre différentes
« réalités » ?
181
B.2.5. Exemple : l’intelligence artificielle (IA)
D’autres types d’exemples sont liés au domaine de l’intelligence artificielle. Ce domaine
permet de doter les mondes virtuels d’entités autonomes. Dans des expériences de réalité
virtuelle, ces entités peuvent donc proposer à l’utilisateur une nouvelle dynamique
d’interaction : face à ces entités autonomes dont le comportement est moins prévisible, il
pourra plus improviser dans l’interaction. Comment l’intelligence artificielle peut-elle
apporter d’autres fonctionnalités et enrichir la relation de l’homme avec le dispositif, et de
ce fait, engager un type de présence particulier ? En quoi participe-t-elle à une
indiscernabilité de la frontière entre le réel et le virtuel ?
Denis Berthier, dans son livre, explore deux domaines principaux qui jouent sur la frontière
entre le réel et le virtuel : Le domaine de la réalité virtuelle, et celui de l’intelligence
artificielle. Il montre comment ces deux domaines se complètent et participent à provoquer
une indiscernabilité entre le réel et le virtuel, d’une part dans le cas de la réalité virtuelle
par une interopérabilité sensori-motrice entre l’homme et l’ordinateur, et d’autre part avec
l’intelligence artificielle qui vise « à établir une interopérabilité sémiotico-cognitive entre
l’homme et l’ordinateur (qui est vécue comme communication avec des agents virtuels) ».
182
D. Berthier considère avant tout la relation possible entre soit des agents artificiels avec
l’homme, soit entre agents artificiels entre eux. Partant d’une observation plus
structuraliste, il ne va pas s’attacher à examiner l’ordinateur comme un modèle de
l’humain, mais à étudier plutôt la relation qui se construit entre ces intelligences
artificielles et l’homme.
Pensons par exemple au fameux test de Turing (1950), qui mesure cette confusion du réel
et du virtuel dans la relation qu’entretient le sujet avec une machine ou un autre être
humain.
Notons que suite aux propos de Berthier, l’intelligence artificielle, incluse dans un dispositif
immersif, semble participer à entretenir l’effet de présence :
183
ce type de modèle est le traitement d’humains virtuels autonomes capables
d’agir et de réagir dans l’environnement virtuel. » 413
Modèle de Zelter :
« Métaphore de Pinocchio » :
184
le modèle en testant sa réactivité) et créateur (il modifie le modèle pour
l’adapter à ses besoins en définissant sa pro-activité). » 415
Autonomie et crédibilité :
Nous avons entre autres associé la présence au sentiment de crédibilité. Les auteurs
exposent que l’autonomie permet plus de crédibilité.
« Les univers virtuels, bien que de plus en plus réalistes, manqueront de crédibilité
tant qu’ils ne seront pas peuplés d’entités autonomes. » 417
Nous avons un point de vue plus modéré ; en effet, d’autres moyens comme ceux
exposés plus haut, liés par exemple à la présence et l’émerveillement, peuvent selon nos
hypothèses rendre également l’univers virtuel plus crédible, l’autonomie s’y ajoutant
sur le même plan. Ceci sera exploré par les différentes créations que nous étudierons en
deuxième partie.
C’est dans l’adaptation, la perception et les capacités d’action qui sont propres aux
entités autonomes qu’un système auto-organisé émerge. L’homme devenant une entité
au même niveau, pouvant influencer le système.
185
Réalité virtuelle et complexité :
Les auteurs proposent une nouvelle méthode d’étude cohérente avec cette
complexité sans cesse en évolution : « l’expérimentation in virtuo » 419. L’expérience
de réalité virtuelle permet ainsi, par son environnement évolutif et son interaction avec
l’homme, de créer un terrain d’expérimentation en constant changement, mettant le
réel et le virtuel au même niveau, et se concentrant sur les éléments émergents de ces
relations structurelles.
Nous retrouvons de ce fait nos intérêts, ainsi que des éléments propres à notre
méthodologie : la focalisation sur la relation réelle/virtuelle et le vécu de l’expérience
par le spectateur. Nous considérons cependant la complexité à un niveau plus large,
pouvant inclure aussi bien la complexité des modélisations comportementales des
agents dans le monde virtuel, que la complexité de la relation du spectateur avec son
environnement, qu’il soit réel ou/et virtuel. Ceci nous amenant à créer un réseau
d’expérimentations dans lequel des points de convergence signifiants pour notre étude
vont émerger.
Cette dernière vision de l’autonomie renvoie à la notion de seconde interactivité initiée par
Michel Bret, Marie-Hélène Tramus et Edmond Couchot dans le courant de la deuxième
cybernétique.
186
publie en 1948 « Cybernetics or Control and Communication in the Animal and the
Machine ».
Avec notamment les évolutions déjà évoquées dans les sciences cognitives 421 et
l’apparition de la théorie de l’énaction dans les années 1990 se distingue une deuxième
cybernétique, propre à ces systèmes émergents et auto-organisés.
C’est ainsi que dans les années 2000, Michel Bret, Marie-Hélène Tramus et Edmond
Couchot, par rapport à la première interactivité (action/réaction), proposent la seconde
interactivité 422, qui permet de doter le monde virtuel d’une autonomie et ainsi permettre
de faire émerger de nouvelles formes inattendues d’interactivité dans sa relation avec
l’homme. Nous y reviendrons dans notre état de l’art artistique afin d’en montrer l’impact
sur ce domaine.
Ces trois exemples ont permis de montrer les avantages d’un univers virtuel aux
caractéristiques autonomes. D’une part, par l’émergence de propriétés nouvelles
provoquées par la relation que peut entretenir le spectateur en interaction avec ce monde
virtuel ou mixte, constitué d’entités autonomes. Et d’autre part, par ce jeu d’indiscernabilité
du réel et du virtuel, qui est augmenté par ces êtres autonomes plus proches du vivant.
Nous prendrons néanmoins cet axe de l’autonomie comme un axe parallèle aux autres
paramètres de la présence, pouvant entrer ainsi dans notre boîte à outils au même titre que
d’autres moyens évoqués. La partie deux de notre mémoire permettra de clarifier, au
regard des créations, ces différents types d’effets qui nous intéressent et leurs possibles
caractéristiques de réalisation.
Nous verrons par exemple que j’ai principalement utilisé l’intelligence artificielle dans le
projet CIGALE 423. Ce domaine reste cependant une inspiration pour mes recherches dans
leur ensemble, et une possibilité afin d’ouvrir d’autres perspectives de créations. 424
187
C. CONCLUSION : CREER AVEC LA REALITE VIRTUELLE ET MIXTE ET
L’ILLUSION DE PRESENCE
Nous avons tout au long de cette partie, exploré le domaine de la réalité virtuelle et mixte,
afin de préciser en quoi il est pour moi un merveilleux médium aux nombreuses ressources
et inspirations pour ma création.
425 P. Bouvier, La présence en réalité virtuelle, une approche centrée utilisateur, op. cit., p. 75.
188
Amener à des prises de conscience de notre réalité non prédonnée,
mouvante et construite ?
Nous avons, tout au long de cette partie B, relevé de nombreuses propriétés liées au
médium de la réalité virtuelle et mixte, et plus particulièrement autour de l’effet de
présence induite sur le spectateur. Ces éléments nourrissent ma boîte à outils. Selon ma
création, je peux puiser dans cette boîte, afin de construire des expériences d’IRV.
Nous verrons dans la Partie II que, de ces créations réalisées avec ces outils, je vais ensuite
identifier des caractéristiques d’IRV propres à mon intention esthétique. Ceci dans le but de
créer ma propre palette de création d’IRV, qui pourra être source d’inspiration pour mes
futures réalisations et collaborations.
Pour permettre un fil conducteur dans l’étude des différentes créations, je pense qu’il est
nécessaire d’établir un modèle commun afin d’avoir une base fixe pour la comparaison. En
effet, nous verrons que mon processus de création et de recherche m’a amenée à explorer
de nombreuses réalisations. Certaines ont des points communs évidents, d’autres moins. Ce
qui les rassemble, ce sont les hypothèses et problématiques de ma recherche.
Ainsi, la base principale que je vais utiliser, un peu comme une toile particulière qu’il
conviendrait de choisir, est le dispositif réel/virtuel d’interaction/immersion et
l’effet de présence estimé qu’il provoque sur le spectateur.
Nous avons en effet vu que la présence entre par de nombreux points dans mes intérêts :
son aspect centré sur le spectateur amène à étudier de nombreux paramètres pour la
conception et l’étude de la réception, dont j’ai déjà exposé un aperçu. En faisant encore
l’analogie avec le peintre, je vais associer ces paramètres à des couleurs, qu’il convient
d’assembler afin de construire l’expérience dans laquelle la présence joue un rôle
fondamental.
Une première étape d’analyse est donc de concentrer mon étude sur d’autres paramètres
liés à la présence, mais également liés aux IRV :
créer ma propre palette de couleurs qui joue sur la présence, et ainsi avoir différents
moyens pour créer des ruptures avec l’habitude du spectateur.
189
Finalement mon objectif principal n’est pas d’essayer de garder l’utilisateur le plus présent
dans un seul environnement virtuel dans le temps de l’expérience 426, mais plutôt de jouer
sur cette présence et le passage du sujet d’un environnement à l’autre. Ressouvenons-nous
de la notion de basculement de gestalt (« Gestalt Switch ») de M. Slater et de cette notion de
porosité du sujet d’O. Nannipieri : ce qui m’intéresse, c’est comment créer ces basculements
(« Switch »). Edgard Morin précisait que c’est après le rêve que nous nous rendons compte
que nous étions dans ce monde onirique. Ainsi pour conduire à des prises de conscience
autour de notre réalité habituelle, quoi de mieux que de provoquer des cassures de
présence (« Break in Présence ») entre des réalités évoquées (cf. J. S. Pillai) ?
426 Ne pas provoquer de cassure de présence : ceci étant le plus couramment envisagé dans les applications de réalité
virtuelle, comme nous avons pu le voir.
190
de réalité (permettant ainsi de modéliser l’effet du passage entre le réel et le virtuel
selon le chemin parcouru sur ce modèle entre notre présence dans notre réalité
primaire et dans la réalité évoquée).
De plus, son côté modulable m’inspire beaucoup, surtout par rapport à ces cas de
simulation dans la simulation qui peuvent y être représentés.
Présence Présence
dans PR dans ER
Ainsi, selon la réalité évoquée (ER) dans le temps, le sujet oscille par exemple entre le
carré violet et orange : entre une présence dans notre réalité primaire (violet) et une
présence dans la réalité évoquée considérée (orange). Et de manière complémentaire, il
va osciller entre le carré bleu et jaune : entre une absence dans notre réalité primaire
(bleu) et une absence dans la réalité évoquée (jaune).
De ce fait, une oscillation apparaît en diagonale : lorsqu’il est présent dans sa réalité
primaire (violet), il est absent dans la réalité évoquée (jaune) ; et lorsqu’il est présent
dans la réalité évoquée (orange), il est absent de sa réalité primaire (bleu).
Plusieurs types de réalité évoquée sont alors possibles, jouant sur la présence et
l’absence : par exemple, plus la réalité évoquée est élevée et plus nous sommes absents
de notre réalité primaire.
427 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 256.
191
C.2.4. Le concept de dissonance cognitive du magicien Stefan Alzaris
Souvenons-nous (cf. Partie I.Chapitre 1.B.6.2) de l’explication du domaine de
l’illusionnisme référant notamment au livre Illusionnisme et Magie de Stefan Alzaris 428, qui
est inspirante pour nos créations : tout comme les paramètres liés à la présence, les
paramètres liés au domaine de la magie complètent nos outils.
Ce schéma permet, dans le temps, de montrer comment emporter le spectateur dans une
réalité évoquée (ER) à son insu. Plusieurs méthodes communes à la magie peuvent donc
être explorées avec la réalité virtuelle et mixte : créer une atmosphère particulière et jouer
ainsi sur le contexte ; établir un scénario progressif pour transporter le spectateur ;
« catalyser » la relation du spectateur avec l’œuvre ; créer des effets magiques et ainsi des
ruptures.
Cela justifie mon intérêt d’essayer de provoquer des cassures de présence (BIP) entre
plusieurs environnements tout en restant éloigné de notre réalité primaire (PR) :
finalement, via une première réalité évoquée (ER1) imbriquée dans une deuxième réalité
évoquée (ER2), ne pouvons-nous pas jouer plus facilement sur le passage entre différentes
réalités évoquées sans toucher à la réalité quotidienne (PR) ?
192
C.2.5. Proposition de mon modèle de plongée dans les illusions
J’ai abordé ce style de modèle lors de la conclusion sur l’étude des illusions (cf. Partie
I.Chapitre 1.B.7). Inspirée des schémas de palier de plongée et des schémas narratifs des
films, je suggère de représenter l’estimation des différents paliers de présence dans une
réalité évoquée (ER), atteints par le spectateur, dans le temps de la narration de
l’expérience. Ceci renvoyant au modèle de la Carte de Présence de Pillai (cf. ci-dessus), mais
permettant aussi un suivi temporel du vécu de l’expérience.
J’avais donné l’exemple d’un schéma de palier de plongée pour une expérience de magie (cf.
Partie I.Chapitre 1.B.7), en repérant deux réalités évoquées : la réalité habituelle du
spectateur (R0), et la « réalité du magicien » au palier P1.
Proposition d’un schéma de plongée pour un scénario d’une expérience de réalité virtuelle
Au regard de notre analyse sur la réalité virtuelle et son effet de présence, nous pouvons
également concevoir différents paliers de « réalités évoquées » dans des mondes virtuels.
Prenons l’exemple d’une personne qui va vivre une expérience de simulation de conduite
grâce à un casque de réalité virtuelle et un volant. Voici le schéma estimé :
193
Nous pouvons remarquer :
Précisons que les paliers de profondeurs ne sont possibles qu’à partir des paliers
supérieurs : dans le cas de notre exemple ci-dessus, c’est dans notre réalité habituelle que
nous mettons le casque de réalité virtuelle. La présence dans l’environnement virtuel (P1)
se « superpose » à notre réalité habituelle (ceci renvoyant au sentiment de réel, toujours en
arrière-plan d’une expérience de réalité virtuelle).
Nous verrons dans la Partie II, que ce modèle permettra de comparer mes installations
artistiques en termes de profondeur de présence dans des réalités évoquées, par rapport
temps. Pouvons-nous alors, par l’association de la réalité évoquée par le magicien, et celle
194
« évoquée » par le dispositif de réalité virtuelle, plonger encore plus loin le spectateur dans
les profondeurs de l’illusion ?
195
Chapitre 3. LES IRV ET L’ART : UN ART HYBRIDE
196
ART
Nous venons dans les parties précédentes de clarifier la base théorique de notre espace
d’investigation et de création. De par son aspect convergent entre différents domaines, il
convenait de décrire précisément les fils directeurs qui s’entrelacent, se répandent et
finalement se lient en ce lieu des illusions entre le réel et le virtuel (IRV).
Il est important de faire ressortir à nouveau que les trois frontières, du réel/virtuel, du
réel/illusion et du virtuel/illusion, sont explorées dans un contexte artistique, puisqu’elles
contribuent à définir l’espace même de ma recherche–création. Mes vécus, intuitions et
élans créatifs étant toujours en articulation avec ces études, j’expérimente artistiquement
cet espace des IRV. L’art est toujours là, et toujours moteur de cette recherche. Rappelons,
que ce soit dans les définitions, du réel, du virtuel et de l’illusion, ou que ce soit dans
l’approfondissement du domaine de la réalité virtuelle et de la réalité mixte en passant par
l’intelligence artificielle, que les guides de cette analyse sont d’une part personnels, liés à
mon enthousiasme d’une compréhension complexe, et d’autre part sont conduits par le
désir de chercher, de construire et de faire émerger des nouveaux outils pour la création
numérique.
Ce socle étant ainsi posé, il s’agit maintenant de faire ressortir à la lumière ces particules
d’art qui s’y agglomèrent. L’articulation manifeste entre ces éléments de recherche et les
observations expérimentales du terrain artistique sera de ce fait mis en évidence. De plus,
nous mettrons en vue, par un état de l’art exhaustif recentré sur notre propos, l’évolution
qui a inspiré ces formes d’arts numériques.
197
Je me rappelle encore ces moments marquants de mon enfance où me promenant sur le
boulevard Saint-Germain, je restais fascinée devant la galerie Denise René qui exposait des
tableaux aux couleurs changeantes selon le déplacement. Le souvenir de cette « rencontre »
avec Y. Agam, ne m’a jamais quittée. Mes premières expériences artistiques comme D’un
côté de l’autre 429 , le prouvent. Puis, j’ai été influencée par les surréalistes, tout
particulièrement par R. Magritte avec son univers onirique si saisissant. Très vite, j’ai
également particulièrement apprécié les installations dans lesquelles je me trouvais
littéralement englobée grâce à des jeux sur l’espace et les échelles ; elles me transportaient
dans un contact inédit avec l’œuvre, et par là même avec l’artiste.
Illustration 52. Alberto Giacometti, Head, Illustration 53. Jean Tinguely et Niki de Saint Phalle, Le Cyclop,
1962 1969-1994.
Egalement, lors de l’exposition Julio Le Parc au Palais de Tokyo en 2013, j’ai été fascinée
par ses créations, avec leurs lumières et leurs reflets chatoyants et absorbants. À la sortie
de l’exposition, je n’avais qu’une envie : créer et reprendre ma palette d’algorithmes afin
429 J. Guez, D’un Côté, de L’autre, 2003. Cf. description INTRODUCTION GENERALE.
198
d’essayer de nouveaux effets avec le numérique : par exemple, jouer sur l’espace réel avec
des reflets virtuels confondants et inhabituels.
Edmond Couchot dans son livre La technologie dans l’art : De la photographie à la réalité
virtuelle, distingue trois moments dans la « communication » artistique : « l’émission du
message, sa transmission et sa réception. » « Les artistes [vont] s’intéresser fortement à ce
découpage et à chacun de ces moments, en toute conscience ou intuitivement. » 430
De mon côté, je m’intéresse essentiellement à la manière dont le spectateur est capté par
l’œuvre, et comment il peut ressortir transformé de cette rencontre. C’est de ce fait, l’étude
de la transmission et de la réception qui vont prendre une grande part dans mon processus
créatif.
Tout ceci, m’a amené à étudier le domaine de la réalité virtuelle et mixte et de placer une
grande importance aux notions d’immersion, d’interaction, de présence et d’émerveillement.
J’expose ici un bref état de l’art du domaine artistique s’y rattachant, en montrant
également comment ce choix du médium numérique entre le réel et le virtuel peut apporter
de nouvelles formes d’explorations.
Les deux citations suivantes préciseront la direction dans laquelle j’ oriente ma recherche
dans les arts numériques.
430 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle. Jacqueline Chambon, 1998, p. 85.
431 Ibid.
432 Ibid., p. 211.
199
« Les technologies qui menaçaient de nous rendre grabataires, branchés,
mais inertes, comme le craint Virilio, semblent au contraire réhabiliter des
formes de sensibilité oubliées ou faire naître des dispositions et des
synesthésies inattendues. On est à l’ère des mélanges et des rencontres
surprenantes. Des rencontres qui ont la propriété de remettre en question
très immédiatement notre propre texture, notre rôle et, en définitive, notre
identité. » 433
Commençons par voir comment d’un art environnemental nous arrivons à un art
d’immersion dans des mondes virtuels ou mixtes ; et comment d’un art incitant la
participation du spectateur nous arrivons avec le numérique à un art interactif. Pour traiter
ces questions, je me suis inspirée des écrits de Frank Popper, d’Edmond Couchot et de
Marie-Hélène Tramus.
433 dir. L. Poissant, Interfaces et sensorialité. Ésthétique des arts médiatiques, 2003, p. 3.
200
A. ART ENVIRONNEMENTAL > ART IMMERSIF
Illustration 54. Joseph Kosuth, One and three chairs, Illustration 55. Yayoi Kusama, Dots Obsession, 1998
1965
434 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui. Klincksieck, 1985, p. 41.
435 Ibid., p. 86.
436 Ibid.
201
Poussé à une plus grande échelle, le Land Art prend comme socle l’environnement dans
lequel nous vivons : les villes, les champs, les déserts, tout devient une toile pour
l’imagination de l’artiste.
Illustration 56. Michael Heizer, Isolated Illustration 57. Dennis Oppenheim, Bus Home, 2002
Mass/Circumflex (#2), 1968-1972
L’espace peut ainsi se retrouver complètement déconstruit, comme les jeux de miroirs de
Dan Graham ou de Luc Peire.
Illustration 58. Dan Graham, Triangular Pavilion with Illustration 59. Luc Peire, Environment III, 1973
Circular Cut-Out Variation C, 1989-2001
202
A.2. L’immersion dans un monde virtuel ou mixte
Le spectateur plonge dans l’environnement de l’artiste qui peut également revêtir une
certaine dynamique : par exemple avec les Pénétrables de Jesús Rafael Soto, le spectateur
« a alors l’impression très forte de plonger dans un espace tridimensionnel dynamique
inhabituel qu’il perçoit non seulement par les yeux, mais par le corps et la peau. » 438
Il est intéressant ici de faire le parallèle de l’emploi du mot « plongée », avec un des
modèles choisis pour conduire mes recherches-créations (cf. Partie I.Chapitre 2.C.2.5) : le
schéma de palier de plongée en mer, qui, suite à toute cette étude sur la présence, m’a
semblé un excellent moyen pour identifier plusieurs profondeurs de présence dans des
mondes différents de notre réalité quotidienne. Edmond Couchot, comme nous l’avons vu
dans sa citation ci-dessus concernant les Pénétrables de Soto, emploie ce mot. Il identifie
même « la plongée dans l’image – l’exploration de sa profondeur tridimensionnelle. » 441
Louise Poissant, dans Interfaces et Sensorialité 442, reprend littéralement l’analogie de cette
plongée en mer, dans laquelle, équipés de notre scaphandre nous faisons petit à petit corps
438 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 87.
439 Mot repris du colloque : Des images habitables, Arts de la scène et 3D organisé entre autre par Clarisse Bardiot, 27/28
novembre 2013. [En ligne : consulté le 20-04-2015, URL : http://www.imageshabitables.com/].
440 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 12.
441 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 192.
442 L. Poissant, Interfaces et sensorialité, op. cit.
203
avec cet environnement moins habituel. Voici toute la citation, qui illustre, parfaitement
cette sensation d’immersion dans des mondes virtuels :
Comme le souligne Louise Poissant, n’oublions pas que cette immersion a besoin d’un
dispositif particulier, qui s’appuie sur le réel. Rien que le fait de respirer, d’avoir les pieds
encore par terre quand on met un casque de réalité virtuelle par exemple, montre bien en
quoi ce « sentiment de réel » est bien toujours là. Cependant, nous avons démontré
précédemment que le sentiment de présence peut être très fort dans ces mondes virtuels,
nous transportant pour un temps dans cet « autre possible » (cf. Partie I.Chapitre 2.B).
443 Ibid., p. 6.
204
L’artiste qui explore les possibilités de mixité encore plus marquées entre le réel et le
virtuel, va de ce fait, créer un contexte cohérent de rencontre entre ces deux espaces-
mondes, tel un collage 444 de plusieurs matériaux dont émerge un tout harmonieux. La
frontière entre le réel/virtuel peut ainsi devenir floue et permettre tout un jeu de
perception :
« Produire, coproduire, échanger, partager des images, des sons, des mots,
des gestes, des sensations, des idées n’est réalisable que si l’on se tient au
croisement du réel et du virtuel. Chiasme totalement utopique et
uchronique où s’hybrident intimement le sujet, l’objet et l’image, l’auteur,
le spectateur et l’œuvre, le calcul et le corps, l’algorithme et l’émotion. »
« Mais il faudra se souvenir que l’art pendant des siècles s’est nourri de
cette terrible et fascinante ambiguïté : soit qu’il nous fasse jouir de prendre
l’image pour le réel, soit qu’il nous trompe délicieusement en donnant à ses
œuvres les plus abstraites la puissance du réel. Ce désir d’ambiguïté
ressurgit, amplifié, avec le jeu du réel et du virtuel. Il entretient la
transe, il met le sens en suspens. Le refouler serait aussi nous
égarer. » 445
Pensons aux vidéos de Thomas Israël qui épousent différents supports dans un souci de
cohérence plausible et esthétique pour ainsi « donner différentes matières à la vidéo ».
Illustration 60. Thomas Israël, Le ventre du monde, Illustration 61. Thomas Israël, A Ma d’Azil, 2009
2009
Ou encore avec ces trompe-l’œil numériques que sont les projections illusionnistes (ou
Mapping vidéo) :
205
1024 Architecture, compagnie crée par
Pierre Schneider et François Wunschel,
s’intéresse entre autres, à toutes les
interactions entre le corps, l’espace, le son,
le visuel et les nouvelles et anciennes
technologies.
Ils ont réalisé des projections
illusionnistes impressionnantes sur des
façades d’immeubles, comme avec Illustration 62. , 1024 architecture, Perspective
Lyrique, an interactive architectural Mapping, Fête
Perspective Lyrique, présenté à la fête des des Lumières de Lyon 2010
206
L’utilisation également de vitre sans tain et de Pepper’s ghost par Pierrick Sorin 447 et
David Hoffos 448 crée cette matière étrange entre réel et virtuel.
Le spectateur est ainsi plus ou moins immergé dans l’environnement mixte réel/virtuel,
parfois simple observateur extérieur (cf. théâtre optique de P. Sorin), il peut être
complètement au centre de l’œuvre (cf. dans la grotte de T. Israël pour Ventre du monde,
2009).
447 Cf. Exposition visitée de Pierrick Sorin, 104, Paris, 2011. [Extraits vidéos en ligne, consulté le 16-09-2015. URL :
https://www.youtube.com/watch?v=mfumJtIgT8o ].
448 Cf. Exposition visitée de David Hoffos, Musée des beaux-arts du Canada, 2010.
207
B. ART PARTICIPATIF > ART INTERACTIF449
Nous nous sommes préalablement appuyés sur le postulat que la perception est liée à
l’action. Nous notons que de nombreux artistes se concentrent sur cette propriété active de
notre œil, afin de le solliciter, et ainsi créer des instants en rupture et continuité avec nos
habitudes.
C’est à partir des années 1950-60 que l’Op art et l’art cinétique explorent ce potentiel plus
en profondeur. L’exposition en 2005 (Strasbourg), « L’Œil moteur : art optique et cinétique,
1950-1975 » en a retracé un parcours signifiant 453. Cette notion d’« œil moteur » est
449 Cf. J. Guez, “De l’interaction à la présence — un art qui se vit”, op. cit.[En ligne, consulté le 16-05-2015. URL :
http://www.revue-proteus.com/abstracts/06-3.html ]
450
Z. Kapoula, L.-J. Lestocart, “Perception de l’espace et du mouvement dans Study of a Dog (Étude de chien) de Francis
Bacon.” Intellectica. 2006, vol. 2, no. 44.
451
M. Duchamp, Duchamp du signe : écrits. Flammarion, 1992.
452 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 241.
453 Ainsi que l’exposition « Dynamo », Grand Palais, Paris, 2013. Qui présente entre autre une partie du « Labyrinthe » du
GRAV de 1963.
208
d’ailleurs assez illustrative. Elle a été définie par Jesús-Rafael Soto et « aborde la question de
la vitesse de la perception, de la dynamogénie et de l’entraînement cinétique du regard » 454.
En 1955, la galerie Denise Renée avec son exposition « Le mouvement », titre non moins
évocateur, trace une lignée d’artistes dont le credo pourrait être : « C’est la perception,
avant tout, qui est du mouvement. » 455
454 E. Guigon, et al., L’Œil moteur : art optique et cinétique, 1950-1975. Musées de Strasbourg, 2005.
455 Cf. Ibid.
456 Cf. Manifeste jaune, 1955
457 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 50.
209
Christiant Megert, créé des espaces
infinis par jeu de miroir.
« “Imaginatoires”. Image, magie », double anagramme inventé par Jacques Prévert pour
désigner les Œuvres de Vasarely 458 ; images à double sens, découverte, émerveillement de
notre propre perception, seraient de bons qualitatifs pour de tels œuvres.
458 Cf. E. Guigon, et al., L’Œil moteur : art optique et cinétique, 1950-1975, op. cit.
210
En 1960, plusieurs de ces artistes optico-cinétiques se réunissent dans le groupe de
recherche en art visuel : le G.R.A.V 459. Ils vont, entre autres, s’intéresser « à l’instabilité des
mécanismes perceptifs. » 460
459 Cf. Exposition visitée : « Mouvement, lumière, participation. Le GRAV, 1960-1968 », musée des beaux-arts de Rennes,
2013.
460 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 90.
461 Ibid., p. 87.
462 Assez de mystifications, Manifeste du G.R.A.V. contenu sur un tract distribué lors de la 3e biennale de Paris en octobre
1963
211
Jesús-Rafael Soto, dans ces Pénétrables va
solliciter le spectateur, tactilement,
visuellement et proprioceptivement, à se
déplacer entre des tiges colorées et
englobantes.
212
Asdrúbal Colmenárez, va inviter le public
à manipuler ses œuvres afin de prendre
conscience du réel. « Pour moi, le plus
important est “l’événement” qui se produit
dans la relation œuvre-participant. » 463
Le public va prendre part à l’œuvre ainsi désacralisée : il est libre de l’explorer. Il peut
choisir sa rencontre avec elle : s’y tenir distant sans participer, ou se laisser porter par
« l’action créatrice » qu’elle propose ; par l’espace de liberté que l’artiste a laissé.
Le G.R.A.V. était attaché à cette idée de « comportement autonome » sans médiation, qui
construit toute l’émergence de la rencontre avec l’œuvre.
Souvent cet aspect ludique a pu, et peut être dénigré, vis-à-vis d’une conception
sacralisante de l’art. Il a cependant toute son importance et n’est pas dépourvu du plaisir
esthétique qu’il peut provoquer. Plus accessible, il permet une rencontre plus facile.
Descendu de son piédestal, il incite à une relation plus proche de la vie quotidienne.
463 « Para mí, lo más importante es el “evento“ que se produce en la relación obra-participante », Asdrúbal Colmenárez,
Catalogue, Tactiles Psychomagnetiques, 1969
464 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 196.
213
« Le concept artistique de jeu répond à un besoin esthétique fondamentale
de l’homme. » 465
Les membres du G.R.A.V. en 1966 dans Une journée dans la rue, investissent de nombreux
lieux de la ville : une voiture impossible, une douche de fils, des pavés mouvants, sont
d’autant de prétextes pour « réveiller le spectateur » de son habituelle vie citadine ; pour
« modifier le comportement et la conscience individuelle. » 466
214
B.1.3. Déclenchement
Vers cet engagement du spectateur participant, notons les œuvres qui demandent pour se
réaliser un déclenchement.
En 1920, Marcel Duchamp avec Rotary Glass Plates, invite le spectateur à tourner la
manivelle d’une machine pour qu’ensuite, si celui — ci se place suffisamment loin, puisse
voir les effets moirés que le mouvement tournant provoque. L’œuvre prend ainsi un autre
aspect par l’événement déclencheur que crée le spectateur, ce que Jean-Louis Boissier
caractérise de degré zéro de l’interactivité :
470 J.-L. Boissier, La relation comme forme : L’interactivité en art, op. cit.
215
B.2. L’art interactif
L’œuvre d’art se veut donc de plus en plus réactive avec le public et son environnement,
aidée notamment par l’arrivée du numérique, on parle alors d’art interactif 471 : le
spectateur se retrouve face à des œuvres numériques qui réagissent en temps réel par le
biais d’interfaces.
Plus que de provoquer une action, plusieurs œuvres sollicitent le spectateur par différents
moyens, afin de capter son attention. Remémorons-nous l’Helpless Robot (1969) de
Norman White qui appelle par une voix enregistrée à la rencontre pour venir le toucher et
l’aider à tourner.
En 1970, Myron Krueger, avec Vidéoplace parle de réalité artificielle pour décrire ce
monde numérique avec lequel le public réagit. Il ouvre ainsi la voie de l’utilisation des
471 « Je préfère donner deux indications seulement : premièrement, les arts interactifs impliquent une relation particulière à
l’œuvre ; deuxièmement, si l’on en est venu à parler d’arts interactifs, c’est à partir de la notion d’interactivité qui est elle-
même attachée au fonctionnement et à l’usage des ordinateurs.» : J.-L. Boissier, Les arts interactifs s'exposent-ils ? , ICHIM
05 - Digital Culture & Héritage / Patrimoine & Culture Numérique, 2005, p.3.
472 J. Glicenstein, “La place du sujet dans l’oeuvre interactive”, op. cit.
216
systèmes de réalité virtuelle en art. Mel Slater définit bien les caractéristiques de ce
nouveau médium 473:
« C’est un médium qui a le potentiel d’aller bien au-delà de tout ce qui a été
expérimenté auparavant en termes de dépassement des limites de la réalité
physique, en transformant notre perception de l’espace, et en altérant de
manière non intrusive les sens de notre propre corps. » 474
473 Cf. S. Beer, J. Guez, “Ideas about VR&AR as a new genre in fine arts.” VRIC’13 Proceeding of the Virtual Reality
International Conference: Laval Virtual, ACM, NY, USA. 2013, no. 16.
474“It is a medium that has the potential to go far beyond anything that has been experienced before in terms of transcending
the bounds of physical reality, through transforming your sense of place, and through non-invasive alterations of the sense of
our own body.” M. Slater, “Place illusion and plausibility can lead to realistic behaviour in immersive virtual
environments.”, op. cit.
217
De même avec les Pissenlits (1990) de Michel Bret et Edmond Couchot : le monde
virtuel représente des pissenlits et c’est en soufflant sur l’interface, un simple micro, que
les akènes s’envolent à la manière des vrais pissenlits. Là encore, le fait de connaître le
pissenlit et la façon dont les akènes s’envolent nous amène à entrer en relation avec le
monde virtuel, et à interagir de manière plus naturelle.
475 C.-Y. Chen, “Un monde pleinement énacté.” Dans : Action/Énaction , l’émergence de l’œuvre d’art, X. L’Harmattan, 2014.
218
1993 : Christa Sommerer et Laurent
Mignonneau, avec Interactive plant
Growing, vont placer de réelles plantes
comme interface. Le spectateur est alors
invité à les toucher pour voir sur la
projection en face de lui, se générer des
plantes virtuelles. L’interface est ici en
Illustration 81. C. Sommerer et L. Mignonneau,
cohérence avec le monde virtuel et réel et Interactive plant Growing, 1993
permet ainsi de faciliter le pont entre les
deux mondes.
219
1997 : Maurice Benayoun, avec World
Skin, utilise un CAVE pour faire entrer la
personne dans un espace virtuel qui
illustre un raid militaire. Munie d’un
appareil photo comme interface, elle est
invitée à prendre des clichées qui ont pour
conséquence d’enlever la texture de la
matière à l’endroit « mitraillé ». Illustration 84. M. Benayoun, World Skin, 1997
476 C. Scherrer, J. Pilet, P. Fua, V. Lepetit, “The haunted book.” Proceedings - 7th IEEE International Symposium on Mixed and
Augmented Reality 2008, ISMAR 2008. 2008.
220
B.2.2. Un art qui se vit
Certains artistes, en prenant comme exemple le vivant, ont créé de nouvelles relations
œuvres/spectateurs. Des œuvres qui par le développement informatique peuvent devenir
de plus en plus réactives et complexes dans leur développement. Nous voyons alors
apparaître des entités virtuelles capables de se générer 477, où l’artiste « plantant les
graines », laisse ensuite sa création évoluer et le surprendre, perdant ainsi le contrôle sur le
résultat final. Le spectateur quant à lui, dans l’interaction, apporte au système des éléments
l’alimentant et même parfois sans lesquels celui-ci ne peut exister pleinement.
Cette autonomie fait émerger de nouveaux rapports d’interaction. Michel Bret, comme nous
avons déjà pu le voir dans notre passage sur l’intelligence artificielle (cf. Chapitre 2.B.2.5.3),
va dans ce sens définir deux interactivités dont nous rappelons les caractéristiques :
477
Cf. A. Lioret, P. Berger, L’art génératif, jouer à Dieu...un droit? Un devoir. L’Harmattan, 2012.
221
son environnement afin de s’y adapter. Il s’agit bien là d’un comportement
que l’on pourrait qualifier d’“intelligent” et qui traduit le concept
d’autopoïèse introduit par Francisco Varela. » 478
C’est ainsi qu’il crée avec Marie-Hélène Tramus et en collaboration avec Alain Berthoz,
un avatar qui à sa propre « intelligence » : la funambule virtuelle (2000) avec laquelle se
crée un dialogue à double sens. Le système ne se contente plus de répondre aux stimuli du
spectateur, mais il va prendre en compte son environnement et y répondre en temps réel
selon sa perception et son apprentissage. L’œuvre se présente ainsi : une personne est
placée avec un capteur de position en face d’un être virtuel qui tient en équilibre sur un fil.
Ce dernier, grâce à son intelligence artificielle basée sur des algorithmes de réseaux
neuronaux lui permettant de mémoriser un apprentissage préalable à partir de quelques
exemples de rééquilibrage, est capable de retrouver son équilibre, face au spectateur qui le
déséquilibre, en trouvant d’autres solutions que seulement celles apprises. Le spectateur
sera alors amené à s’adapter dans le temps aux réactions de cet être virtuel, qui lui-même
s’adaptera aux siennes. Et c’est dans ce rapport dialogique et énactif, dans cette boucle
perception/action qu’une relation va se construire entre l’œuvre et son utilisateur : espace
d’émergence de nouvelles formes artistiques.
Avec cette « interactivité intelligente », ils ont tenté de concevoir « des acteurs virtuels qui
ne se comportent pas comme des robots mécaniques, mais comme des êtres dotés de
478 M. Bret, “L’Art à l’époque de sa numérisation.” Unité de Recherche «Esthétique, Art, Synergie environnemental et
Recherche. 2005.
222
perceptions et d’autonomie d’action, objectif essentiel si l’on veut que le dialogue gestuel avec
l’être virtuel soit riche, complexe, inattendu, et donne l’impression d’une relation vivante. » 479
« Si d’un certain côté, l’artiste perd une partie de la maîtrise sur son œuvre,
d’un autre côté, il gagne la possibilité de sortir de lui-même en laissant
l’être virtuel le surprendre par sa capacité d’interaction autonome et
évolutive et surprendre également ainsi le spectateur lui-même. Afin d’aller
dans la direction d’une interactivité que nous suggérons d’appeler “la
seconde interactivité” , mettant en jeu des relations à la fois plus complexes
et plus “floues” et se rapprochant de comportements humains intuitifs,
nous avons choisi de nous appuyer sur des modèles issus des sciences
cognitives et des sciences du vivant, notamment du connexionnisme et de la
génétique et de la physiologie de la perception et de l’action. » 480
Des œuvres qui sollicitent le spectateur, qui l’interpellent, et qui lui laissent une part plus
ou moins grande dans leurs relations : partant de celles qui ont besoin de lui activement
pour s’accomplir pleinement, à celles qui déjà autonomes, l’attendent dans une interaction
riche et énactive. Le spect-acteur garde alors la liberté de s’y confronter ou pas, de suivre
les règles ou d’inventer, de trouver ses propres chemins de compréhension dans ce
dialogue plaisant, surprenant, ou dérangeant. Un art qui se vit, ou Living Art 481, qui
provoque différents comportements, et qui laisse également la liberté et l’autonomie
partagées d’interagir.
479 M. Bret, M.-H. Tramus, A. Berthoz, “Interacting with an intelligent dancing figure : artistic experiments at the crossroad
between Art and Cognitive Science.” Leonardo for the Art Sciences and Technology. 2005, no. 38.
480 M.-H. Tramus, Recherches, expérimentations et créations dans les arts numériques : interactivité, acteurs virtuels. HDR.
Université Paris 8, p. 17.
481 Cf. F. Aziosmanoff, Living Art : L’art numérique. CNRS, 2010.
223
C. LA PRESENCE COMME FORME ARTISTIQUE DE LA RELATION ŒUVRE-
SPECTATEUR
Edmond Couchot parle de « transe sensorielle », pouvant être provoquée par certaines
œuvres :
« L’art produit, sans quoi il n’est pas art, un effet singulier de jubilation
sensorielle, de transe perceptive, propre aux formes sensibles qu’il met en
œuvre — qu’elles soient réalistes, abstraites, géométriques ou
conceptuelles, car cette transe peut naître aussi bien d’une forme
matérielle que d’une forme immatérielle – et sans laquelle celles-ci ne
sauraient ni capter, ni retenir le regard, l’écoute, l’attention. Tous les arts
482 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 222.
483 Ibid., p. 241.
224
jouent subtilement avec la transe, l’exaltent ou la tempèrent ; elle est
intense dans la musique et la danse, plus légère dans les arts visuels. »
« Mais la transe est transitoire. Instable, elle ne peut perdurer. Sans cesse,
le sens resurgit : l’art reprend ses multiples fonctions symboliques. Les
œuvres les plus fortes sont celles qui savent entretenir la transe sans
renoncer au sens et porter l’un et l’autre à leur plus haut point de
tension. » 484
C’est finalement de cette rencontre entre le spectateur et l’œuvre (trace de l’artiste), que
peut émerger un certain plaisir esthétique.
La relation 486 apparait donc comme une nouvelle forme esthétique que des artistes vont
développer. Ils vont essayer par différents moyens de provoquer chez le spectateur une
présence 487 particulière par leurs œuvres.
Nous avons vu, lors de la description de la présence en réalité virtuelle (cf. Partie I.Chapitre
2.B), que l’immersion et l’interactivité peuvent favoriser un certain attachement et degré
d’attention propices à la plongée du spectateur. Relevons dans le domaine artistique
quelques moyens supplémentaires, qui nous concernent, pour créer et entretenir cette
présence avec l’œuvre.
Nous avions relevé comment dans « Depth of Presence in Virtual Environments » 488 de Mel
Slater, la présence peut être amplifiée lorsque plusieurs environnements virtuels
s’intriquent les uns dans les autres (cf. Une simulation dans une simulation Partie I.Chapitre
2.B.2.4.3). J’avais également fait ressortir l’intérêt que je porte à cette notion de passage
484 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 258.
485 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 205.
486 Cf. N. Bourriaud, L’esthétique relationnelle, op. cit. Et J.-L. Boissier, La relation comme forme : L’interactivité en art,
op. cit.
487 Nous nous rapprochons de notre concept de présence déjà évoqué lors de notre description de la réalité virtuelle :
cette présence qui nait d’une illusion de réalité (personnelle et environnementale) provoquée par un média ou non. Ici,
nous considérons la présence pouvant être provoqué par des œuvres artistiques (tableaux, installations, etc.).
488 M. Slater, M. Usoh, A. Steed, “Depth of presence in virtual environments”, op. cit.
225
entre les différentes présences dans différentes « réalités », quotidiennes, simulées et
imaginaires.
Nous retrouvons ce concept dans les écrits de Marie-Hélène Tramus. Elle définit
l’interactivité comme un transformateur de réalité qui permettrait de créer des
passages possibles entre la réalité brute, artificielle et virtuelle.
C’est dans ce sens que j’alimente également mon processus créatif : comment
provoquer ces passages ? Comment établir les transitions sans être en trop grand décalage
envers les attentes du spectateur, et de ce fait, ne pas le perdre ?
Marie-Hélène Tramus, note également dans cette citation la place du corps qui n’est en rien
oubliée. Au contraire, il est finalement remis au centre de ces « passages ». Nous retrouvons
là le postulat du « sujet poreux » d’Olivier Nannipieri.
Le corps a inspiré de nombreux artistes, certains s’en servant comme « toile de fond » 490,
(Cf. Bruce Nauman 1967, Portrait of the artist as a fountain) ou d’autres comme véritable
accessoire de performances artistiques (Cf. performances de Gina Pane et Gilbert et
Georges). Mais ici, nous proposons de considérer le sujet actant dans l’œuvre : ce
spectateur qui vient vivre une expérience et fusionne ainsi en un être « mi-chair, mi-calcul »
(comme le précise Edmond Couchot) :
« L’œuvre est alors tout entière contenue dans la suite des expériences
perceptives singulières que vit et que peut revivre le spectateur au cours du
dialogue. Elle n’existe qu’à la condition d’être fréquentée, explorée,
489 M.-H. Tramus, “Le mode dialogique comme ‘transformateur de réalités.’” Actes des rencontres de L’Atelier Brouillard
Précis. 2002.
490 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 24.
226
éprouvée. Selon la formulation du neurobiologiste Francisco Varela, elle
est radicalement “expérientielle”. Elle est art du corps. » 491
Au-delà du vécu dans notre réalité quotidienne et dans cette réalité simulée, ce qui
m’interroge c’est de considérer également les passages possibles, au sein même de la
réalité virtuelle : comment créer d’autres passages vers une réalité plus imaginaire,
rêvée, d’illusion ?
Nous avons déjà longuement justifié notre attachement envers les illusions et le monde de
la magie et de l’émerveillement : de véritables portes d’entrée vers des renversements et
prises de conscience. Nous proposons dans la partie suivante quelques inspirations liées au
domaine artistique.
En art, les procédés qui créent « l’illusion de » sont multiples : « Les peintres savent depuis
longtemps que l’apparence d’une couleur, dans un tableau, dépend des couleurs avoisinantes
et que les luminosités s’y influencent mutuellement. » 492
Gombrich, dans son livre l’art et l’illusion, relie le domaine de la psychologie et le domaine
artistique, afin de dresser un tour d’horizon des rapprochements de « l’illusion » et des
œuvres, au fil de différents styles artistiques. Il explore cet outil de travail pour les artistes
qui désirent représenter la réalité (par des illusions de ressemblance, d’optique en passant
par le trompe-l’œil, les phénomènes provoqués par les contrastes et les couleurs) précisant
ainsi :
C’est ainsi que l’illusion peut être considérée comme un outil permettant de jouer plus sur
nos sensations : comme le ressenti de la perspective face à une œuvre de Canaletto 494.
491 M.-H. Tramus, Recherches, expérimentations et créations dans les arts numériques : interactivité, acteurs virtuels, op. cit.,
p. 43.
492 Jacques Ninio, La Science des illusions, op. cit., p. 67.
493 E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit.
494
Par exemple : Canaletto. Grand Canal: Looking South-West from the Chiesa degli Scalzi to the Fondamenta della Croce,
with San Simeone Piccolo. c. 1738. Oil on canvas. National Gallery, London, UK
227
Les artistes Opto-cinétiques déjà évoqués précédemment utilisent les illusions perceptives
afin de provoquer de réelles prises de conscience. Notons, par exemple V. Vasarely avec ces
illusions de relief, ou encore M.C. Esher et ses espaces tridimensionnels impossibles.
« Une idée commune les anime : agir directement sur l’appareil perceptif et
non sur la base psychologique et culturelle du spectateur. Il semble qu’en
sollicitant des perceptions élémentaires, tout en amont de la pensée, on
établisse un contact plus riche avec l’œuvre. L’instabilité de la
perception est provoquée et exploitée en toute conscience. Elle doit
permettre, à l’étape de la réception, l’ouverture de l’œuvre sur de multiples
effets de sens, d’interprétation. » 495
Ainsi : « le cinétisme, écrit Jean Clay, n’est pas “ce qui bouge”, c’est la prise de
conscience de l’instabilité du réel » 496
Les surréalistes, mouvement défini par André Breton dans son manifeste de 1924,
dénoncent la logique trop ancrée dans nos vies. Ils prônent un surgissement d’éléments du
monde du rêve et de l’imaginaire, sur la réalité.
495 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 91.
496 Jean Clay, « La peinture est finie », Robho num1, juin 1967.
497 M.-H. Tramus, Recherches, expérimentations et créations dans les arts numériques : interactivité, acteurs virtuels, op. cit.,
p. 111.
498 A. Breton, Manifeste du surréalisme. Folio, 1924, p. 18.
228
Quelques phrases du manifeste d’A. Breton permettent de faire ressortir certaines
thématiques fortes, en lien avec ma problématique :
499 Ibid., p. 4.
500 Ibid., p. 7.
501 Ibid., p. 20.
502 Ibid., p. 5.
229
absolue, de surréalité. » 503
« Rapprocher volontairement […] “deux réalités distantes” » 504
Les artistes surréalistes, mixent alors à la réalité, un espace onirique et décalé de toute
logique.
503 Ibid., p. 6.
504 Ibid., p. 18.
505 Salvador Dalí, La Conquête de l’irrationnel, Éditions surréalistes, Paris, 1935.
230
C.4. Vers la survirtualité ?
Nous reviendrons sur cette hypothèse lors de la partie sur mes créations.
Les créations de Pierrick Sorin abordent un côté merveilleux, avec ces théâtres optiques
qui reflètent de petits personnages sur une scène réelle. Moment de la vie quotidienne
imaginé, tout est bon à exploiter, même la danse dans un aquarium.
Jean-Paul Favand, directeur du musée des arts forains 506, réalise des pièces entre réel et
virtuel, où une écorce d’arbre peut prendre l’allure d’une tête énigmatique, où le
Daguerréotype est remis en avant avec une séquence animée et poétique. Par le virtuel, il
donne à voir un aspect de la matière et « dévoile » ainsi les objets. Ses objets entre réel et
virtuel « [permettent] une illusion du monde pour éveiller notre curiosité endormie. » 507
506 Le musée des arts forain, ouvert principalement une fois par an autour des fêtes de Noël est un lieu où magie,
immersion, manège, équilibristes, etc. se mêlent.
507 J.-P. Favand, Virtualia : Féeries numériques. Catalogue d’exposition du Centre des arts d'Enghein-les-Bains, 2013, p. 18.
231
nouvelles techniques de lumière m’apportent les outils supplémentaires
pour interpeller par l’illusion, pour mieux montrer grâce aux éclairages et
aux détourages offerts par le vidéoprojecteur. Mais j’utilise aussi des objets
figuratifs issus de la nature où très souvent une image peut en cacher une
autre. »
Et deux exemples de compagnie qui utilisent le virtuel dans des spectacles de magie.
232
Illustration 93. J. Mulatier, Virtualia, 2013
Illustration 94. Cie 14:20, Ellipses, 2013 Illustration 95. Cie 14 :20, Vibrations, 2012
233
D. ART DE LA SCENE ET SCENOGRAPHIE REELLE/VIRTUELLE
Nous avons déjà évoqué quelques spectacles de magie, mais j’aimerais exposer quelques
caractéristiques et exemples de cet art entre le réel et le virtuel interactif, au niveau des
« digital performances » 511. Terme initié par Steve Dixon et Barry Smith, et employé par
Clarisse Bardiot qui en étudie les caractéristiques. L’article de Leonardo OLATS, qu’elle a
écrit permet de donner un aperçu riche de cette manière d’utiliser le numérique comme
élément central « en ce qui concerne le contenu, la technique, l’esthétique ou le résultat
final » 512 dans le processus créatif des arts de la scène.
Je ne prétends pas ici exposer un état de l’art complet sur les digital performances, mais
plutôt ressortir quelques caractéristiques qui m’intéressent, et identifier quelques
créations en ce sens.
Deux questions principales m’animent, et nous le verrons, seront les lignes directrices de
certaines scénographies que j’ai pu réaliser.
En relation avec les interfaces sensorielles et motrices, déjà évoquées avec l’étude de la
réalité virtuelle et mixte (cf. Partie I.Chapitre 2.A.1.1.3), je vais partager les exemples en
deux parties, bien évidemment complémentaires : les moyens de visualisation (je vais me
focaliser sur le sens visuel), et les moyens d’interaction.
234
D.1. Les moyens de visualisation
Comment les images envahissent la scène ? Par quels procédés, les acteurs peuvent
s’hybrider avec elles pour former un tout ?
235
Le collectif Dumb Type avec [Or] (1997),
présente un cyclorama hémisphérique sur
lequel est projeté l’image, comme élément
central de leur scénographie.
236
La compagnie de théâtre Teatro cinema
crée un dispositif avec un écran en fond de
scène et un tulle devant. Ainsi, les acteurs
sont entre ces deux projections,
permettant une confusion du réel et du
virtuel, entre théâtre et cinéma. Sur Paris,
en 2009 au théâtre des Abbesses, j’ai pu
Illustration 103. Cie Theatro cinema, The Man Who
assister à « L’homme qui donnait à boire Fed Butterflies, 2010
« Il semblerait que le numérique donne une nouvelle vie au Pepper’s ghost, tant les
spectacles ayant recours à ce stratagème se multiplient ces dernières années. » 514
237
La compagnie Haut et Court, dirigée par
Joris Mathieu, crée en 2011, Ubik/Orbik.
Inspiré de la fiction de Philip K. Dick, il
emporte le public dans un monde où les
lois physiques sont dépassées. Entre
technique de Pepper’s ghost traditionnel
(les acteurs sont cachés dans un trou à 45 Illustration 105. Cie Haut et Court, Ubik/Orbik, 2011
degrés de la surface réfléchissante et
apparaissent tels des fantômes sur scène)
et projection plus moderne ; réel et virtuel
se confondent.
Deux principaux moyens d’interaction entre le réel et le virtuel sont à mettre en évidence, il
s’agit de l’impression d’interaction temps réel, et de l’interaction temps réel.
Dans le spectacle de Michel Lemieux 4Dart, déjà (Cf. Illustration 104. Cie 4d Art, La Belle
exposé plus haut, les acteurs, se synchronisent avec et la Bête, 2011)
l’image pour créer l’illusion du temps réel. Un travail
de régie important permet également d’envoyer les
238
vidéos au bon moment.
239
Dans Glow (2006) de ChunkyMove,
l’image projetée sur le sol, suit les
mouvements des danseurs.
240
E. CONCLUSION : LIEN ARTISTE <> ŒUVRE <> SPECTATEURS
Une évolution constante des technologies amène petit à petit à une redéfinition des
paradigmes qui nous entourent. Elles envahissent notre société, et sont au cœur des
recherches actuelles. Cette « matière » en constante évolution nous envahit presque
comme une seconde peau. Elle devient accessible et quasi transparente 519, nous apportant
de nombreuses applications qui changent notre façon de vivre.
L’art ne peut que participer à cette effervescence. Ainsi, comme le précise Edmond
Couchot : « La question n’est pas de savoir si un art numérique est possible, mais comment le
numérique a changé et change l’art. » 520
Il n’est alors pas étonnant que des artistes en soif de dépassement des limites
questionnent, critiquent, manipulent, utilisent ces nouveaux médias pour véhiculer leur art.
L’artiste Vuk Cosic décrit : « Chaque nouveau média n’est que la matérialisation des rêves de
la génération précédente » 521, permettant ainsi l’émergence de nouvelles matières de
création dans de nouveaux espaces, en accord avec notre temps.
Frank Popper dans ce contexte, montre comment le rôle de l’artiste se retrouve modifié et
comment une esthétique nouvelle apparaît. Le fameux lien entre l’artiste, l’œuvre et le
spectateur se retrouve bouleversé et remis en question.
519 « La transparence, ou" l’immediacy" selon Bolter et Grusin (2000), caractérise un média qui s’efface, qui veut faire oublier
son existence aux personnes qui l’emploient, afin que celles-ci s’exemptent de compétences techniques et afin de simuler une
forme de réalisme perceptif ». Imad Saleh et Hakim Hachour, Le numérique comme catalyseur épistémologique, Revue
française des sciences de l'information et de la communication, [En ligne, consulté le 11-01-2014. URL :
http://rfsic.revues.org/168].
520 Edmond Couchot, Numérique Art, Encyclopædia Universalis [en ligne, consulté le 13-11-2012. URL :
http://www.universalis-edu.com/encyclopedie/art-numerique /].
521 Citation recueillit par la revue Leonardo en ligne : Annick Bureaud, Qu'est-ce que l'art des nouveaux médias?,
Leonardo/Olats &, avril 2004. [En ligne, consulté le 13-11-2012. URL :
http://www.olats.org/livresetudes/basiques/2_basiques.php ].
Vuk Cosic, artiste né en 1966, joue un rôle important notamment dans l'art en réseau et l'art ASCII.
241
“actants”, et qui débouche sur de nouvelles formes de créativité […] qui
débordent parfois du cadre artistique traditionnel. » 522
C’est un art plus populaire et accessible, qui instaure de nouvelles pratiques pour
s’actualiser.
Il incite à sortir du cadre des arts plastiques, par son utilisation de divers matériaux.
Ainsi, et nous le verrons, il est fréquent de ne plus avoir « un seul » créateur, mais plutôt
une équipe. Plusieurs modèles d’équipes sont visibles aujourd’hui en art numérique :
Pour ma part, et nous le verrons avec les créations qui seront étudiées en deuxième partie,
je me situe entre les trois derniers profils : d’une formation scientifique, technologique et
artistique, je désire connaître au mieux mon médium numérique, afin d’en tirer de
522 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 194.
523 Ibid., p. 338.
242
nouvelles formes artistiques (d’où cette thèse en grande partie, et mon affiliation au
laboratoire INREV 524 qui prône l’apprentissage aussi bien technologique qu’artistique).
Nous pourrons donc identifier dans la suite de ce mémoire, des créations dont j’ai insufflé
l’idée principale, en lien directement avec ma problématique de recherches ; et d’autres,
générées par l’association des idées de plusieurs personnes.
Je fais ainsi partie d’un groupe de chercheurs, artistes, ingénieurs, où nous sommes
d’ailleurs un peu tout cela à fois. Nous réalisons de nombreuses installations dont les
thématiques principales tournent autour de l’art et la réalité virtuelle et mixte, chacun avec
sa spécialité propre (interaction gestuelle, graphisme temps réel, développement de réalité
virtuelle, présence et illusion…), mais avec cette énergie et passion commune de création et
de recherche. Ces partenaires seront conséquemment cités lors des crédits liés à chaque
création citée ci-après.
524 Équipe Image Numérique et Réalité Virtuelle du laboratoire Arts des Images et Art Contemporain, Université Paris 8.
243
SYNTHESE PARTIE 1
Nous avons dans cette partie, développé l’aspect théorique central de cette thèse. Étant
donné notre processus de recherche et de création complexe, nous avons parcouru
différentes disciplines afin, dans leur contexte, de faire ressortir ce qui se rattache à nos
intérêts principaux.
Le fil directeur du sujet sur les illusions entre le réel et le virtuel ainsi que notre
problématique et hypothèse permettent de faire converger ces éléments théoriques en des
points essentiels pour cette étude.
Le chapitre 1
Il a permis de décrire au mieux mon espace de création. En commençant par une
explication du choix du sujet, en relation avec mon parcours, mais également mes
envies. Entre art, science et technologie, j’ai trouvé dans l’espace des illusions entre le
réel et le virtuel, des outils essentiels à mon élan créatif et ma soif de découverte. Faire
participer le spectateur, jouer sur les limites de sa perception, le surprendre,
l’émerveiller, sont autant de points qui nourrissent ma question principale :
Comment dans l’espace d’hybridation des illusions entre le réel et le virtuel (IRV),
créer des expériences d’illusions qui vont perturber et émerveiller le spectateur
par des déstabilisations de ses perceptions habituelles ?
Une fois mes intérêts exposés, il convenait de bien définir cet espace des IRV. En effet,
cet espace aux multiples branches disciplinaires et conceptuelles n’est pas évident à
concevoir. De plus, je voulais mettre l’accent sur ce qui m’animait personnellement et
ainsi expliquer clairement quelles sont les définitions qui concernent ma recherche-
création.
Partant de ce réel humain, non prédonné et qui se construit constamment par notre
physiologie et notre rapport avec notre environnement, nous le concevons souvent
comme immuable. Les illusions paraissent un moyen des plus attrayant pour créer des
portes d’entrée vers un renversement de nos préjugées. Ce distinguant par leurs
ambiguïtés face à nos habitudes sensorielles et motrices, elles sont de véritables
vecteurs de connaissances vers cette source de réel mouvant. Le virtuel, partageant
244
l’espace du réel, est dans ces conditions un parfait élément pour imaginer d’autres
réalités, des plus réalistes au plus rêvées, et créer des illusions des plus confondantes.
Ainsi, de la frontière entre le réel et le virtuel, j’ai précisé mon espace de création :
Un espace hybridant le réel, le virtuel et l’illusion, qui explore différentes
expériences possibles, par des dispositifs mixant innovation et ancienne
technologie.
Le chapitre 2
Une fois cette base théorique énoncée, il convenait de montrer comment l’utiliser. Quels
outils la caractérisent le mieux ? C’est dans le domaine de la réalité virtuelle et mixte
(comprenant ici, l’intelligence artificielle) que j’ai trouvé la réponse. En effet, entre
immersion, interaction et présence, entre le réel et le virtuel, cette spécialité
interdisciplinaire m’offre de nombreux points de réflexion et de matières pour mes
créations. La précision de cette étude menée était nécessaire, afin de bien établir les
caractéristiques de ce médium que je vais utiliser. La notion de « présence », qui
considère le spectateur au centre du dispositif, est une des données fondamentales qui
sera toujours existante dans mes installations.
C’est pourquoi, en conclusion de cette étude sur la présence, j’ai mis en évidence cinq
modèles complémentaires qui seront des guides pour la création et l’analyse de mes
installations artistiques. Ils ne seront pas systématiquement exposés, mais
influenceront mon processus de création :
245
conception des scénarios d’expériences pour amener petit à petit la personne
vers une réalité alternative ;
5. et enfin, le modèle de palier de plongée permet de mettre en évidence, dans le
temps, la profondeur de présence dans les différentes réalités possibles de
l’expérience (simulées, imaginaires), liée à la narration, et donc au scénario mis
en place.
Le chapitre 3
Dans ce chapitre, un état de l’art non exhaustif du domaine artistique est dressé à la
suite des éléments théoriques exposés qui les éclairent, et afin de permettre de
donner des exemples d’expériences artistiques qui me touchent particulièrement.
J’ai voulu aussi montrer comment le numérique a permis une évolution de concepts
relatifs à des courants artistiques qui ont précédé son apparition et qui ont leurs
histoires : par exemple ceux de l’art environnemental et participatif, en regard de
ceux de l’art immersif et interactif.
Nous avons parcouru le domaine des installations artistiques, du land art et
des digital performances, en vue d’exposer le caractère « pluri-artistique » (cf. Frank
Popper) de cette démarche d’art numérique. Nous avons vu que le rôle de l’artiste se
trouve modifié par ces évolutions, permettant de nouveaux modèles plus
collaboratifs et interdisciplinaires.
246
247
Partie II. PARTIE PRATIQUE :
ÉMERGENCE D’UNE PALETTE D’IRV
248
249
Chapitre 1. DESCRIPTION ET ANALYSE DE MES
CREATIONS
250
La partie 1 a permis de construire ma boîte à outils théorique qui s’inscrit dans mon espace
de recherche-création des IRV, à travers notamment le domaine de la réalité virtuelle et
mixte, et le domaine artistique.
Dans ce chapitre, je vais exposer les dix installations artistiques que j’ai réalisées au cours
de ce doctorat, et qui se nourrissent de ces outils théoriques.
Je vais également étudier trois digital performances auxquelles j’ai contribué, et qui, sans
faire partie de mon analyse générale, alimentent ma recherche autour des IRV.
_La phase de rencontre de l’œuvre avec les spectateurs : Spectateurs <> Œuvre
251
Spectateurs Œuvre Artiste
Création Réception
Par cette démarche itérative, mes créations sont toujours en évolution. Ainsi certaines ne
seront exposées qu’une fois, alors que d’autres seront déclinées en plusieurs variantes,
selon les opportunités et les développements en cohérence avec ma recherche-création.
J’ai effectué au cours de ce doctorat plus d’une dizaine de réalisations. Nous verrons
qu’elles apportent chacune différentes matières à notre palette d’IRV.
252
Ainsi, cette démarche s’inspire d’un processus évolutif et itératif tel que l’évolution
darwinienne : les créations qui « survivent », sont celles qui passent à travers la sélection
naturelle influée par ma recherche-création et ma capacité à les développer (opportunités,
temps imparti, etc.).
C’est finalement tout un réseau de créations qui s’auto-organise par cette approche,
laissant ainsi une liberté dans les directions et contextes de réalisation, et donc une plus
grande diversité de propositions. .
Nous verrons que mes créations sont réalisées dans des contextes artistiques différents
(jeu vidéo, projet de recherche interdisciplinaire, projet transmédia, installation
numérique, digital performance, etc.), avec des collaborateurs variés. Mais toujours avec
ma problématique de recherche en axe central, et l’objectif d’explorer de nouvelles formes
artistiques d’illusions entre le réel et le virtuel.
A.1.4. Finalité
Ainsi, par ce processus de création itératif et en réseau prenant en compte la synergie
spectateurs <> œuvre <> artiste, je désire distinguer de nouvelles formes artistiques issues
de ces illusions entre le réel et le virtuel (IRV), afin d’identifier ma propre palette d’effets.
Cette palette vise à permettre de nombreuses combinaisons d’effets, dans des dispositifs
253
variés. Elle peut également inspirer de nouvelles formes artistiques dans différents
domaines.
Lors de la conception, je vais alors m’interroger sur les moyens de créer un dispositif qui
prend en compte ce lieu de contact avec le spectateur, aussi bien dans le temps que dans
l’espace de l’expérience. Je caractérise ainsi deux modes de conception de ces dispositifs :
« la mise en relation » et la « mise en espace ».
Peut-être nous rapprochons nous de ces fameux « outils d’art » de Piotr Kowalski, qui
propose entre art, science et technologie, d’être le lieu d’expériences sensibles.
C’est finalement une rencontre que nous proposons d’explorer, entre deux entités qui ont
chacune un environnement propre lié à leur existence : le spectateur et l’œuvre. Comment
254
communiquent-ils ? Quels sont les canaux permettant une compréhension de chaque côté ?
Quelles sont les limites de cette rencontre ?
Toute une narration de contact entre le réel et le virtuel est à mettre en place dans le temps
de l’expérience, afin de créer cette relation :
Le dispositif imaginé doit donc prendre en compte d’une part les intentions artistiques
liées à la création, mais d’autres part le lieu d’exposition. Une même installation aura ainsi
des variantes de présentation selon le lieu.
De plus, axant nos intérêts sur des espaces mi-réels, mi-virtuels, il convient de donner
corps à cette hybridation dans l’espace.
255
A.2.2. Classification adoptée dans ce manuscrit
Suivant mon processus créatif et les objectifs visés par mes problématiques et hypothèses
soulevées, je présente mes créations selon une classification singulière :
J’ai choisi de présenter les installations selon le concept de « mise en espace » déjà évoqué
ci-dessus. Deux paramètres attirent principalement mon attention dans la conception
architecturale du dispositif d’hybridation réel/virtuel.
Réel Virtuel
256
Ces deux paramètres s’imbriquent, permettant des combinaisons variées.
Je réalise principalement des installations artistiques et l’analyse de mon espace des IRV se
concentre sur ce domaine. Cependant, j’ai également participé à des scénographies pour
des digital performances.
Ainsi, nous commencerons par les descriptions des installations, pour ensuite faire un tour
d’horizon de mes conceptions pour la scène théâtrale. Même si elles ne participent pas à
l’analyse globale, elles apportent de la matière pour l’exploration d’IRV dans un autre
contexte et sur une autre synergie (spectateurs, acteurs, monde réel/virtuel).
Rappelons que je vais utiliser comme base principale pour mes créations — comme une
toile de tableau qu’il conviendrait de choisir avant de peindre — le dispositif de réalité
virtuelle/mixte et son effet de présence estimé sur le spectateur. Puis je vais y associer mes
propres illusions entre le réel et le virtuel : mes couleurs, qui jouent sur la présence et les
habitudes du spectateur.
Il est également important de noter que mon implication diffère dans chacune de ces
créations. Selon le contexte de réalisation et les partenaires, j’ai participé à différents
niveaux : j’ai initié certains projets, j’ai participé à d’autres, j’en ai co-créé, etc.
Je relève principalement dans cette étude ce qui enrichit ma recherche. Ainsi, certaines
descriptions seront plus courtes que d’autres, pointant les éléments essentiels.
257
Je vais exposer dix installations et trois digital performances. Par souci de clarté, je ne
répèterai pas systématiquement les détails qui seront communs à ces créations, mais je
relèverai plutôt les points par rapport à leur pertinence et leur importance dans les projets.
Par exemple, pour l’aspect du développement technologique, j’ai utilisé des méthodes et
logiciels variés, mais il ne sera vraiment intéressant d'en faire part que lorsqu'il y aura un
lien avec ma démarche de recherche.
Je vais décrire chaque création l’une après l’autre. Voici les étapes qui seront communes à
chaque description afin d’aider à la comparaison et à l’identification des éléments
signifiants.
258
Elle s’inspire des études, qualitatives et quantitatives, sur la présence réalisées dans le
milieu scientifique, et de la méthode des entretiens d’explicitation. Avec ces analyses, c’est
l’émergence d’une direction esthétique me convenant qui est recherchée.
Afin d’analyser la réception de l’œuvre, je m’inspire des méthodes évoquées dans la Partie
I.Chapitre 2.B.2.3.1 : études comportementales (présence réflexe, comparaison avec le
comportement réel et recherche d’invariants), questionnaires sur la présence et entretiens
d’explicitations. J’aspire ainsi à recueillir de la matière pour mon observation personnelle,
afin d’alimenter ma palette d’effets et guider d’autres conceptions. Je ne prétends pas
essayer de mesurer de manière scientifique les réactions face à ces installations et en
ressortir des conclusions objectives, mais plutôt faire émerger des « moments
esthétiques », en relation avec le ressenti des spectateurs. Ainsi, je recherche et
j’expérimente plusieurs manières de recueillir ces retours, selon l’installation et les intérêts
esthétiques qui s’en rapprochent : ces analyses évoluent selon les expositions et les
réalisations, m’amenant à créer itérativement, divers questionnaires et manières de
réaliser des entretiens.
Ces analyses sont guidées par mes intentions esthétiques, et ainsi par mon hypothèse de
recherche principale :
la réalité virtuelle et mixte, par la mise en relation et la mise en espace de jeux sur
les frontières entre le réel et le virtuel — jeux de transitions, de ruptures, de
superpositions, et d’indiscernabilités — permet l’émergence de nouvelles formes
artistiques de l’illusion qui déstabilisent et émerveillent le spectateur.
Par cette hypothèse, j’interroge donc la possibilité suivante : si des jeux de frontières entre
le réel, le virtuel et l’illusion sont créés et perçus par le spectateur, alors ce dernier pourrait
ressentir des effets de déstabilisation et de surprise, associés à l’émerveillement.
En considération de cette hypothèse, je vais donc identifier grâce aux retours des
spectateurs :
— d’une part, les jeux de frontières perçus entre les différents environnements
réels/virtuels.
259
Plusieurs types d’environnement de présences : présence personnelle
et environnementale dans différents environnements 529, présence
dans un environnement avec ou sans corps virtuel 530, présence mixte,
etc.
529 Cf. Partie I.Chapitre 2.B.1.2.3. Rappel : la présence personnelle « exprime le fait que le sujet se sente comme s’il était
localisé dans l’environnement virtuel. » ; pour la présence environnementale « il est non seulement nécessaire que je me
sente présent dans un environnement, mais, également, que l’environnement me paraisse être lui aussi réellement présent. »
Nannipieri, p. 151.
530 La présence dans un environnement avec ou sans corps virtuel apporte plusieurs interrogations : comment être
présent dans un monde où mon corps est absent de toute représentation ? Comment établir une relation (communiquer)
avec un acteur virtuel distant ? Comment accepter un corps virtuel différent du nôtre ?
531 Cf. E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 258.
260
A.3.5. Conclusion générale suite à la description et l’analyse des
créations
Cette étape d’analyse générale va permettre, par une « méta-analyse », de relier les
observations signifiantes émergeant des installations artistiques, en m’appuyant sur
l’aspect théorique de ma recherche et ses modèles associés.
Elle va classer les « couleurs » trouvées dans les frontières de l’espace des illusions entre le
réel et le virtuel, afin de construire une palette d’effets.
Elle va explorer le modèle de palier de plongée pour chaque installation (cf. Partie
I.Chapitre 2.C.2.5 ), afin de les comparer.
Elle va conclure de ces analyses, mes tendances de création artistique dans l’espace des
IRV.
Pour chacune des installations (Cf. Partie II.Chapitre 1.B), classées selon la mise en espace
du spectateur dans le dispositif réel/virtuel, quatre étapes se succèdent afin de les décrire
et les analyser.
Ces quatre étapes sont aussi présentes lors de la description de digital performances (cf.
Partie II.Chapitre 1.C).
Une conclusion (cf. Partie II.Chapitre 2) propose une vue d’ensemble des analyses de ces
installations, au regard de ma recherche.
(La plupart des créations sont référencées sur mon site internet :
https://judartvr.wordpress.com/ , avec des vidéos disponibles).
261
Étape une : description — Présenter le contexte général de la création ainsi que les
générale et intention partenaires ;
artistique — Décrire globalement le fonctionnement ;
— Décrire l’enjeu artistique et son implication dans ma
recherche.
Étape deux : — Décrire la mise en relation et espace ;
développement — Décrire le déroulé du développement et les défis
artistique et technologiques associés.
technologique
Étape trois : retours du Étudier de manière subjective et en relation avec nos enjeux
public. Impacts et de recherche les réactions des spectateurs : pendant
analyses l’expérience (étude comportementale) et après (entretiens
et questionnaires) :
— s’inspirer des études qualitatives et quantitatives
sur la présence réalisées dans le milieu scientifique ;
— s’inspirer de la méthode des entretiens
d’explicitation.
Avec ces analyses, c’est l’émergence d’une direction
esthétique me convenant, qui est recherchée.
Étape quatre : — Identifier les nouvelles « couleurs » de ma palette d’IRV
conclusion et et ainsi les associer à de nouvelles formes artistiques ;
perspectives — Conclure sur les perspectives de recherches-créations.
262
B. INSTALLATIONS ARTISTIQUES D’IRV
De Toi à Moi 533 est la première installation que j’ai exposée, lors de mon début de doctorat.
Je l’ai créé avec Laetitia Perez, chercheuse en art 534.
Avec cette installation, nous proposons de vivre une expérience inhabituelle qui interroge
nos modes de communication. Cette installation invite le spectateur à essayer d’établir une
relation avec une image, qui ne peut répondre à ses interactions qu’en affichant des
couleurs.
Nous avons été sélectionnées au concours étudiants du Laval Virtual 2011 : Virtual Fantasy.
Le Laval Virtual 535 est un évènement international autour de la réalité virtuelle et mixte se
déroulant chaque année à Laval en France. Nous avions, grâce à notre sélection au
concours, un stand à disposition pendant 5 jours.
532 Page de la création en ligne [En ligne, consulté le 16-09-2015, URL : https://judartvr.wordpress.com/portfolio/de-toi-
a-moi/ ].
533 [En ligne, consulté le 19-08-2015, URL : https://judartvr.wordpress.com/portfolio/de-toi-a-moi/ ].
534 L. Perez, Territoires : composition et plasticité. Mémoire, Université Paris 1, 2013.
535 [En ligne, consulté le 19-08-2015, URL : http://www.laval-virtual.org/ ].
263
Lors de l’exposition, nous invitions le spectateur à s’asseoir sur un coussin, devant un écran
d’ordinateur et un clavier. En face de lui, plus loin, un autre écran représentait une image
abstraite aux nombreuses couleurs. En écrivant sur le clavier et en envoyant son message,
il pouvait ensuite voir la réponse de l’image se matérialiser par reflet de pixels de couleur,
sur une vitre entre lui et l’image : les pixels du reflet se mixant avec l’image au loin.
Nous proposions ainsi au spectateur de partager un instant avec cette image, de se laisser
emporter, ou non, dans ce temps de la rencontre. Les pixels s’accumulaient sur le reflet,
permettant de voir la richesse de la conversation se matérialiser. À la fin de la discussion,
un « au revoir » clôturait la relation. Puis toutes les couleurs s’effaçaient de la vitre, ne
laissant plus de trace de ce moment éphémère et unique à chaque spectateur.
Créer ainsi une relation entre le spectateur et l’image, est l’enjeu central de cette
installation. Comment capter le spectateur ? Comment garder la relation ? Acceptera-t-il ce
dialogue original qui perturbe les codes habituels de communication ?
Le dispositif dans l’espace de l’installation a été réalisé afin d’entretenir une certaine
atmosphère magique, lieu de cette conversation possible avec l’image.
Après mon master en sciences de l’ingénieur, où j’ai étudié la réalité augmentée de manière
théorique et pratique, et après mon passage au Québec dans le laboratoire de Stéphane
Bouchard, où j’ai travaillé sur des systèmes de réalité virtuelle et réalité augmentée, j’avais
envie de revenir à des techniques plus anciennes pour mixer le réel et le virtuel.
La découverte des œuvres de Pierrick Sorin et de David Hoffos avec leurs petites scènes
réelles/virtuelles m’a beaucoup inspirée. Pierrick Sorin réalise de petits théâtres optiques,
en cachant souvent les vitres et miroirs qui ajoutent des personnages filmés aux décors
réels. De son côté, David Hoffos ne dissimule pas les écrans, qui font partie de la
scénographie de l’exposition. Je remarquais que cela n’enlevait en rien à la magie de voir le
personnage sur l’écran se refléter à l’intérieur du décor. Je suis d’ailleurs restée de longs
264
moments dans cette exposition du Musée des Beaux-Arts d’Ottawa, à essayer de
comprendre comment le personnage sur l’écran pouvait apparaitre au milieu du décor réel.
Pour De Toi à Moi, j’avais envie de reproduire cette sensation. Je voulais essayer de
provoquer un certain questionnement quant à la vue de pixels flottant dans les airs. Et
ainsi, essayer de capter l’attention du spectateur.
Ainsi, derrière l’écran qui sert au spectateur pour écrire son texte, était placé un autre
écran sur lequel les pixels de couleurs apparaissaient en temps réel. Une vitre se trouvait
au milieu, entre l’image et le spectateur, et permettait de refléter ces pixels. Un rideau à
l’entrée du stand et l’absence de lumière à l'intérieur, ont contribué à créer une
atmosphère sombre. La vitre en devenait moins visible, et le reflet plus net, recréant cet
effet « magique » de couleurs flottant dans les airs.
Le rideau permettait également de faire passer une personne après l’autre, favorisant le
côté intimiste. Le fait que nous faisions asseoir les personnes par terre permettait de les
265
placer dans une situation plus originale, les incitant alors à rester un peu plus longtemps.
Nous voulions par ce biais essayer de faciliter la rencontre avec l’image.
L’image, réalisée par Laetitia Perez 536, était liée à son travail de recherche sur la matière,
l’abstraction dans le réel et le médium numérique. Elle a composé une image numérique
extrêmement colorée pour que les pixels de réponse soient aussi diversifiés que possible,
puisque l’image répond avec ses propres pixels. Le tout sur fond noir pour que la
composition semble se perdre dans l’obscurité de l’environnement.
Phase d’approche de l’image : le spectateur vient s’assoir sur le coussin. Nous lui
proposons d’écrire sur le clavier et d’envoyer des messages afin de « communiquer » avec
l’image.
Le temps de la rencontre : chaque phrase tapée et envoyée par le spectateur est analysée
par l’image, qui lui répond. Différentes humeurs peuvent influer également sur sa réponse
(joyeuse, timide, etc.). Nous voulions ainsi, même sans programme d’intelligence
artificielle, amorcer un début de ressenti d’autonomie de cette image.
266
Finalement, le reflet constitue la matérialisation du flux de la conversion qui se tisse entre
le spectateur et l’image.
Le programme fut réalisé avec Python 538 2.6.4 et la librairie d’image qui lui est associée :
PIL 539 1.1.6. (Open Source)
Il permet de prendre en entrée des lettres, et de les associer, en sortie, à un pixel de l’image.
À chaque lettre correspond un pixel. Pour cela, l’image a été divisée en 36 carrés,
représentant chacun une lettre de l’alphabet ou un signe de ponctuation. Par exemple le
« A » en haut à droite, le « B » à côté, et ainsi de suite. Le pixel qui représente la lettre est
celui au centre de ce carré.
Ainsi, une fois qu’une phrase est envoyée, le programme l’analyse, lettre par lettre, et
renvoie le résultat en couleur correspondant à chaque « lettre / pixel » lue de toute la
phrase.
Afin d’ajouter une certaine autonomie, des variables aléatoires influencent parfois le choix
de la traduction « lettre/ pixel ». Par exemple, le « A » ne donne pas toujours le même
résultat. Nous voulions retrouver cette impression de variabilité qui peut apparaître dans
la communication, selon l’humeur ou la personne, même si nous utilisons le même code
(par exemple par les mots).
Au niveau du retour visuel, un seul pixel faisait trop « pauvre ». Afin de donner plus
d’expressivité à ce « flux de communication », nous avons choisi de multiplier ce pixel par
un nuage de point, dans un espace défini (rectangle). Une variable aléatoire là encore
permettait, de temps en temps, de modifier la taille de cette espace et l’emplacement.
267
Illustration 116. Plusieurs vues, J. Guez et L. Perez, De Toi à Moi, 2011
Durant ces cinq jours d’exposition à Laval Virtual, de nombreuses personnes ont pu tester
l’installation. Pendant les trois premiers jours, c’était les journées professionnelles, avec un
public spécialisé dans le domaine de la réalité virtuelle et mixte. Les deux derniers jours
étaient ouverts au grand public, qui venait découvrir ce domaine et les innovations
technologiques. Il y a généralement beaucoup plus de monde durant les deux dernières
journées, avec de nombreuses familles et enfants. Ainsi, nous avons pu obtenir des retours
268
variés et riches : 201 personnes au total sur l’installation : 109 aux trois journées
professionnelles et 92 aux deux journées Grand Public.
Le fait d’avoir mis un rideau et de faire rentrer les personnes une à une permettait
(surtout dans l’effervescence du festival) de créer un espace plus intime et propice pour la
rencontre avec l’image. Quand aucune personne n’expérimentait l’installation, nous
ouvrions le rideau, afin d’interpeller le spectateur grâce cette image qui les attendait dans
le noir.
L'observation du public nous a permis de valider l'importance de l'illusion crée par la mise
en place de la vitre et l’apparition du reflet de « pixels ». Beaucoup de personnes étaient
intriguées par l’apparition de ces couleurs « dans les airs ».
269
prenaient plus au jeu de cette communication originale en posant des questions, ou en
expliquant des moments de leurs vies.
En plus de ces observations, j’avais également envie de récupérer une trace de ces
passages. J’ai ainsi ajouté au programme informatique le moyen de récupérer l’image et le
texte résultant de chaque conversation. Après chaque rencontre, j’ai donc conservé en
mémoire le texte écrit, et l’image avec en superposition le « flux de conversation de
couleur ».
270
Voici quelques exemples :
Jour1 Pers3
s al ut
ca va ?
que voi s - j e ?
a
a
a
a
a
a
az
az
az
z
z
z
z
z
z
z
z
z
z
z
z
z
a
a
a
a
a
a
a
a
a
a
a
a
a
bbbbbbbbbbbbbbbbbbb
c
c
cccccccccccccccccccccc
azer t y
271
J our 1 Per s 16
j e s ui s r avi e de t e r encont r er
t u va bi en ?
t u es s ur ?
t u va bi en ?
t u es j ol i e
t u va bi en ?
c ' e s t t r Š s s y mp a
s uper ! !
s uper ! !
s uper !
t u va bi en ?
aur evoi r !
J our 1 Per s 20
bonj our
c o mme n t ‡ a v a ?
h‚ h‚ c ont ent e pour t oi
ah j ' ai ma l c o mp r i s ?
ah par don, a u t e mp s p o u r mo i
* a h o n s e c o mp r e n d e n f i n
t u vi s bi en t avi e?
s df ghj k
ffffffffffffff
J our 1 Per s 29
Sal ut
You f i ne /
F l o we r
Pony
Pi nk pony
Beaut i f ul i ma g e *
Voi l a une phr as e s uper s uper l ongue
õ Mo u h a h a h a
t ot o
b e a u c o u p d e mo t = p l u s d e c a r r e s
272
J our 1 Per s 38
bonj our !
HA
ng, c; nb;
bi s ous
f j k l x j f l k s d f j k MMMMMb j f b v j w d f k g b d j b x h
g b q h d f b d j k s b c j h w x b d j k v wb v j k d f b d j k
v
dv
dxvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvvv
v
vnxc; nb kdf j kgj f khbvj cbj s def bvj
j k*
J our 2 Per s 12
hel l o
wh a t i s y o u r n a me
choucr out e
t r uc
J our 2 Per s 18
Bonj our
J e m' a p p e l l e A d r i e n
J e m' a mu s e b i e n e t t o i ?
I l f ai t un peu c haud, t u ne t r ouves
pas ?
T u s e mb l e s a i me r l e o r a n g e ?
Mo i j ' a i me b e a u c o u p l e b l e u
273
J our 3 Per s 16
s a l u t c o mme n t ‡ a v a ?
‡ a va et t oi ?
j e s ui s heur eux
j ' ai hat e de t e voi r
L e Mi c k y e s t i n q u i e t
J e s ens que quel que chos e s e pas s e
d i s mo i ce qui ne va pas ?
mo n t r e mo i des c hos es col or ‚ es
c' es t beau
a pl us t ar d
Mi c k y l a t r a n c h e u s e
devi nes l a s ur pr i s e
bah j ' ai r e‡ u t on or di nat eur
bon, f audr ai t mi e u x que tu f asses
veni r quel qu' un
. . .
a mo n a v i s , o n y a r r i v e r a j a ma i s l …
l e s b e r mu d e s s e t r o u v e l … !
J our 3 Per s 24
Bonj our
c o mme n t t u t a p e l l e ?
j e t r ouve que t u es un peu cubi que?
ok
OK
bon j e voi s. . . tu ne veux pas
beaucoup par l er
t o n h u me u r e s t ma d t o d a y !
ok j e veux bi en cont i nuer … te
par l er . .
et t oi ?
274
J our 4 Per s 7
bonj our
Bonj o ur
C o mme n t v a t u ?
T u a i me l e s j e u x v i d ‚ o s ?
C' e s t c o o l !
J our 4 Per s 44
bonj our
j ' ent r e un t ext * e
des coul eur s et des car r ‚ s
et si o n t r e mp l i de t ext e
j e c* pens e ˆ t r e un ar t i s t e cubi s t e
ou f ai r e du pi nel ar t
pour quoi une di f f ‚ r ence de t ai l l e
des car r ‚
J our 4 Per s 47
bonj our
bonj our
u n j o u r d e p r i n t e mp s
s ous l e s ol ei l de l aval
une chal eur
d e ma i n i l pl eut
d e ma i n d o d o
l e pet i t d‚ j euner
papa f ai t du vt t
j u l i a n p a r t d e ma i n p o u r c a r q u e f o u
c o u c o u c o mme n t t u v a s
j e t' a i me
xoux
au r evoi r
275
J our 5 Per s 4
s al ut
bonj our
t abl e
ou vas t u ?
t oi
mo i
vi s age
or di nat eur
J our 5 Per s 14
j e s ui s un r enar d bl eu
ma i s u a s s i une banane
j e ne s ui s pas un r enar d bl eu*
ni une banane
J our 5 Per s 16
j ' a i me l e r o u g e
276
J our 5 Per s 20
c' est beau on di r ai t d u K L I MT o u d e s
vi t r aux on pour r ai t peut et r e al l er
‚ cout er un r equi em un de c es j our s …
n o t r e D X a me
J our 5 Per s 24
bonj our
j e s ui s au l aval vi r t ual
haaaaaa
t u e s ma g n i f i q u e
et ar t i s t i que
l e vi r t uel es t l ' aveni r
j ' ai f ai m
j e v a i s a l l e r ma n g e r
t u es de l ' ar t
t u es pl ei ne de coul eur s
j e t e r e me r c i e d ' a v o i r ‚ c h a n g e r a v e c
mo i c e mo me n t p r i v i l ‚ g i ‚
au r evoi r et a bi ent “ t
bi s ou bi s ou
t endr es s e i nf i ni e
J our 5 Per s 25
t ent ac ul es
r ose
avat ar r eel
277
J our 5 Per s 26
bonkour
bonj our
j e r e v e d ' u n e ma i s o n f l o t a n t e
j e r eve d' un at el i er
de gr andes f enet r es
ou l a t r ouve t u
d a n s l a c a mp a g n e *
i l f aut chaud
i l f ai t f r oi d
sol ei l
nui t
nui t
au r evoi r
Illustration 118. Résultats bruts des textes et des images relevés, De Toi à Moi, Laval Virtual 2011
Suite à l’analyse de ces données après exposition, je fus très intéressée par la diversité, et
en même temps la similarité, de certains textes.
— ils ont posé beaucoup de questions à l’image, comme s’ils s’adressaient à une
personne. Ils pouvaient même répéter les questions (cf. Jour1 Pers16 avec la
répétition de « tu vas bien ? ») ;
— ils utilisaient les conventions d’usage de notre langue pour démarrer une
conversion. (Bonjour, tu t’appelles comment ? Je m’appelle…).
Certains se concentraient sur les moyens de faire apparaître des couleurs et jouaient
avec ça (cf. Jour1 Pers29 « beaucoup de mot = plus de carres »).
Il est frappant de voir que plusieurs langues se mixaient (japonais, anglais, français,
espagnol), et que même des mots « incompréhensibles » apparaissaient. (Cf. Jour 1 Pers 38.
« vnxc ;nb »).
278
D’autres se sont laissé emporter dans cette étrange rencontre en proposant des
situations absurdes qu’il est bien plaisant de lire.
Jour5 Pers14
je suis un renard bleu,
mais aussi une banane
je ne suis pas un renard bleu
ni une banane
Il est également intéressant de remarquer que du côté des images générées, plus la
conversation est dense et plus l’image de base est recouverte. Comme si lors de
l’expérimentation, le contenu de la relation, en se construisant, s’ajoute à l’apparence.
Cette installation m’a ainsi permis de valider certains points associés à la mise en relation
avec l’image, et la mise espace du dispositif d’hybridation, dont :
Perspectives
À la suite de cette première exposition, nous pensons qu’il serait intéressant de varier la
manière dont l’image répond et d’enrichir ainsi sa « personnalité ». Un programme
d’apprentissage, tel que les réseaux de neurones, pourrait le permettre. De plus, nous avons
choisi de détecter la reconnaissance des lettres tapées au clavier afin de les mettre en
correspondance avec les pixels, mais nous pourrions également utiliser une analyse des
mots qui influenceraient le choix des couleurs. Au lieu d’utiliser un clavier, nous pouvons
envisager de capter la voix, par l’intermédiaire d’un micro, afin de proposer une relation
plus intuitive avec l’image.
279
Il pourrait aussi être intéressant de provoquer plus de dynamisme dans le rythme de la
conversation en variant les temps de réponse, ou en entraînant des ruptures (ex : tout d’un
coup les pixels disparaissent, puis réapparaissent).
Nous pouvons également penser à une évolution du dispositif, vers plus d’immersion : les
couleurs pourraient apparaitre tout autour de nous (par exemple par projection sur de la
fumée dans une pièce, ou par immersion dans un casque de réalité virtuelle).
Illustration 119. Liz West, Your Colour Perception, Castlefield Gallery’s New Art Spaces Federation House, 2015
Tout ceci risque de faire perdre un peu le côté « absurde » 540 des réponses provoquées par
cette rencontre inhabituelle, mais peut enrichir la relation homme-image.
Illustration 120. Tableau de synthèse des IRV identifiées pour De Toi à Moi, 2011
540 Cf. définitions de l’absurde : « décalage entre l'attente de l'homme et l'expérience qu'il fait du monde » [En ligne, consulté
le 19-08-2015, URL : https://fr.wikipedia.org/wiki/Absurde ou :
http://www.etudier.com/dissertations/Com%C3%A9die-De-l%27Absurde/632526.html ].
« Une dissonance cognitive et émotionnelle – la première dérivant de la seconde – entre le sujet et le monde en lequel il
évolue. [En ligne, consulté le 19-08-2015, URL : https://sociologies.revues.org/3152#quotation ].
280
B.1.2. Envêre, 2012 541
Envêre est une installation interactive qui propose, par un dispositif entre nouvelles et
anciennes technologies, de transporter le spectateur dans un cheminement d’illusions
entre le réel et le virtuel. Elle a été exposée pendant cinq jours au salon international de
réalité virtuelle Laval Virtual 2012, sur le stand professionnel des associations
ParisACMSIGGRAPH 542 et Les Algoristes 543.
Elle a été réalisée en collaboration avec Guillaume Bertinet, qui axe ses recherches sur la
composition et la création graphique temps réel 544.
De l’extérieur, le dispositif revêt la forme d’une boîte noire avec une ouverture sur le haut.
À l’intérieur, deux écrans se font face. Un jeu de reflet avec une vitre et un miroir permet
alors, si l’on regarde par l’ouverture, de voir un espace déconstruit, avec plusieurs
profondeurs d’images virtuelles.
En haut de la boîte, près du trou, deux pavés numériques sont placés de chaque côté pour
permettre l’interaction.
281
À l’intérieur, ils peuvent voir sur un plan de reflet une balle virtuelle. Deux palets virtuels
sont également de chaque côté. Nous leur proposons de jouer au fameux jeu Pong en
utilisant le pavé numérique pour contrôler le palet virtuel, et ainsi renvoyer la balle à son
adversaire.
Cette mise en contexte est une première étape du scénario, consistant à créer une condition
singulière qui s’apparente à une situation connue : ici, jouer au jeu Pong. De ce fait, le jeu
apparaît sur un seul niveau de reflet, faisant croire à un simple dispositif de visualisation.
Cependant, au bout d’un certain temps de jeu, une deuxième étape va consister à
surprendre les spectateurs, en jouant sur différents effets de perceptions et amenant ainsi
une difficulté supplémentaire : la balle va soudainement apparaître sur le niveau de reflet
du dessous. Puis, à partir de là, plusieurs combinaisons d’effets jouant aussi bien sur la
spécificité du dispositif que du rendu visuel, vont survenir, amenant à transformer la
confrontation en collaboration contre les illusions : arrière et avant-plans se mêlent, les
matières changent. Ce qui se présente au départ comme une simple opposition joueur
contre joueur se révèle être autre : les spectateurs doivent coopérer face aux illusions, s’ils
veulent continuer à avancer, par défi ou curiosité.
282
Ces déstabilisations provoquées par les illusions vont placer le spectateur dans une
situation inhabituelle, l’amenant petit à petit à trouver un chemin de compréhension dans
cette autre réalité proposée. Finalement, nous avons voulu jouer sur une simulation qui
copie une habitude de notre réalité : reproduire ce monde du jeu Pong, pour ensuite mieux
le « déconstruire », et permettre ainsi une interrogation sur nos propres perceptions-
actions.
Le dispositif comprend uniquement la boîte avec une vitre, un miroir et deux écrans
d’ordinateur, posé sur une table. Pour une condition optimale il doit être placé dans un
endroit sombre, sans lumière juste au-dessus de lui.
La structure de la boîte est en carton : quatre piliers, plus la partie du haut avec une
ouverture. Un drap noir recouvre le tout. Cette structure légère et transportable permet de
placer deux écrans d’ordinateur face à face, en laissant une aération. Elle est également
assez solide face aux spectateurs qui peuvent s’appuyer dessus, pris par le jeu.
Le dispositif de reflets
283
Après De Toi à Moi, je voulais continuer d’expérimenter l’effet des reflets. Avec Envêre, nous
avons trouvé le moyen de faire apparaître deux niveaux de reflets indépendants : chacun
créé par l’un des écrans sur les côtés. Pour cela un miroir est placé horizontalement entre
les écrans, sur la table. Une vitre fine et semi-réfléchissante est placée à 45° de ce miroir et
entre les deux écrans. Ainsi, si nous regardons par l’ouverture de la boîte, nous pouvons
voir le reflet (de la vitre) produit par le premier écran, et un reflet plus bas provoqué par le
miroir, qui reflète le reflet de la vitre du deuxième écran.
284
Nous avons réalisé de nombreuses expérimentations afin de trouver les éléments
graphiques qui peuvent fonctionner avec un tel dispositif. Nous avons privilégié les formes
qui n’atteignent pas les bords de l’écran (pour ne pas couper les reflets, et permettre cette
sensation de flottement de l’objet). Les formes en noir et blanc qui sont éclatées (proches
de particules) donnent également un rendu intéressant dans l’espace, et brouillent
davantage les plans de profondeur. Il convient de privilégier les images avec un fond noir.
285
Illustration 124. Exemples d'images testées dans le dispositif de Envêre, 2012
286
Mise en relation dans le temps de l’expérience
Ensuite, le seul moyen de voir ce qu’il y a à l’intérieur est de se placer de chaque côté,
suffisamment proche pour pouvoir regarder à l’intérieur.
Dans ce premier contact, au début de l’expérience, une balle statique et les deux palets sont
visibles dans le reflet sur le plan de haut (noté plan 1 par la suite).
Lorsque deux personnes regardaient à l’intérieur, nous les invitions à utiliser les pavés
numériques et à jouer à ce Pong qui semble flotter dans les airs. Dès qu’ils appuyaient sur
les boutons, la balle « prenait vie ».
Phase d’illusions : Nous avons proposé un jeu Pong simple : Les deux palets peuvent
renvoyer la balle ; la vitesse ne s’accélère pas ; le rendu est noir et blanc ; rien d’autre ne
change. Après un premier intérêt lié au dispositif insolite, nous voulions créer une sorte
« d’ennui », pour ainsi intensifier l’effet de rupture.
Au bout d’une à deux minutes du jeu, soudainement, la balle apparaît sur le reflet du plan 2,
plus bas (les palets, eux, restant sur le plan 1). Ceci vient renverser les croyances du
spectateur : l’espace de jeu se transforme et s’enrichit. À partir de ce moment-là, plusieurs
effets apparaissent dans le temps : des changements du style graphique de la balle et des
palets surviennent progressivement ; des jeux avec les niveaux de reflet apparaissent
soudainement (par exemple, passage d’un plan à l’autre des différents éléments), etc.
L’enjeu est de garder un bon équilibre entre cohérences/incohérence par rapport aux
attentes du spectateur, afin de garder son attention. Le fil narratif du jeu Pong permet de
créer une cohérence dans le temps : La balle et les palets ne changent pas de comportement
et sont un repère stable. Tandis que les illusions viennent de temps en temps apporter des
moments d’incohérences.
Nous avons choisi Unity3D (version 4.6) pour le moteur temps réel.
Le principal défi était de faire apparaître sur les deux écrans des éléments du même jeu
Pong (chaque écran se reflétant sur un niveau différent de visualisation). Au final, un seul
287
ordinateur avec un seul exécutable Unity a suffi (nous n’avons pas eu besoin de créer un
réseau entre deux fenêtres Unity différentes). Nous avons créé sur une scène Unity deux
jeux Pong à différents endroits de l’espace 3D :
— le jeu Pong 1 est contrôlé par les interactions temps réel du spectateur : les pavés
numériques permettent de contrôler les deux palets virtuels, et ainsi de renvoyer la
balle virtuelle vers l’adversaire. La balle, par la physique, peut rentrer en collision
avec les côtés du décor et les palets.
— le jeu Pong 2 est contrôle par le jeu Pong 1 : chaque élément (balle et palets) du
Pong 2 copie le comportement de son homologue du Pong 1.
Deux caméras dans la scène virtuelle étaient alors nécessaires : une, face au Pong 1 et une,
face au Pong 2. La fenêtre de rendu, que nous avons étendue sur les deux écrans, est
partagée en deux. Ainsi, la caméra 1 fait apparaître le Pong 1 sur l’écran 1, et la caméra 2
fait apparaître le Pong 2 sur l’écran 2.
Les éléments du Pong 1 et 2 sont ainsi attachés dans leurs comportements, mais peuvent
avoir des rendus différents : par exemple, ils peuvent devenir visibles ou invisibles pour
permettre ce passage d’un écran à l’autre : d’un niveau de reflet à l’autre (entre le plan 1 et
2).
Nous avons ainsi réalisé en C# un scénario qui dans le temps, active, désactive, change la
texture et la forme 3D de l’objet, active des animations de morphing, etc., permettant une
progression de la fréquence d’activation des effets.
Développement graphique
Voici quelques exemples d’effets graphiques qui nous ont inspirés pour créer ces
changements dans le temps :
288
Illustration 125. J. Guez, Tests graphiques 3D sur Maya, Envêre, 2012
Voici la liste des effets graphiques que nous avons retenue, pour cette première version
d’Envêre. Ces effets se combinent dans le temps de l’expérience:
La phase du début de jeu comprend par exemple une balle ronde simple, uniquement sur le
plan 1. Puis la deuxième phase commence par une balle ronde simple avec la balle sur le
plan 2 et les palets sur le plan 1. Ensuite plusieurs variantes sont possibles. Des variables
aléatoires permettent de combiner ces effets avec un délai particulier (mesuré par le
nombre d’échanges de la balle entre les spectateurs).
289
Illustration 126. Exemples de captures graphiques, Envêre, 2012
290
B.1.2.3. Étape trois : retours du public. Impacts et analyses
Les résultats signifiants ont été alors relevés principalement par l’observation du
comportement des spectateurs : nous avons observé les personnes qui jouaient et noté des
comportements gestuels ou verbaux signifiants. De plus, nous avons filmé quelques plages
de présentation.
Les personnes s’approchaient, intriguées par cette boîte noire, ce qui a contribué à
créer le premier contact avec l’installation. Certaines semblaient plus pressées mais
s’approchaient tout de même, regardaient rapidement par l’ouverture, et partaient.
Une personne a même employé le mot « magique » pour décrire la boîte.
Le dispositif reflets
L’espace virtuel déconstruit par les reflets a créé des interrogations chez les
spectateurs. Certaines personnes s’amusaient à essayer de comprendre d’où
venaient ces images flottantes ; à essayer de chercher le fonctionnement du
dispositif. Une personne, professionnelle dans le milieu de la stéréoscopie, a
particulièrement apprécié l’effet de profondeur provoqué par la superposition des
plans.
Nous avons effectivement remarqué un ennui après les premiers instants de jeu
(« Ah oui, bon, c’est juste un Pong ! »). Cependant, dès que la phase d’illusion
commençait et que la balle changeait de plan de reflet, la surprise fonctionnait,
ravivant l’intérêt des personnes (« Wahou, mais… ! », « ah la vache ! », « mais où est la
balle ? », etc.). Les deux spectateurs, face à face, se parlaient alors nettement plus,
pour essayer de comprendre ce qui se passait.
291
B.1.2.4. Étape quatre : conclusion et perspectives
Nous pouvons conclure qu’il y a eu effectivement une attention ravivée par les illusions
entre le réel et le virtuel (IRV), et principalement lors de la première IRV, qui passe la balle
du plan 1 au 2. Le spectateur croyait à une situation habituelle : jouer au fameux jeu Pong.
Le fait d’utiliser un contexte connu au départ augmente la surprise quand l’expérience se
transforme. Ceci rappelant le concept de dissonance cognitive explorée par le magicien
Stefan Alzaris 545 (cf. Partie I.Chapitre 1.B.6.2) : ici, nous avons créé le saut entre les attentes
de l’utilisateur, qui pensait juste jouer au Pong, et cette réalité alternative des illusions qui
déconstruisent l’espace et jouent sur sa manière de percevoir.
Perspectives
Pour une évolution de l’expérience, il pourrait être intéressant de développer le fil narratif.
En créant par exemple une structure virtuelle qui se génère au fil des échanges de balles et
qui vient transformer le décor. Le jeu Pong pourrait être également amélioré en créant plus
de variantes. Des effets de rendus pourraient être ajoutés. Une fin signifiante serait aussi
un bon moyen de clôturer l’expérience.
545 « L’effet magique est, en réalité, un effet cognitif qui se traduit par un écart entre une attente et un résultat. Cet écart se
produit entre l’effet attendu, pressenti ou conjecturé par le public, et l’effet final qui vient en dissonance de l’attente » S.
Alzaris, Illusionnisme et magie, op. cit., p. 76.
292
B.2. Spectateur à l’intérieur de l’installation R+/ V+
We Wave (Nous ondulons) est une installation artistique interactive et immersive, qui
propose de faire l’expérience de sensations kinesthésiques et émotionnelles.
Chen-Wei Hsieh, ingénieur et artiste, a réalisé son doctorat au laboratoire INREV de Paris 8.
Ses recherches sont axées sur le processus de création d’un système d’images interactives
546 Page de la création en ligne [En ligne, consulté le 16-09-2015, URL : https://judartvr.wordpress.com/portfolio/we-
wave/ ].
547 Titre de thèse en cours : « Espace sensible : expérience inter-sensorielle et corporelle, à partir de la musique et de l'art
interactif », Esthétique, Science et Technologie des Arts, Université Paris 8, dir. Anne Sedes.
293
pour le spectacle vivant 548. Il a proposé dans son doctorat une méthode de développement
rapide, et la mise en œuvre d’une structure d’un système d’interactivité multi-niveaux et
multi-sources. Lors de la création de We Wave, je travaillais avec lui sur le projet CIGALE
(Capture et Interaction avec des Gestes Artistiques, Langagiers et Expressifs) 549. Nous nous
intéressions entre autres à la captation et au rendu des gestes du spectateur en temps réel.
Ainsi, de par son intérêt pour la réalisation de systèmes multi-sensoriels et de par sa
recherche sur le geste, il a proposé de réaliser un univers graphique aquatique associé aux
mouvements des spectateurs dans We Wave.
Nos intérêts communs pour le sujet abordé par cette installation m’ont amené à collaborer.
Je n’ai fait aucune phase de développement informatique sur ce projet, mais j’ai participé à
sa conception. J’ai principalement travaillé sur la mise en relation et en espace de We Wave,
ainsi que dans le choix technologique pour les interfaces sensori-motrices.
Cette installation a été exposée au festival Savante Banlieue en 2013. J’ai participé à la
médiation de plusieurs groupes scolaires.
Deux spectateurs sont invités à être face à face sur deux planches Wii Balance. La planche
permet de récupérer le positionnement et la pression de la personne (la Wii Balance est
séparée en quatre espaces de pression : haut droit, haut gauche, bas droit, bas gauche).
Deux Microsoft Kinect permettent de capter les gestes supplémentaires (principalement
lorsque les personnes ne sont pas sur la Wii Balance, et pour les mouvements des bras).
Au niveau des interfaces de visualisation, nous pensions au départ utiliser deux casques de
réalité virtuelle, afin de pouvoir voir son partenaire sous forme de particules, et ainsi
s’immerger complètement dans le monde virtuel.
Cependant, il nous est apparu plus intéressant de tester la relation entre deux spectateurs
dans un environnement mixte réel/virtuel, dans lequel leurs corps sont visibles : dans un
548 C.-W. Hsieh, Processus de création d’un système d'images interactives pour le spectacle vivant : proposition d'une
méthode de développement rapide et mise en oeuvre d'une structure d'un système d'interactivité multi-niveaux et multi-
sources. Thèse, Esthétique, Science et Technologie des Arts, Université Paris 8, dir. Marie-Hélène Tramus, 2013.
549 Cf. description dans le projet InterACTE Partie II. Chapitre 1.B. 2.2, et Annexe. Projet CIGALE.
294
environnement plus proche de notre environnement réel, mais avec l’ajout d’éléments
virtuels sonores et visuels pour accompagner l’expérience.
Nous avons finalement choisi de faire une projection au sol. Les éléments graphiques
projetés représentent un univers aquatique abstrait ; des particules plus ou moins intenses
répondent aux gestes des spectateurs.
Illustration 128. Y. C. Ko, C-W. Hsieh, J.Guez, (première idée de mise en espace) We Wave, 2011
295
Mise en relation dans le temps de l’expérience
Nous avons réalisé un scénario en quatre étapes principales de mise en relation. Mêlant le
son, le visuel et la proprioception, ces étapes incitent petit à petit les spectateurs à explorer
cet univers aquatique réel/virtuel.
C’est l’étape du premier contact de l’espace. Aucun spectateur n’est sur la Wii Balance. Les
Microsoft Kinect détectent la position des spectateurs. Cette étape permet au spectateur de
comprendre l’influence qu’il a sur les éléments sonores et visuels.
Durée : Tant qu’aucun des spectateurs n’est sur une des Wii Balance.
Effets visuels : Des ronds d’eau sur fond noir sont projetés sur le sol, aux pieds des
spectateurs.
Effets sonores : Quelques battements de cœur et de souffles de respiration s’accélèrent
quand la personne s’approche de la Wii Balance.
Cette deuxième étape commence dès qu’au moins un des spectateurs monte sur la Wii
Balance. Elle permet à chacun de tâtonner individuellement : de descendre, de remonter
sur la Wii Balance afin de repérer les changements visuels et sonores.
Durée : 1 min à partir du moment où les deux spectateurs restent sur la Wii Balance.
Effets visuels : Dès que la personne monte sur la Wii Balance, des particules intenses
apparaissent rapidement autour de la planche. Le fond s’éclaire ensuite un peu. Si la
personne redescend, le visuel revient à l’état de l’étape 1.
Effets sonores : Selon le placement du spectateur sur la planche Wii Balance (haut droit,
haut gauche, bas droit ou bas gauche), des sons différents sont générés, permettant de
lier celui-ci à son action : Sons de respiration, de battements de cœur, de bébé
différents.
Lorsque les deux spectateurs sont sur la planche depuis plus d’une minute, cette étape
permet de rendre visible et audible le lien entre eux.
Durée : 1 min.
Effets visuels : Des particules plus denses apparaissent. Le fond devient plus bleu. Les
gestes des bras provoquent plus de « bulles » sur le sol.
Effets sonores : Le son de l’environnement change. Il devient plus intense et plus dense :
bruits de bulles, de vagues comme si les spectateurs nageaient dans l’eau.
296
Les trois étapes précédentes préparent à cette dernière phase, qui est l’expérience en soi
que nous voulions proposer aux spectateurs. Elle permet différents jeux de synchronisation
entre les spectateurs. Nous jouions sur la détection de l’empathie et de la sympathie afin de
lancer des effets visuels et sonores particuliers.
En référence aux définitions d’Alain Berthoz 550, la sympathie apparait quand les deux
personnes font des gestes en miroir l’un en face l’autre. L’un levant le bras droit et l’autre le
gauche par exemple. L’empathie intervient quand la personne se met à la place de l’autre :
chacun levant leur bras droit, par exemple.
Durée : Illimitée, tant que les deux spectateurs sont sur la Wii Balance.
Effets visuels : Selon la vitesse des mouvements des bras, des particules et traits
lumineux deviennent plus ou moins denses (donnant une sensation de nager pour la
personne). En phase de sympathie immobile, un tourbillon se crée, allant de l’un à
l’autre. En phase d’empathie immobile, le tourbillon s’intensifie.
Effets sonores : De même pour le son, la vitesse des bras l’intensifie. En phase de
sympathie immobile, le son spatialisé se propage plus rapidement. En phase d’empathie
immobile, il s’intensifie.
297
Illustration 129. Synthèse de la mise en relation, We Wave, 2013
298
B.2.1.3. Étape trois : retours du public. Impacts et analyses
Cependant, des comportements semblables relatifs à ces groupes ont été observés :
— plusieurs ont énoncé les mots « piscine », « mer », « nager ». Leurs mouvements
étaient d’ailleurs parfois similaires à de la nage. Certains essayaient de « nager »
vite avec les bras pour faire apparaître plus d’effets ;
— les phases d’introduction et de tâtonnement ont bien marqué la différence avec
la dernière étape de « jeu de synchronisation » : une fois qu’ils avaient marché
dans l’espace de l’installation et testé quelques mouvements, ils restaient sur la
Wii Balance et s’amusaient avec les effets et avec l’autre ;
551 13e é. Pendant le 10 et 11 octobre 2013. Partenariat université paris 13 et 8 . [En ligne, consulté le 19-08-2015, URL :
http://www.savantebanlieue.com/fileadmin/Mediatheque_de_Plaine_Commune/Savante_Banlieue/Docs/BILAN_SB_201
3.pdf ].
299
— nous avons repéré plus de mouvement de sympathie, en miroir. Surtout au
niveau des gestes des bras. L’empathie était plus difficile à réaliser
naturellement.
300
Illustration 130. Expérimentation du public, We Wave, 2013
Plusieurs pistes peuvent être envisagées pour explorer les possibilités de cette installation :
d’autres modes de visualisation (casque de réalité virtuelle), d’autres univers (feu, air, etc.),
développement du mapping sonore et visuel en fonction des mouvements, etc.
301
IRV identifiées Perspectives d’évolution
— Scénario progressif d’apprentissage de — D’autres modes de visualisation
notre influence sur l’environnement (casque de réalité virtuelle)
virtuel — D’autres univers (feu, air, etc.)
— Relation entre deux spectateurs par le — Développement du mapping sonore et
geste visuel en fonction des mouvements
302
B.2.2. InterACTE /InterACTE’IN, 2014-2015 552
Ces deux installations sont en lien avec le projet CIGALE 553 (Capture et Interaction avec des
Gestes Artistiques, Langagiers et Expressifs). Centré autour de la question du geste, et
soutenu par le Labex ARTS-H2H 554 , ce projet collaboratif regroupe de nombreux
partenaires 555 pluridisciplinaires artistiques et scientifiques, afin d’explorer à travers une
plateforme commune :
552 Page de la création en ligne [En ligne, consulté le 16-09-2015, URL : https://judartvr.wordpress.com/portfolio/projet-
cigale/ ].
553 SiteWeb de CIGALE, que nous avons créé [En ligne, consulté le 19-08-2015, URL : http://cigale.labex-arts-h2h.fr ].
554 [En ligne, consulté le 19-08-2015, URL : http://www.labex-arts-h2h.fr/ ].
555 Laboratoire Structure formelle du langage, UMR 7023 CNRS, Université Paris 8 ; laboratoire Image Numérique et
Réalité Virtuelle, Arts des Images et Art Contemporain EA4010, Université Paris 8 ; laboratoire d'Analyse du Mouvement,
Paris, qui est une unité de l'Institut National de Podologie ; l'association Arts Résonances ; l'entreprise SolidAnim ;
l’université du Québec à Montréal (Canada) ; le groupe de recherche sur la LSQ et la SIAT (School of Interactive Arts and
Technology), Université Simon Fraser, Vancouver, Canada.
303
Séances de captures de gestes au studio SolidAnim avec quatre
acteurs a) Dominique Boutet (Linguiste spécialiste de la Rendus visuels sur avatar de base squelette a) particules sur
gestualité), b) Julien Lubek (Mime), c) Jules Turlet (Artiste en maillage du squelette et variation sans squelette, b) tissu généré
langue des signes), d) Ariel Alonso (Chef de chœur) sur les mains affichant la trace des doigts et variations, c)
particule trails sur les doigts et variation avec squelette
Illustration 132. Quatre ouvertures de recherche, dans le cadre du projet CIGALE 2012-2015
304
InterACTE et InterACTE'IN 556 proposent d’interagir (par le geste) avec un corps virtuel qui
a son propre moteur de comportement gestuel. Utilisant les mêmes acteurs virtuels, ces
installations explorent deux dispositifs différents :
Illustration 133. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE, InterACTE'IN, 2014-2015
Ces deux dispositifs interrogent la place du corps virtuel dans l’espace réel/virtuel, et la
présence sociale de cet « autre », avec lequel on peut interagir par le geste. En ce sens elles
sont liées à ma recherche-création : comment pouvons-nous nous approprier un corps
virtuel ? Comment pouvons-nous communiquer avec lui gestuellement, s’il est doté d’un
comportement plus ou moins autonome ? Pouvons-nous créer des décalages gestuels dans
la relation entre le spectateur et l’acteur virtuel ? Et ainsi, comment le corps virtuel et le
« geste », par une hybridation entre réel et virtuel, peuvent-ils créer de nouveaux chemins
de prise de conscience, dans le plaisir associé à la rencontre (cf. problématiques évoquées
dans De Toi à Moi) ?
556 Ces installations sont encore en cours d’évolution. InterACTE, sous une autre forme, a été notamment présentée à Ars
Electronica 2015. Cf. pour le calendrier le SiteWeb [En ligne, consulté le 19-08-2015, URL : http://cigale.labex-arts-
h2h.fr/interacte].
305
B.2.2.2. Étape deux et trois: développement et retours du public
Dans les deux installations, une Microsoft Kinect détecte les gestes du spectateur, afin que
celui-ci puisse interagir avec un acteur virtuel.
Illustration 134. Capture des gestes de Julien Lubeck, chez Solidanim, 2012
— geste généré par algorithme génétique : en temps réel et par itération, en partant
d’un geste aléatoire (non-biomécaniquement humain), celui-ci va converger petit à
petit vers un geste (de la base de données des gestes capturés) ;
— geste hybride : certaines parties de son corps vont produire un geste qui se
génère par algorithme génétique, tandis que le reste du corps reste en mimétisme.
Sous Unity 3D, un moteur de comportement, que nous avons développé pour le projet
CIGALE, est capable en temps réel de détecter les gestes du spectateur, et d’analyser les
perceptions du point du vue de l’acteur virtuel, en prenant en compte des paramètres de
communication possible entre le spectateur et l’acteur : soit ils sont synchronisés (par
exemple, ils effectuent des mouvements avec la même vitesse, le même rythme, etc.), soit
ils sont désynchronisés.
306
Nous avons remarqué, suite à différentes expérimentations avec des acteurs et des avatars,
que pour qu’il y ait une sorte d’harmonie gestuelle entre deux personnes, il convient de
jouer sur différents paramètres liés à un bon rapport entre synchronisation et
désynchronisation. Le comportement de « mimétisme en miroir » est également un bon
moyen pour « accrocher » l’attention du spectateur, qui comprend alors immédiatement
qu’il a une action dans le virtuel. Les notions de sympathie et d’empathie exposée par
Berthoz permettent de confirmer ce point : avec notre mimétisme en miroir, pouvons-nous
créer une sympathie pour l’acteur virtuel de la part du spectateur ?
Nous prévoyons la finalisation de ces installations avant la fin du projet (décembre 2015),
suite à l’exposition septembre 2015 à Ars Electronica 558.
Je vais maintenant présenter les premiers prototypes, qui ont déjà permis de relever
certains résultats.
InterACTE
InterACTE invite le spectateur à avancer devant un acteur virtuel, qui est projeté sur un
mur. Nous avons réalisé plusieurs versions de mise en espace de ce dispositif réel/virtuel :
Quand les CIGALE stridulent, lors de la Semaine des Arts de Paris 8, 2014
Nous avons créé un décor virtuel particulier pour cette installation : nous voulions placer
les personnages virtuels dans une sorte de cabinet de curiosités. Pour cette première
expérimentation, nous voulions étudier comment les gestes mimés, capturés ou générés,
pouvaient induire un comportement particulier au spectateur, et lesquels avaient le plus
d’impact : lesquels amorçaient la relation.
Le décor virtuel représente différentes caisses en bois avec quelques luminaires, ainsi que
deux petits squelettes accrochés à des tiges de fer. Nous avons aussi placé des miroirs afin
de créer plusieurs lieux de reflets virtuels,
Mise en relation
Le spectateur arrive devant un grand écran. En face de lui se trouve un grand miroir. S’il
fait un geste, celui-ci est capté par la Microsoft Kinect, et reproduit dans le miroir. Pour les
gestes « mimétiques », nous avons choisi de représenter simplement quelques points de
558 Cf. description du dispositif InterACTE pour Ars Electronica 2015, Campus Exhibition, Paris 8. [En ligne, consulté le 21-
09-2015. URL : http://linz2015-paris8.fr/AEC/webroot/index.php/blog/interacte-62 ].
307
particules sur les articulations. Des traces restaient également affichées un certain temps
au niveau des mains. À droite, à côté du miroir, il y a un petit squelette qui effectue des
gestes générés par algorithme, comme une danse désarticulée. Devant le miroir, un autre
petit squelette effectue des gestes capturés.
Selon nos intuitions, nourries par les travaux de Mel Slater (cf. exemples Partie I.Chapitre
2.B.2.4), le miroir semblait un bon moyen pour que la personne se sente présente dans son
double virtuel, qui reproduit ses gestes. Nous voulions également tester l’expressivité du
geste à travers un rendu du mouvement évanescent, qui ne reproduisait pas le personnage
au complet, mais seulement quelques points signifiants, via des particules.
Illustration 135. J. Guez, J-F. Jégo, Quand les CIGALE stridulent, lors de la semaine des arts de Paris 8, 2014
Observation du public
Lors de l’exposition, nous avons remarqué que ce sont principalement les gestes « mimés »
qui attiraient et provoquaient un comportement particulier chez le public. Le fait de ne pas
avoir placé un corps virtuel avec une peau n’était pas gênant : au contraire, le rendu de
particules conférait une certaine esthétique. Le miroir n’a pas forcément été reconnu
comme tel : il y avait simplement cet être en face, qui imitait les gestes.
308
sur un même acteur virtuel. L’enjeu étant cette fois-ci de savoir quand activer tel ou tel
geste, en fonction de l’interaction du spectateur.
Nous avons commencé à mettre en place un scénario qui commence par le « mimétisme »,
pour créer le contact, puis ensuite qui alterne, gestes capturés, générés, mimés. Cependant,
pour ces premières présentations, il nous a paru plus intéressant d’activer discrètement les
comportements de l’acteur virtuel (cf. technique du magicien d’Oz 560), afin de jouer le rôle
de « l’intelligence artificielle », et par là même étudier l’interaction qui se crée pour enrichir
notre moteur de comportement.
Au niveau du décor virtuel, nous avons commencé par placer le corps virtuel à taille
humaine, sur fond noir, pour créer ainsi une correspondance avec le spectateur, qui est
debout sur le sol.
Nous avons testé plusieurs rendus de corps virtuel et créé une plateforme qui permettait
en temps réel, d’activer différents rendus de corps virtuels, avec différents gestes.
Illustration 136. Inspiration de mise en espace pour InterACTE, 2014. Exposition Kitsou Dubois, MEP, Paris 2011
560 Maulsby, D.Greenberg, S, Mander, R., “Prototyping an intelligent agent through Wizard of Oz.” In
ACM SIGCHI Conference on Human Factors in Computing Systems, Amsterdam, p277-284, (1993).
309
Rendu réaliste
Rendu « particulaire »
( sans peau)
310
Mise en espace et en relation pour l’exposition à Savante Banlieue 2014
Pour Savante Banlieue, nous avons créé un décor simple, composé de cristaux, et nous
avons choisi le rendu « filaire et allongé », qui s’inscrivait bien dans le style du rendu visuel
« cristallin ».
Le spectateur arrive devant cet être virtuel, et il peut interagir avec lui. De plus, il peut voir
des bras virtuels qui suivent ses mouvements. En effet, suite aux différentes
expérimentations, nous nous sommes rendu compte que, plutôt que de placer un miroir
virtuel, le fait de voir ses bras se prolonger dans le virtuel crée une sensation particulière :
on a l’impression que le lien entre le réel et l’espace virtuel est ainsi établi, par cette
continuité de notre corps. Et étrangement,
c’était très naturel d’avoir des bras beaucoup
plus longs qui paraissaient atteindre l’espace
virtuel. De plus, cette plongée dans le virtuel
nous permet de nous rapprocher un peu plus
de cet « autre » virtuel en face de nous, qui
partage le même espace.
Nos bras suivent donc nos gestes, tandis que l’acteur virtuel en face de nous alterne
différents comportements.
Lors de l’exposition à Savante Banlieue, nous avions plusieurs groupes de classes qui
venaient essayer tour à tour l’installation. Nous assurions la médiation, et recueillions les
retours. Il était intéressant de voir que l’interaction était naturelle, quel que soit l’âge. Au
niveau du déclenchement des comportements de l’acteur virtuel, le « mimétisme »
permettait en effet de capter l’attention du spectateur. Les autres gestes « capturés » ou
« générés » étaient finalement des ruptures, qui permettaient de donner de la variation.
Illustration 138. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE ou la cristallisation gestuelle entre un homme et
un avatar, Savante Banlieue, 2014
311
Retours suite à la présentation, lors de l’Atelier Campus Condorcet : Corps Humain, Avatar
Numérique et Arts Vivants, 16 avril 2015 561
Nous avons présenté également cette même variante de l’installation lors de l’Atelier
Campus Condorcet avec des étudiants et professionnels du théâtre.
Illustration 139. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE, Atelier Campus Condorcet, 2015
Lors de la présentation, nous n’avions pas dit comment le système marchait, et nous avons
laissé le doute quant à une intelligence artificielle possible.
Il était intéressant de remarquer que l’acteur virtuel avait une vraie présence : c’était un
« autre », avec lequel une relation pouvait naître pour construire toute une narration. Les
acteurs de théâtre improvisaient, poussaient leurs limites gestuelles, et même imitaient
l’acteur virtuel, quand celui-ci n’était pas en mimétisme.
561 Jeudi 16 avril 2015 à l’Université Paris 8. Organisation : Georges Gagneré, Véronique Muscianisi, Cédric Plessiet, Avec
la présence de Jean-François Dusigne, Professeur en Études Théâtrales à l’Université Paris 8, EA 1573.
312
Illustration 140. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE, BPI 2015
InterACTE’IN
Seulement, au lieu de projeter l’environnement virtuel sur un mur, nous le plaçons dans un
casque de réalité virtuelle Oculus Rift DK1.
Dans le casque, nous sommes complètement immergés dans le monde virtuel. Ceci amène
d’autres mises en espace possibles, ainsi que d’intéressantes problématiques sur le corps
virtuel.
Notre deuxième essai a été de placer un miroir en face de ce même corps, car il apparaissait
que les spectateurs ne regardaient pas assez leur corps, et ne détectaient donc pas les
changements de comportement.
Mais finalement, nous en sommes venus à la même conclusion que pour la projection au
mur : le miroir ne se différencie pas assez d’un « autre » être virtuel. Du coup, nous avons
placé l’acteur virtuel, auparavant distant, en face de la personne. Puis nous avons placé le
spectateur dans un corps virtuel qui suit tout le temps ses gestes (comme InterACTE). Ainsi,
le spectateur enfile son « scaphandre » de peau virtuel, pour se retrouver en face d’un autre
être virtuel, au semblant plus ou moins autonome.
313
Retours suite à l’exposition, lors de l’évènement Les Vitrines du Labex ARTS-H2H 2014, à la
Gaîté Lyrique
Il était très intéressant de voir qu’une fois le casque mis, les personnes étaient beaucoup
moins inhibées que face à l’écran. Elles étaient coupées de l’extérieur et se laissaient alors
beaucoup plus porter dans des chorégraphies. Elles regardaient également leur corps et
l’autre en face, et semblaient se laisser entraîner dans la rencontre.
Illustration 141.J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE'IN, Gaîté Lyrique, 2015
314
B.2.2.3. Étape quatre : conclusion et perspectives
Ces deux installations ont permis d’identifier plusieurs éléments en lien avec le corps
virtuel.
Ce corps, que l’on peut « habiter », qui est notre avatar dans le virtuel, que nous pouvons
contrôler, et qui nous permet d’être ce lien entre le réel et le virtuel.
Ou encore ce corps « autre », et au semblant autonome, avec lequel on peut créer un lien
relationnel, par cette présence sociale. À noter que, quand les personnes parlent de l’acteur
virtuel, elles lui donnent une vraie identité (« il a fait ce geste », « il avait l’air de… », etc.).
L’interaction gestuelle, quant à elle, amène à interagir de manière naturelle avec l’acteur
virtuel. Une forme d’empathie (voir de sympathie) semble apparaître. Le mimétisme est un
bon catalyseur pour pouvoir capter et entretenir la relation.
Lorsque l’acteur virtuel « prend son indépendance », nous pouvons remarquer que le rôle
est changé. Tout à coup ce n’est plus le spectateur qui contrôle son avatar, mais plutôt cet
être virtuel qui influence les gestes du spectateur.
Un dialogue à double sens semble ainsi émerger entre acteur réel et virtuel. Dans la suite
du projet CIGALE, nous prévoyons de continuer à enrichir le moteur de comportement, afin
de créer un être autonome (sans technique du magicien d’Oz), qui pourra répondre par
plus de variations gestuelles. Un apprentissage des comportements en temps réel des
spectateurs pourrait également améliorer la relation. Nous pourrions nous rapprocher de
cette « seconde interactivité », riche, émergente, et plus proche du vivant dans la relation
qu’elle propose.
315
B.3. Spectateur à l’intérieur de l’installation R+ / V++562
VRLux est une installation de réalité virtuelle qui invite le spectateur, muni d’un casque de
réalité virtuelle, à résoudre des énigmes dans une pièce close. Il est assis, et sur une table
devant lui apparaissent des éléments avec lesquels il peut interagir à l’aide d’une bougie.
Cette expérience s’inspire des jeux d’« évasion » (de l’expression anglaise « Escape the
room ») 564, qui mettent en scène des pièces dans lesquelles il faut chercher le moyen de
s’en échapper (trouver des objets particuliers, résoudre des puzzles, etc.).
Illustration 143. J. Guez, S. Kuntz, F. Reneau, F. Costes, C. Kaing, F. Gutherz, VRLux, 2013
562 Cf. Article sur l’analyse de trois installations dans ce contexte : J. Guez, “Créer avec les illusions entre le réel et le
virtuel.” Hybrid, revue des arts et médiations humaines, Labex ARTS-H2H. 2015.
563 Page de la création en ligne avec vidéo [En ligne, consulté le 16-09-2015, URL :
https://judartvr.wordpress.com/portfolio/vrlux/ ].
564 Cf. le jeu The Room : [En ligne, consulté le 19-08-2015, URL : http://www.macworld.com/article/2014016/review-
the-room-is-an-ios-game-so-good-its-scary.html].
565 Site internet de l’association [En ligne, consulté le 26-08-2015, URL : http://www.vrgeeks.org/ ].
316
Lors de la conception de VRLux, un des principaux objectifs que nous nous étions fixés, était
d’exploiter au mieux les caractéristiques liées aux interfaces de réalité virtuelle que nous
utilisons :
Nous voulions amener le spectateur à être présent dans cette expérience, et ainsi
minimiser les cassures de présence (BIP) du monde virtuel vers le réel.
Nous voulions créer une expérience qui pouvait être assez intuitive pour pouvoir
être terminée par un grand nombre de personnes, et ainsi minimiser la
médiation 566, même pour des personnes qui ne sont pas familières avec les
systèmes de réalité virtuelle. Nous avons donc choisi de créer un environnement
qui simule au mieux les propriétés de notre réalité quotidienne en termes sensori-
moteurs (calage cohérent des objets physiques entre le monde réel et le monde
virtuel, observation d’un monde à l’échelle 1 en tournant et bougeant la tête,
manipulation directe d’objets).
Nous avons cherché le moyen de faire entrer le spectateur dans le monde virtuel le plus
« naturellement » possible. La notion de naturalité de l’environnement virtuel reste une
question ouverte 567. Bien entendu, l’environnement virtuel implique que l’immersion et
l’interaction soient pseudo-naturelles 568. Les critères importants demeurent dans le fait
que l’interface soit transparente pour l’utilisateur, et que les actions à accomplir exploitent
des comportements humains ne nécessitant pas d’entrainement préalable. Cela peut
conduire à l’emploi des schèmes. Dans cet objectif, nous avons mis en correspondance
certains éléments virtuels et éléments réels :
566 En donnant simplement une instruction de départ et sans perturber le reste de l’expérience.
567 Cf. J.-F. Jégo, Interaction basée sur des gestes définis par l’utilisateur : Application à la réalité virtuelle, op. cit., p. 2.
568 Cf. P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit.
317
— Le décor réel représente une table et une chaise de type « bureau ». Sur la table
est positionnée une bougie (éteinte), ainsi qu’une boîte rectangulaire.
Pour permettre le passage du monde réel au monde virtuel, nous avons choisi les interfaces
sensori-motrices suivantes :
— Un casque de réalité virtuelle Sony HMZ-T1 569, est placé sur la table réelle.
Lorsque le spectateur vient s’asseoir et le porte, il est complètement immergé dans
le monde virtuel. Sur le casque, un capteur d’orientation SpacePoint Fusion est
569 Une version a également été testée avec l’Oculus Rift DK1.
318
placé : les mouvements de la tête peuvent être enregistrés et synchronisés avec la
caméra virtuelle en temps réel.
— La bougie/objet interface : Sur la bougie réelle placée sur la table est collé un
capteur de position et d’orientation (Razer Hydra). Ses déplacements sont
synchronisés en temps réel avec les déplacements de sa copie virtuelle. De plus, c’est
un objet du quotidien qui incite à l’emploi d’un schème : il présente donc des
« affordances », c’est-à-dire qu’il exprime toutes les possibilités d’action et suggère
sa propre utilisation 570.
Je caractérise la bougie d’objet interface, car elle permet d’être le lien naturel entre le
monde réel et le monde virtuel. Nous avons identifié plusieurs interactions possibles qui
nécessitent simplement l’utilisation « habituelle » de cette bougie : explorer
l’environnement virtuel avec sa lumière ; brûler des éléments (cordes, etc.) ; appuyer sur
des objets (boutons, etc.) ; faire glisser des objets.
570 Cf. James J. Gibson, The Theory of Affordances. In Perceiving, Acting, and Knowing : Toward an Ecological
Psychology, Robert Shaw et John Bransford (dir.), Hillsdale, Erlbaum, 1977, p. 67-82.
319
— Un casque audio, qui permet d’immerger au niveau sonore le spectateur dans
l’expérience. Il reproduit un son plutôt mystérieux et entraînant, qui permet de
plonger dans l’atmosphère mystique du cabinet de curiosités.
À partir de ce dispositif mixte réel/virtuel, au regard des exemples de retour d’effort passif,
évoqués dans la partie 1 théorique 571, nous voulions explorer ces interrogations : Les
éléments réels tangibles apportent-ils plus de présence dans cet environnement en réalité
virtuelle ? Permettent-ils de relancer l’effet de présence en brouillant davantage la limite
entre réel et virtuel ?
— phase de « jeu ».
Cette phase permet le premier contact entre le spectateur et l’installation. Afin de créer une
entrée plus facile dans le monde virtuel, des éléments des décors réel et virtuel sont
semblables. Elle correspond à l’étape de protocole d’immersion en réalité virtuelle.
Quand le spectateur arrive devant l’installation, il voit la table réelle avec la bougie et la
boîte. Nous lui proposons de s’asseoir devant la table. Nous l’aidons à mettre le casque de
réalité virtuelle. Dès qu’il a le casque, la visualisation du monde virtuel se substitue à
l’environnement réel.
572
571 Cf. Partie I.Chapitre 2.B.2.4.1. Expérience de jeu entre le tactile et le visuel. Ex : concept de retour d’effort passif (Slater,
Meehan, Insko, etc.).
572 La photo n’a pas été prise dans les conditions d’exposition. En particulier, la table n’est pas ronde.
320
Dans l’environnement virtuel, il peut observer la table qui est placée exactement au même
endroit et à la même échelle que la table réelle. Si bien que s’il essaie de la toucher, il va la
sentir au niveau tactile. Il en est de même pour la bougie et la boîte réelle, cette dernière
étant transformée en coffre dans le virtuel.
Nous lui proposons ensuite de prendre la bougie qui est sur la table. Il ne voit pas ses mains
dans le monde virtuel, mais les espaces réel et virtuel étant superposés, il peut saisir la
bougie sans difficulté. Une fois qu’il a la bougie réelle/virtuelle en main (allumée seulement
dans le virtuel), nous lui proposons d’explorer l’environnement afin de résoudre les
énigmes avec uniquement l’aide de cet objet.
Nous lui plaçons ensuite le casque audio sur les oreilles, afin de l’isoler des bruits
extérieurs, et de l’immerger davantage dans l’expérience.
Phase de « jeu »
Une fois la phase d’immersion dans le monde virtuel réalisée, la phase du « jeu »
commence. Cette phase comprend cinq étapes (pour cette installation, je détaillerai le
scénario du jeu afin de montrer les possibilités d’immersion et d’interaction d’un tel
dispositif).
Étape 0 d’initiation
321
Une pancarte avec marqué « Push Me » est
posée sur la table. En face se trouve un
coffre ouvert, avec un bouton rouge à
l’intérieur.
Étape 1 de jeu
322
Il faut brûler la corde à l’aide de la flamme
de la bougie.
Étape 2 de jeu
323
Il faut utiliser la bougie pour pousser le
socle vers la gauche.
Étape 3 de jeu
324
L’une des ombres représente un cœur.
Il faut appuyer sur le bouton
correspondant.
Étape 4 de jeu
325
Il faut appuyer sur les deux boutons
correspondants.
Fin.
Charles Kaing et François Gutherz ont réalisé les éléments graphiques. Florian Costes les
éléments sonores. Sébastien Kuntz et Florian Reneau ont principalement programmé les
comportements. Avec Sébastien, j’ai construit les scènes et intégré les éléments, en prenant
en compte le design total de l’expérience.
326
superposés (level1, level 2, etc.) et sont activés ou désactivés par un manager de scène en
fonction de l’évolution du jeu.
Illustration 147. VRLux, dans Unity 3D Illustration 148. Manager des étapes de jeu dans
Unity 3D, VRLux, 2013
— le comportement de la bougie doit être cohérent par rapport à une bougie réelle
(comportement de la flamme, des ombres, de la lumière) ;
— les interactions avec les objets doivent être crédibles : utiliser la physique et les
systèmes de collision (pour éviter que les objets ne rentrent les uns dans les autres).
De plus, afin de permettre à la personne de bien comprendre les objectifs et ses actions
possibles dans l’environnement, nous avons ajouté des aides :
— lorsque la flamme de la bougie croise quelque chose qu’elle peut brûler, elle
s’intensifie ;
— les éléments qui sont en interaction avec la flamme changent : par exemple, la
corde devient rouge au contact de la flamme, et disparaît de plus en plus ;
Illustration 149. Aides visuelles pour que la bougie de VRlux paraisse crédible.
327
Intégration des interfaces de réalité virtuelle
VRlux utilise MiddleVR 573 dans Unity 3D. C’est un middleware qui s’intègre entre autres à
Unity, et qui permet de faciliter l’intégration d’interfaces de réalité virtuelle.
Comme l’installation s’appuie sur la similitude des éléments réels et virtuels, une
importante phase de calibration doit être faite. MiddleVR, en combinant sur une même
scène 3D les différentes interfaces (Razer Hydra, Sony HMZ-T1 et SpacePoint Fusion), a
permis de faciliter cette étape et d’obtenir une bonne précision.
Illustration 150. Interface de MiddleVR Illustration 151. Scène 3D de MiddleVR pour repérer
574
les interfaces de réalité virtuelle dans l'espace.
— identifier le centre de notre espace virtuel, qui correspond au centre réel (root) ;
Ainsi, l’espace réel et virtuel peuvent être superposés, et quand la bougie touche les
bords de la table réelle, elle touche aussi les bords de la table virtuelle.
328
À noter que les capteurs Razer-Hydra donnent une bonne précision (filtrage à
latence faible, position au millimètre et orientation au degré près pour une
interaction proche de la base), et ne sont pas onéreux. Cependant, le capteur étant
magnétique, certains décalages peuvent parfois apparaître. Il faut donc éviter tout
objet trop magnétisé à proximité.
Cette installation a été exposée dans plusieurs manifestations et expositions, devant des
publics différents et avec des niveaux de connaissance variés de la réalité virtuelle. Malgré
ces différences, les utilisateurs comprenaient toujours comment interagir en tournant la
tête et en manipulant la bougie. En sortant de cette expérience, ils étaient souvent très
enthousiastes, avec un désir très fort de raconter ce qu’ils avaient vécu.
Lors de la première présentation au GGJ 2013, des réactions spontanées ont permis de
comprendre que l’expérience paraissait réaliste et que l’impression de présence semblait
fonctionner. Il y a eu des exclamations d’étonnement : « Je suis dedans », c’est « happant ». À
la question : « quand tu as vu la bougie, savais-tu quoi faire ? », beaucoup ont répondu que
c’était naturel de l’utiliser 575. Certaines personnes ont même éprouvé une sensation de
chaleur lorsqu’elles approchaient la bougie près d’elles (je rappelle que la bougie n’était
allumée que dans le monde virtuel). Le son et les bruitages furent également notés comme
aidant à l’immersion.
Ces réactions m’ont ensuite permis de mettre au point un questionnaire afin d’affiner les
résultats. Le questionnaire 576 s’inspire des réactions du GGJ, mais également des
575 Cf. également les retours d’expérience par Sébastien Kuntz : « Based on the feedback we had from (already) a lot of
people, I think we’re on the right track. Everybody, including non-players, were immediately at ease. » [En ligne, consulté le
19-08-2015, URL : http://cb.nowan.net/blog/2013/01/30/vrlux-postmortem/ ].
576 Cf. Le questionnaire [En ligne, consulté le 19-08-2015, URL :
https://docs.google.com/forms/d/1H63hKBmEPmNGBeucK6iiLDN35VPzKExM9xLv6HRrPK4/viewform?usp=send_form
].
329
questionnaires de présence 577 (principalement Bouvier). Les questions sont à la première
personne, impliquant davantage le spectateur dans ses réponses. La mesure de la présence
étant une question ouverte toujours sujette à discussion, j’ai opté pour une combinaison de
questionnaires qui utilisent une échelle de Likert de 1 à 7 (permettant de laisser un état
« médian » sur 4), des questions à choix multiples, des questions plus fermées (binaires, oui
ou non), et enfin des champs ouverts (commentaires, impressions, etc.). J’ai isolé quatre
thématiques avec des questions :
— plus spécifiques sur les tâches à accomplir (le déroulement du jeu : difficulté des
énigmes, temps du jeu ressenti, etc.) ;
330
—100 % des personnes ont dit avoir aimé l’expérience ;
—41 % de marrante ;
—55 % de prenante ;
—27 % d’étonnante. « J’ai été agréablement surpris par le médium et ses qualités
immersives », « intrigantes » ;
— les énigmes ont été ressenties à 50 % comme faciles (dans un bon rapport
difficulté/facilité) ;
— le jeu n’a pas paru trop long. 64 % ont dit avoir trouvé le jeu court, 27 % lui
trouvaient un bon équilibre : ni trop long, ni trop court, (9 % autres réponses) ;
—46 % ont dit avoir été surpris de se comporter comme si cela avait été réel.
Certains résultats ont eu des scores faibles, mais m’ont permis d’identifier des
comportements émergeants :
—41 % des personnes ont voulu toucher l’environnement avec leur main ne
tenant pas la bougie (et donc qui n’avait aucun impact sur l’environnement
virtuel). Ceci met en valeur la confusion entre l’environnement réel et virtuel.
331
—23 % ont eu mal au bras en tenant la bougie. Généralement, il convient de réaliser
une expérience qui ne fatigue pas lors de l’interaction gestuelle. Cependant, dans
cette expérience, nous voulions travailler sur la similitude entre le geste d’explorer
avec la bougie dans le réel ou dans le virtuel. Ainsi, le mal de bras pourrait confirmer
que la personne a exploré l’environnement comme si elle le faisait avec une bougie
réelle.
Souvent c’était les bruits extérieurs qui « sortaient » les personnes de l’expérience,
ou des erreurs de calibrations qui pouvaient survenir avec les capteurs magnétiques
(sensibles aux variations magnétiques), ou quand la personne remarquait que tous
les éléments virtuels n’avaient pas leur équivalent réel.
J’ai eu l’occasion de présenter ensuite VRLux lors de l’évènement Press Start 2013 de la
Bibliothèque Publique d’Information (BPI) au Centre Pompidou à Paris (mai 2013),
pendant deux jours. Nous avons pu mettre en place l’installation dans les bonnes
conditions (table de bureau ressemblant à la table virtuelle) 578.
578 Et avec l’Oculus Rift Dk1 avec un capteur Razer-Hydra pour avoir la position et l’orientation de la tête.
332
Illustration 152. Exposition de VRLux à Press Start 2013
Afin d’éclaircir les réponses à certaines questions qui avaient émergé lors des précédentes
expositions, j’ai rédigé un deuxième questionnaire, beaucoup plus court. Il contient 6
questions auxquelles le spectateur peut répondre par « oui », « non », ou « pas d’avis », et 4
questions de renseignements généraux (expérience de la réalité virtuelle, des jeux vidéo,
sexe, âge). Ce questionnaire, plus commode dans ce contexte d’une exposition à la
bibliothèque, m’a permis de récolter 44 retours (de personnes d’âge allant de 12 à 46 ans,
dont 32,6 % de femmes, et 67,4 % d’homme).
— j’ai voulu toucher l’environnement avec la main sans la bougie : Oui 49 %, non
51 % ;
333
méthodes des entretiens d’explicitation 579, j’ai essayé de creuser un peu plus les réponses
en amenant le spectateur à essayer d’exprimer les sensations qu’il avait ressenti pendant
l’expérience.
J’ai ensuite retranscrit les enregistrements afin de mieux pouvoir les étudier (cf. Annexe
VRLux, enregistrements BPI 2013 : nous pouvons remarquer les déclarations souvent
hésitantes des personnes questionnées, qui essayaient de définir leurs ressentis dans cet
environnement mixte réel/virtuel).
Suivant ma méthodologie d’analyse (cf. Partie II.Chapitre 1.A Méthodologie pour la création
et l’analyse), je voulais relever dans ces enregistrements les éléments importants qui sont
relatifs à mon hypothèse artistique de recherche 580.
Rappelons (cf. Partie II.Chapitre 1.A.3.3 Retours du public. Impacts et analyses) que je
cherche à identifier à partir des retours du public :
— d’une part les jeux de frontières perçus par le spectateur, entre les différents
environnements réel/virtuel.
334
Alors, je confirme dans le sens de mes intentions esthétiques, la recherche-création de
nouvelles formes artistiques d’illusion entre le réel et le virtuel (indiscernabilité, transition,
rupture) avec leur impact sur le spectateur (déstabilisation, surprise, émerveillement).
Voici donc, selon ce classement, une synthèse des termes récurrents utilisés par les
personnes questionnées 581 :
Perturbation, déstabilisation
— « Surpris ».
— « Bizarre ».
— Différent de l’habitude : ne pas être dans la « physique habituelle », « ça
change ».
— Déstabilisation des « repères » : « chercher un repère » instinctivement par
rapport aux habitudes.
— Sensation de « vide ».
— Hésitation sur l’explication du ressenti : « tu es partagé », « … »
581 J’ai noté entre guillemets/italiques certains passages courts des phrases des personnes questionnées.
335
Émerveillement, prise de conscience
— Exclamation : « Ha bah ! », « oui ! Complètement ! ».
— C’est « impressionnant », « bluffant », « magique ».
— Jugement sur l’étrangeté du ressenti : « j’ai compris je me suis dit “qu’est-ce
que tu es en train de faire ?”, “c’est moi qui ait un problème ?” ».
— Un livre dont on ne peut pas tourner les pages.
Plaisir et consentement
— « Très sympa »,« C’est réussi ».
— « Marrant ».
— « L’immersion m’a plu ».
— « j’aimerais vivre encore l’expérience ».
— Moins de malaise ressenti dans cette expérience par rapport à d’autres
expériences de réalité virtuelle.
Illustration 153. Synthèse des analyses des retours du public, VRLux, 2011
Les différentes expositions et retours des spectateurs ont fait ressortir des éléments
intéressants pour notre recherche. Nous avons pu identifier :
582 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.
336
L’impression d’un « réveil dans la réalité » a également été exprimée, quand par
exemple les objets touchés dans le virtuel n’avaient pas d’homologues réels. Mais
dans l’ensemble, ces cassures de présence n’étaient pas trop nombreuses ;
Ils exploraient la pièce tout autour d’eux à l’aide de la bougie. Ils ont exprimé une
facilité de prise en main et ont compris rapidement comment éclairer la pièce. La
bougie est ainsi un « objet-interface » quotidien qui a bien fonctionné.
D’autre part, cette situation a provoqué des sensations particulières liées aux
habitudes de perception/action dans un environnement : la chaleur de la bougie
ressentie, la prudence de mouvement évoquée, etc.
Les objets à la fois réels et virtuels (la chaise, la table, la bougie et la boîte) ont
favorisé cette indiscernabilité des frontières (reconnus comme étant les « mêmes »).
Ils permettaient de donner des repères sensoriels stables, qui pouvaient être perdus
lorsque les personnes essayaient de toucher d’autres éléments qu’ils voyaient, et
qu’ils ressentaient du « vide ».
Cette expérience confirme mon hypothèse que ces présences et ces jeux de frontières
amènent des sensations de déstabilisation, d’émerveillement et de plaisir. Et en effet :
— les personnes se sont senties « surprises ». Elles ont caractérisé des moments de
l’expérience comme « bizarres » ;
— leurs phrases hésitantes lors des entretiens montrent une recherche de « repères »
face à cette situation non habituelle ;
— Ça a été des moments vécus forts, « magiques », qui ont été jugés comme
surprenants et non « normaux » ;
— il faut noter que pratiquement toutes les personnes ont aimé l’expérience, avec une
envie de recommencer. À noter aussi le peu de cyber-malaises relevés, ce qui
contribue au plaisir de l’expérience.
Cette installation de réalité mixte, que l’on pourrait identifier de virtualité augmentée 583
(au regard du continuum de Milgram), me permet donc, par ces retours, d’aller dans le sens
de mon hypothèse artistique de recherche.
583 L’environnement est majoritairement virtuel et il est augmenté tactilement (et auditivement) par des objets réels.
337
Perspectives
338
B.3.2. Lab’Surd, 2014-2015 584
VRlux proposait de faire entrer le spectateur dans un monde virtuel aux « codes
perceptifs » réalistes. Pouvons-nous aller plus loin et dépasser ce cadre réaliste ? Car le
virtuel permet de copier le réel, mais également de proposer des mondes imaginaires,
comme nous le rappelle Philippe Fuchs dans le traité de la Réalité Virtuelle 585. Comment
pénétrer alors dans ces mondes imaginaires ? Comment faire accepter de nouveaux codes
de perception au-delà d’une représentation « copie » du réel ? Par exemple, la bougie
virtuelle de VRLux pourrait-elle se transformer (changements de formes, de couleurs) dans
le temps de l’expérience, sans pour autant perdre la crédibilité de l’expérience ?
En 2015, ce laboratoire virtuel a été transformé en une seconde version, afin de proposer
une installation artistique avec une narration progressive dans le temps.
584 Page de la création en ligne avec vidéos [En ligne, consulté le 16-09-2015, URL :
https://judartvr.wordpress.com/portfolio/labsurd/ ].
585 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit.
586 En référence au courant surréaliste.
339
Lab’Surd V1, 2014 / Le laboratoire de la « survirtualité » : une plateforme
« SandBox », afin d’expérimenter différentes illusions réelles/virtuelles, d’en étudier
leur composition dans la scénographie, et leurs effets auprès des spectateurs.
Lab’Surd V2, 2015-2016 : expérience qui invite le spectateur, par un scénario et une
cohérence esthétique, à entrer progressivement dans un monde de magie virtuelle
dans lequel tout devient possible.
Le dispositif est une variante de celui utilisé pour VRLux. Au lieu d’utiliser une bougie, nous
avons choisi un verre, objet également quotidien.
Cette première version a été créée pour être exposée au salon de réalité virtuelle Laval
Virtual 2014, sur le stand du ParisACMSiggraph. Nous disposions donc d’un espace de type
« stand », que nous pouvions exploiter afin de jouer sur la frontière entre le réel et le
virtuel.
340
Nous avons reproduit le stand réel aux mêmes dimensions dans le virtuel. Seules les
affiches étaient différentes : elles représentaient quelques tableaux inspirés des
surréalistes et des Algoristes 587, ainsi que quelques illusions d’optique. La table et la chaise
réelles étaient reproduites à l’identique dans le virtuel, et positionnées sur un coin du stand
face à un mur. Mais dans le monde virtuel, nous avons ajouté un miroir face à l’utilisateur et
une petite balle rouge sur la table. De plus, sur ce meuble réel, et dans sa version virtuelle,
était positionné une petite boîte noire (permettant de cacher la base du capteur Razer-
Hydra), ainsi que notre objet interface : un grand verre en plastique noir.
Comme pour VRlux, nous proposions au spectateur de venir s’assoir devant la table, de
placer le casque de réalité virtuelle et ensuite de prendre le verre devant lui. Nous lui
donnions simplement l’instruction de jouer avec la balle virtuelle en utilisant le verre.
Phase de l’expérience
Pour essayer de susciter des moments « magiques », nous avons opté pour un scénario qui
devenait de plus en plus explicite. Nous commencions par des effets à peine perceptibles,
créant une discrète impression d’étrangeté, que nous proposons d’appeler des illusions de
« changement faible » : la balle dans le reflet change de couleur, les mouvements dans le
reflet sont inversés, la boîte sur la table devient une anamorphose. Puis, une fois la rupture
établie, nous provoquions des illusions à « changement élevé », et donc plus perceptibles :
les miroirs deviennent infinis, la boîte placée devant le spectateur reproduit la vue du
stand, la table devient un miroir, etc. Des changements progressifs ont également été testés
sur l’objet interface : le verre devient mou ou plus gros.
Nous avons utilisé Unity 3D pour le moteur temps réel et MiddleVR pour l’intégration des
interfaces de réalité virtuelle. Nous avons utilisé un casque Oculus DK1 avec les capteurs
Razer-Hydra pour repérer la position de la tête et les mouvements du verre en temps réel.
La base du Razer-Hydra était positionnée dans une boîte noire sur la table. Il convenait,
comme dans VRLux, de calibrer la position de la base du capteur et du casque de réalité
virtuelle en fonction d’un point central de la pièce (je ne reviendrai pas sur la procédure,
déjà expliquée dans la description de VRLux).
Illustration 156. Schéma du dispositif, Lab'Surd, 2014-2015 Illustration 157. Oculus Rift DK1 et Razer-Hydra
Nous avons, pour cette première étape, laissé libre court à nos envies de création
d’illusions. Nous avons par exemple répertorié certaines illusions qui fonctionnent dans le
réel, et qui peuvent être retranscrites dans le virtuel (anamorphose, chambre d’Âmes, vitre
sans tain, portails, etc.).
Nous avons également cherché des illusions propres à la réalité virtuelle, afin de créer des
ruptures des perceptions / actions de l’utilisateur dans le temps de l’expérience (la balle
dans le miroir change de couleur, les mouvements du verre dans le miroir sont inversés, les
tableaux prennent vie et passent de la 2D à la 3D, etc.). Le courant surréaliste nous a
beaucoup inspiré : nous ne voulions pas déconstruire le réel, mais plutôt le virtuel
(représentation du réel) afin de laisser libre court à notre imagination. Par exemple, en
référence à Dali, le verre se ramollit à un moment. Suite à l’étude déjà évoquée sur la
342
modification de la forme par illusion visuelle/tactile 588, je me demandais ce qu’allait
ressentir la personne qui tient un verre solide, mais voit ce verre mou.
Nous avons ensuite distingué deux types d’illusions, selon leur mode d’apparition dans le
virtuel : les illusions soudaines, dont le changement ne devait pas être vu par le spectateur,
et les illusions progressives, qui modifiaient lentement un élément.
Les illusions progressives pouvaient commencer à n’importe quel moment. Par contre,
pour les illusions soudaines, il convenait de trouver un moyen de concentrer l’attention du
spectateur sur une autre zone que celle où le changement devait se passer. Nous avons
utilisé plusieurs méthodes pour cela (par exemple, utiliser un son spatialisé : bruissement
de feuille, moustique près d’une oreille, etc. ; utiliser le miroir : faire apparaître des balles
qui tombent derrière le spectateur pour qu’il se retourne).
Nous avons créé un scénario qui commençait par les illusions de « changement faible»
(effets à peine perceptibles), pour ensuite activer celles de « changement élevé » (effets
plus importants). Cependant, nous étions en phase d’expérimentation, et nous n’étions pas
sûrs de nos « tours » pour déconcentrer le spectateur. Nous avons donc également prévu
une possibilité d’activation des illusions par le clavier. Ainsi, pendant l’expérience, nous
pouvions activer telle ou telle illusion à loisir, et tester ce qui était le plus intéressant.
Lors de l’exposition au Laval Virtual 2014, nous avons pu observer les réactions du public,
et poser quelques questions informelles après l’expérience.
Nous avons pu remarquer que le jeu entre les dimensions visuelles et tactiles permettait de
bien introduire l’expérience, comme dans VRLux. D’autant plus que l’environnement virtuel
était dans ce cas une réplique fidèle de l’environnement réel, à peu de choses près.
L’environnement sonore était similaire aux bruits du salon, ce qui permettait aussi de
régler les problèmes de gêne dus aux bruits extérieurs. L’environnement contextuel (le
stand) présentait toutefois un mur supplémentaire par rapport au décor réel, ce qui a
conduit plusieurs personnes à s’exclamer, en enlevant le casque : « Ah oui il n’y avait pas de
mur ici en vrai ! ». La similitude entre le décor réel et le décor virtuel facilite donc les
brouillages entre ces deux espaces de perception.
588 Cf. Yuki Ban and others, “Modifying an Identified Curved Surface Shape Using Pseudo-Haptic Effect,” in Haptics
Symposium 2012, HAPTICS 2012 - Proceedings, 2012, pp. 211–16. (Cf. Partie I.Chapitre 2.B.2.4.1 Jouer entre plusieurs
sens).
343
Certains effets semblent bien fonctionner, comme la sensation de ramollissement (le
verre), l’anamorphose (les affiches), les balles dans le miroir, etc. Même si la personne n’a
pas remarqué tous les effets (ce n’est d’ailleurs pas le but), elle semble décontenancée au
début, cherchant des réponses et essayant de comprendre ce qui se passe (« J’avais
l’impression que quelque chose allait se passer derrière moi »). Puis, ayant repéré quelques
effets, elle essaie de comprendre, jusqu’à enfin lâcher prise et accepter cet environnement
aux codes inhabituels, pour s’en amuser. Il s’opère alors un moment de rupture, qui change
l’interprétation qu’elle peut avoir de ce qu’elle vit ; un moment où tout est possible (« J’ai
vu d’abord le miroir – rien de spécial. Puis la balle au loin – j’ai eu vraiment un effet d’illusion
là, car je me suis retourné et je n’ai pas vu les balles. Alors là, j’étais dedans ! Il m’a semblé, à
un moment, voir la boîte aplatie… » 589).
Cette expérience a montré, comme je l’ai proposé dans mon hypothèse, que « les illusions
de transition », permettent au spectateur de passer d’un environnement virtuel simulé aux
codes perceptifs réalistes, à un monde construit sur des perceptions méconnues,
imaginaires et non réalistes.
Le scénario « représentation du réel > rupture > imaginaire » permet ainsi, par une
simulation « copie » du réel, de faire entrer le spectateur de manière intuitive dans
l’environnement réel/virtuel, puis de l’amener progressivement par des ruptures multi-
sensorielles, à accepter le voyage dans un autre monde auquel il ne s’attendait pas. C’est
donc à travers cheminement que je propose au spectateur une interrogation sur sa propre
réalité, sur sa perception du monde qui l’entoure.
589 Extrait d’un entretien d’explicitation réalisé avec un spectateur, qui venait d’expérimenter Lab’Surd V1.
344
Lab’Surd V2, 2015-2016
Le dispositif est quasiment le même que celui de Lab’Surd V1. Nous avons enlevé la boîte
sur la table (contenant la base du Razer-Hydra) et nous l’avons placée sous la table pour la
rendre invisible.
Nous avons changé le contexte. Pour que l’installation puisse être exposée dans d’autres
lieux, nous avons opté pour un décor plus simple : la table est dans une pièce cubique
blanche 590.
Le décor réel représente une table blanche avec une lampe allumée dessus, face à un mur
blanc (et idéalement avec des murs blancs sur les côtés).
Le décor virtuel représente cette même table, avec la même lampe allumée. Sur les murs
des côtés sont accrochés deux tableaux, celui de gauche s’inspirant de l’artiste M.C. Escher
et celui de droite de R. Magritte. Sur le mur de face, devant la table il se trouve un grand
miroir.
590 Dimensions du dispositif : L 1 m/l 80 cm/h 80 cm (espace minimum : juste la table [L 60 cm/l 80 cm/h 68 cm] et la
chaise). Mise en exposition idéale : Avec les 3 murs entourant la table : Espace 2,50 *2,50 m. Au minimum : juste un mur
devant la table à une distance de 40 cm de celle-ci dans un espace de : L 1,60 m/l 1,20 m/h 2 m.
345
Mise en relation dans le temps de l’expérience
Le spectateur est invité à s’asseoir, à mettre le casque sur la tête et à prendre le verre sur la
table. Dans le virtuel, il retrouve la table, la lampe, et le verre qui devient un « objet
interface », permettant une interaction naturelle avec ce monde.
Il est possible de jouer avec la balle lumineuse par l’intermédiaire du verre : la prendre, la
faire rouler, la faire tomber, éclairant ainsi mieux certaines parties de la pièce.
La lampe grésille, tout devient noir. Quand elle se rallume, l’environnement a changé. Il n’y
a plus de murs. La table est sur une petite plateforme dans le vide. L’espace est grand et
représente l’intérieur d’un tableau d’Esher. Par les portes, la mer du tableau de Magritte
apparaît, avec des gravités différentes. Quelques lucioles apparaissent, quelques nuages
flottent. Puis la lampe grésille au bout d’une minute et s’éteint, invitant le spectateur à
enlever le casque.
347
Illustration 161. Capture de la scène de fin dans "Escher", Lab'SurdV2, 2015
Cette deuxième version utilise l’Oculus Rift DK2, qui est de meilleure résolution que l’Oculus
Rift DK1 et permet de capter la position en plus de l’orientation de la tête. Nous avons
continué à utiliser le capteur Razer-Hydra pour le verre, mais cette fois-ci en plaçant la base
dans une boîte sous la table.
Moteur temps réel : Unity 3D avec MiddleVR pour l’intégration des interfaces de réalité
virtuelle.
Je ne reviendrai pas sur les phases de calibration qui sont nécessaires pour caler
exactement les éléments virtuels au niveau de leurs homologues réels.
Au niveau du graphisme
Guillaume Bertinet a travaillé principalement sur le graphisme (par exemple sur le shader
du verre qui devient mou), et Kevin Wagrez sur la transposition des illusions dans le virtuel
(par exemple l’anamorphose, qui consiste à calculer la projection de l’objet sur d’autres
surfaces, en fonction de la position de la caméra de l’utilisateur).
Pour la scène de début, nous avons opté pour un environnement « épuré » : une pièce
blanche cubique avec juste une lumière. Un travail sur les ombres et les lumières a permis
348
de « relever » l’atmosphère mystérieuse de ce lieu qui « étrangement » ressemble au réel,
mais pas complètement. (Cf. Illustration 159. J. Guez, G. Bertinet, K. Wagrez, Lab'Surd V2,
2015).
La scène de fin s’inspire d’un tableau d’Escher en 3D. (Cf. Illustration 161. Capture de la
scène de fin dans "Escher", Lab'SurdV2, 2015).
Entre ces deux scènes, nous avons travaillé sur différentes transitions, pour amener petit à
petit à une déconstruction de l’espace de la pièce, avec des changements d’échelle. Par
exemple, sur les deux tableaux :
— au départ le tableau d’Escher sur la gauche est plat, puis il se transforme en 3D.
Ensuite les murs à gauche disparaissent pour laisser place à un couloir avec au fond
de vrais escaliers plus grands, jusqu’à arriver à la scène de fin, où le spectateur est
au centre d'un grand espace inspiré du tableau.
À noter également que pour pouvoir créer les illusions dans le miroir (le reflet n’étant plus
cohérent), nous avons en fait réalisé deux pièces identiques dans l’environnement 3D.
349
Illustration 162. Étape de travail sur Unity 3D, des deux scènes qui donnent l'illusion du miroir, Lab'Surd V2, 2015
Au niveau sonore
Florian Costes, designer son, nous a rejoints pour cette deuxième version.
Nous voulions une musique mystérieuse et qui emporte le spectateur, sans pour autant
prendre trop de place dans l’expérience. Le choix d’une musique minimale et évolutive était
parfait pour Lab’Surd. Au départ la musique commence donc avec juste quelques notes de
piano, puis petit à petit d’autres éléments s’ajoutent. Au fil de l’expérience, elle s’intensifie
ou devient plus lente, pour qu’à la fin, une musique plus « englobante » accentue le ressenti
d’espace et de vertige dans le tableau d’Escher.
D’autres sons étaient également ajoutés sur les objets 3D, et spatialisés dans l’espace : bruit
de la lampe qui grésille, s’allume, s’éteint, tombe sur la table ; bruit des vagues ; bruit des
murs qui se déplacent.
Au niveau du scénario
Nous avons utilisé le plug-in Playmaker 591 qui permet, grâce à une interface graphique, de
placer les effets programmés dans des boîtes d’entrée/sortie, qui peuvent être connectées
(en mode automate à états). Ainsi, nous pouvions plus clairement visualiser le déroulé des
effets dans le temps de l’expérience.
Deux scénarios sont déclenchés en parallèle : un pour les changements progressifs (le verre
devient mou, etc.) et un principal avec tous les effets majeurs qui sont scénarisés dans le
temps.
350
Nous avons trouvé un compromis pour le déclenchement des illusions dans le temps,
entre ce que nous avions réalisé pour Lab’Surd V1 (les illusions ne changent que lorsque la
personne tourne la tête) et cette version. En effet, nous avons remarqué qu’il n’était pas
possible de faire systématiquement tourner la tête à une personne, surtout si elle n’est pas
habituée au casque de réalité virtuelle avec une vue à 360°. Mais nous voulions quand
même garder cette interaction possible, tout en guidant la narration dans le temps. Nous
avons utilisé la lumière de la balle, qui pouvait s’éteindre et placer l’environnement dans le
noir, pour déclencher certains effets, par exemple pour le passage à la scène de fin. Toutes
les illusions, à part les illusions progressives, se déclenchent quand la personne ne regarde
pas vers l’endroit où elles se présentent : le tableau prend « vie » si elle ne le regarde pas ;
un portail apparaît sur la table quand elle ne regarde pas la table ; les murs se déplacent en
dehors du champ visuel de la personne, etc. Mais durant le temps de l’expérience, nous
avons également rendu possible l’activation de ces illusions pendant un moment précis. Si
la personne n’a pas déclenché l’illusion par un mouvement de tête, nous avons trouvé le
moyen de forcer les illusions : nous avons créé des « points de vérifications ». À ces points,
si des illusions déterminées n’ont pas été déclenchées, nous faisons grésiller la lumière
pour masquer leur apparition pendant l’un des courts intervalles d’obscurité. Cette
méthode nous a permis de garder une ligne scénaristique, tout en permettant des
variations d’expérience selon l’interaction des spectateurs.
— les murs sur les côtés ne sont pas loin et les deux tableaux que l’on devine avec
notre regard périphérique amènent à tourner la tête pour les regarder à droite et à
gauche ;
— la musique spatialisée : par exemple quand le tableau Magritte prend vie, le bruit
de la mer à droite se fait entendre. Si la personne tourne la tête dans cette direction,
le tableau d’Escher à gauche se transforme et passe de la 2D à la 3D, de même pour
le déplacement des murs.
Pour la gestion de l’interaction avec la balle, quand elle tombe sur le sol, au bout d’un
moment, elle grésille, s’éteint, et revient dans la lampe avant de retomber sur la table.
351
B.3.2.6. Lab’Surd V2 - Étape trois : retours du public. Impacts et analyses
— à l’Institut culturel de Google, lors d’une soirée en partenariat avec le VRLab 592 et
Decalab 593.
352
Illustration 164. Lab'Surd V2, VRLab, Google Institute
Avec mon hypothèse en ligne directrice, je voulais ici principalement identifier les passages
de présence et en étudier le ressenti :
594 Cf. Proposition de mon modèle de plongée dans les illusions. Partie I.Chapitre 2.C.2.5.
353
Les personnes tournaient facilement la tête et exploraient l’environnement.
La table, la lampe et le verre réel/virtuel ont offert de nombreux jeux : certains essayaient
de toucher la lampe avec le verre pour la sentir tactilement. D’autres utilisaient leur autre
main pour toucher la table ou la lampe.
Le fait d’avoir une balle virtuelle dans l’environnement comme source de lumière a
entraîné des comportements de jeux avec le verre : prendre la balle lumineuse dans le
verre, pousser la balle et la faire tomber, coincer la balle en plaçant le verre dessus.
354
Illustration 165. Expérimentation par le public de Lab'Surd V2, 2015
Le passage d’un espace confiné clos à un espace spacieux (avec du vide tout autour de la
personne) a très bien été ressenti : lorsque les spectateurs arrivaient dans la scène de fin,
dans le tableau inspiré de M.C. Escher, ils commençaient à regarder en bas, en haut, se
raccrochaient à la table. J’ai également observé le plaisir et la surprise ressentis à ce
moment par leurs exclamations, ou leurs comportements (bouche ouverte, sourire, etc.).
355
Entretiens après expérience
J’ai ainsi repris le même classement qui renvoie à mon hypothèse, et j’y ai placé un résumé
des éléments relevés dans les entretiens retranscrits 596 (cf. Annexe. Enregistrements
Lab’Surd).
595 Rappel de l’hypothèse principale : la réalité virtuelle et mixte par la mise en relation et la mise en espace de jeux sur
les frontières entre le réel et le virtuel — jeux de transitions, de ruptures, de superpositions, et d’indiscernabilités —
permet l’émergence de nouvelles formes artistiques de l’illusion qui déstabilisent et émerveillent le spectateur.
596 J’ai noté entre guillemets/italiques certains passages courts des phrases des personnes questionnées.
356
— Interaction naturelle dans l’environnement virtuel. Facile et rapide prise
en main.
— Objet / verre connu et vecteur d’un comportement : prendre la balle avec le
verre.
— Jeux sur les ombres et les lumières réalistes.
— Jeu tactile/visuel : l’objet réel et virtuel devient le « même ».
— Introduction d’un objet qui « n’existe » que dans virtuel (la balle) et qui prend
la même importance que les objets interfaces : par exemple, jouer avec la balle
grâce au verre. (« que les boules blanches je les ai poussées de la table »).
— Jeu avec le miroir et les portails.
— Jeu avec les incohérences : « J’ai trouvé qu’il n’y avait pas de rapport entre la
boule bleue et la lumière qu’elle faisait ».
— Sensation de vertige dans la scène de fin.
— Jeux avec le miroir : « ne pas se voir dedans », etc. Le fait qu’il y ait un miroir
permet d’expliquer des incohérences : le trou sur la table peut-être associé à un
miroir normal. La balle bleue dans le miroir peut être accessible, etc.
Perturbation, déstabilisation
— Tentatives de compréhension de la situation : « qu’est-ce qui se passe… ?
D’où ça vient ?.... ».
— Situation d’attente : « Je ne savais pas trop ce qu’il allait se passer ».
— Situation non habituelle.
— Sensation étrange de ne pas trop se remémorer exactement ce qu’il s’est
passé (comme dans un rêve ?) : « Après il y a… je sais plus dans quel ordre ».
— Hésitation sur l’explication du ressenti : phrases non finies ; répétitions ;
beaucoup de « euh » et « … ».
Plaisir et consentement
— « Sympa ».
— « Marche bien ».
— « Joli ».
— « Je trouvais ça bien », « j’ai aimé quand... ».
— « C’était super ! ».
— « C’était marrant ».
— « Ha bah ça c’était mon moment préféré ! ».
— La musique a contribué à la sensation « agréable », « sereine »,
« vaporeuse ».
— L’expérience n’est pas ressentie comme trop longue. Pas d’ennui. « Je n’ai pas
trouvé ça trop long. On ne s’ennuie pas ».
— Il y avait un bon équilibre : « Si on a peur on n’a pas peur trop longtemps et si
on aime bien... Peut-être qu’on a envie que ça continue ». Le rapport « ça va
arriver/ça arrive ».
— Le scénario a contribué à une cohérence avec un début et une fin « je sais
qu’à un moment je me suis dit “Ah c’est fini... » ; « les timings c’est pas mal ».
— Ce qui se passait semblait crédible.
357
B.3.2.7. Lab’Surd V2 - Étape quatre : conclusion et perspectives
Grâce aux analyses et retours du public, nous avons pu confirmer certains résultats
comparativement à VRLux et à la version 1 de Lab’Surd :
— le verre, objet interface quotidien paraît naturel à utiliser. Il suscite des actions
qui lui sont liées (prendre quelque chose dedans) ;
— le fait de placer le spectateur dans une situation statique avec le décor qui
bouge autour de lui, permet plus facilement de se laisser emporter dans
l’expérimentation : il est en attente de ce qui peut se passer, tout en ayant une action
sur l’environnement ;
— le scénario avec un début et une fin permet de créer une expérience avec un
bon équilibre entre attente et éléments nouveaux ;
— plusieurs effets ont provoqué des moments “magiques” (rupture avec les codes
perceptifs habituels) : jeu avec le miroir ; portails ; changement de la matière du
verre ; etc. ;
— des transitions pour aider à ces passages de « présences dans des réalités
différentes », ont été validées : transition abrupte hors du champ visuel du
358
spectateur ; transition progressive de transformation lente d’un objet (verre mou,
balle bleue) ; les aides (comme les lucioles ou les sons spatialisés) ; le scénario
évolutif ;
Le surréalisme a été une inspiration majeure pour cette création. En effet, il questionne
notre vécu dans notre réalité quotidienne, et la place du rêve et de l’imaginaire. D’où d’une
part le choix des tableaux inspirés de M.C. Escher et de R. Magritte, et d’autre part cette
envie de créer des situations “rêvées”.
Partant d’une copie du monde réel comme base fixe, nous avons voulu la confronter avec ce
monde onirique de l’illusion. Et c’est ainsi que nous proposons la notion de
« survirtualité » : dans le virtuel amener le rêve et l’imaginaire, en confrontation avec des
codes de perceptions et d’actions habituels, ceci pouvant induire à de nouvelles prises de
conscience, et représentations de notre réalité quotidienne.
À noter que le film Inception 597, a également été cité en référence par l’un des spectateurs.
Et c’est un peu cette mise en abîme de rêves imbriqués que nous aspirons à créer.
Perspectives
Une des prochaines étapes est d’essayer d’aller encore plus loin : et si après les escaliers
sans fin d’Escher, nous nous retrouvons sur la mer de Magritte, dans un espace encore plus
vaste ? Jusqu’où pouvons-nous déconstruire l’environnement tout en restant crédibles ?
359
— Jeu avec le miroir virtuel
— Jeu avec la matière du verre
— Jeu avec la lumière et les ombres
— Musique qui accompagne l’immersion
— Jeu sur la déconstruction de l’espace, sur
le vertige
Illustration 166.Tableau de synthèse des IRV identifiées pour Lab’Surd V2, 2015
360
B.3.3. La Chambre de Kristoffer, 2015-2016 598
« Je pense souvent à l'univers.
S'il a une fin, ce n'est pas possible, et s'il n'a pas
de fin, ce n'est pas possible non plus. » Jon
Fosse, Kant, éd. Arche (2009)
La chambre de Kristoffer a été réalisée lors d’une résidence au théâtre de Belfort en mai
2014 599, dans le cadre du projet transmédia Kant 600, que nous avons mis en place à la suite
d’une rencontre avec Émilie-Anna Maillet, metteur en scène de la compagnie Ex voto à la
Lune. Après sa dernière création, Hiver (une pièce écrite par Jon Fosse), où elle utilisait la
technique du Pepper’s ghost pour faire apparaître des sortes d’hologrammes aux côtés des
acteurs réels sur scène, elle désirait réutiliser ce procédé pour une autre pièce jeune public,
Kant. Ce texte du même auteur raconte l’histoire d’un enfant de huit ans, Kristoffer, qui
avant de dormir se pose des questions sur son existence et sur l’univers qui l’entoure.
Cette installation (réalisée avec Guillaume Bertinet, artiste graphiste 3D) propose au
spectateur, assis devant un bureau d’enfant, de plonger dans la chambre de Kristoffer. Avec
l’aide d’une lampe de poche, il peut explorer la pièce, qui va petit à petit se transformer et
le placer au cœur de l’imaginaire de l’enfant, tel un rêve éveillé.
598 Page de la création en ligne avec vidéo [En ligne, consulté le 16-09-2015, URL :
https://judartvr.wordpress.com/portfolio/la-chambre-de-kristoffer/ ].
599 Laboratoire Européen du Spectacle Vivant et du Transmédia (associé au Granit, scène nationale de Belfort ; au Centre
Chorégraphique National Franche-Comté à Belfort et à MA scène nationale-Pays de Montbéliard) – résidence du 16 au 23
mai 2014.
600 Cf. explication du projet : (Annexe.. KANT : un projet transmédia).
361
B.3.3.2. Étape deux : développement artistique et technologique
Le décor réel
Avec la scénographe, Céline Diez, nous avons créé le décor réel représentant un coin de la
chambre (2 pans de murs avec un espace au sol d'environ 3m/2m20). Nous avons choisi la
partie de la chambre sans le lit, avec sur les murs une porte et une fenêtre. Nous avons
placé au centre de ce décor une table et une chaise aux mesures plus grandes que la
normale, afin de donner l’impression au spectateur qu’il est plus petit, ses jambes se
balançant au-dessus du sol.
Le décor virtuel
Il reproduit la même chambre de manière réaliste (mêmes objets, éclairages, etc.), mais en
totalité (avec le lit, les autres murs, d’autres jouets), afin de faire entrer plus facilement le
spectateur dans l’environnement mixte 601.
362
Illustration 167. J. Guez, G. Bertinet, E-A. Maillet, La chambre de Kristoffer, 2015-2016
363
L’objet interface quotidien et affordant
La lampe de poche semblait être un objet interface pertinent suite aux résultats
mentionnés dans les autres expériences (cf. VRLux et Lab’Surd) : un objet pouvant susciter
un désir d’exploration (par la lumière qu’il provoque dans cette pièce sombre), ayant une
influence sur l’environnement virtuel, tout en correspondant à la narration proposée par la
pièce de théâtre (lampe de l’enfant qui explore sa chambre avant de dormir et commencer
à rêver).
Au niveau du scénario, nous avons repris une structure évolutive similaire à celle
développé pendant le travail sur Lab’Surd : représentation du réel > transition >
imaginaire. Partant de la simulation de la chambre, nous voulions faire en sorte que le
spectateur se laisse petit à petit emporter dans l’imaginaire de l’enfant. La transition était
opérée grâce à un changement très progressif des objets de la chambre (les petites voitures
se mettent à rouler, les avions décollent, le globe terrestre tourne tout seul...) et,
graduellement, le spectateur est transporté dans l’univers merveilleux de l’enfant. Puis les
murs se décomposent, et les objets partent en apesanteur vers le lointain, laissant place à
un paysage spatial : le spectateur se trouve comme suspendu au milieu de la Voie lactée,
environné d’étoiles, de planètes et de tous les objets qui lévitent autour de lui.
Ambiance
C'est le soir, avant d'aller dormir .Les lumières sont faibles ; par la fenêtre il fait noir (on
peut juste apercevoir un paysage dans la nuit et quelques étoiles).
Le spectateur s'assit sur la chaise devant le bureau. Il place le casque de réalité virtuelle
et un casque audio sur sa tête. Il est alors immergé dans le monde virtuel. Sur la table, il
peut prendre la lampe de poche réelle/virtuelle pour mieux explorer la chambre, peu
éclairée (la lampe est éteinte dans le monde réel mais allumée en virtuel). Il entend la
musique de J.S. Bach (Cello Suite No.1) qu’écoute le père dans une autre pièce.
Cette phase va amener petit à petit de légers troubles de la perception, afin que le
364
spectateur remette en doute ce qu'il voit, entend, touche, pour ensuite créer des portes
d’entrée de l’imaginaire.
Entre ces deux phases, un élément réaliste arrive dans la scène : la porte de la chambre
s’ouvre un peu, laissant entrer un rayon de lumière, et on entend la voix du père qui dit
d’aller dormir.
Dans l’espace
— Le spectateur se retrouve assis avec la table devant lui, mais au sein de
l’univers : plus aucun objet de la chambre n’est présent. Il flotte au milieu
des étoiles, des nébuleuses, de la Voie lactée.
— Des planètes passent à côté de lui. Des étoiles filantes sillonnent le ciel.
Phase 4 : De retour
Au bout d’un moment, tout devient noir. La musique s’arrête doucement. Le spectateur
se retrouve avec seulement la table et la lampe de poche devant lui. L'expérience prend
fin ici. Le voyage dans l'imaginaire de l'enfant est terminé.
L’installation est compatible avec les casques Oculus Rift DK1 et DK2. Un Razer-Hydra
permet la captation de la position et de l’orientation de la lampe de poche en temps réel. Il
y a également un casque audio pour la diffusion sonore.
J’ai principalement travaillé avec Guillaume Bertinet pour la réalisation des éléments
virtuels et leur intégration dans la narration de l’expérience 602.
Nous avons utilisé le moteur temps réel Unity 3D avec MiddleVR pour l’intégration des
interfaces de réalité virtuelle. Comme pour VRlux et Lab’Surd, la phase de calibration est
importante pour caler les éléments réels au même endroit que les éléments virtuels. Nous
avons choisi de placer le centre de la scène (point de référence pour la calibration) au
niveau de la base du Razer-Hydra qui est sous la table réelle, pour faciliter cette calibration
(car cet endroit est fixé dans le décor).
602 Adrien Gentil, graphiste 3D, a également contribué à la réalisation de certains éléments graphiques.
366
Illustration 168. Etape de travail dans Unity 3D, La chambre de Kristoffer, 2015
Au niveau du graphisme
Pour la scène du début représentant le décor réel, il convenait de créer un rendu au plus
près de ce dernier (formes, textures et matériaux des objets, éclairage, etc). Lors de la
résidence, l’installation physique était montée pendant toute la semaine sur le lieu de
travail. Ceci nous a permis de faire des allers-retours d’ajustements des décors réel et
virtuel afin de trouver le bon équilibre (le virtuel tendant vers le réel ; et le réel tendant
vers le virtuel).
367
Pour la phase de transition, les différents objets importants possèdent chacun leur
animation, il suffit simplement de les activer au bon moment. Lors de la déconstruction des
murs de la chambre, les objets partent au loin petit à petit. Pour cela, nous avons utilisé le
moteur physique d’Unity 3D : une forme invisible centrée sur la table se met à grossir, se
collisionnant avec les objets non animés, qui paraissent soumis à une force de déplacement.
Pour la création de l’univers destiné à la scène de fin, nous nous sommes inspirés de
plusieurs photos d’astronomie.
Une image de l’Univers lointain prise par le télescope spatial en Un énorme ouragan sur Saturne photographié en 2011 par la sonde
2009. Crédit : NASA/ESA/G. Illingworth/R. Bouwens/HUDF09 Cassini. Crédit : Caltech/Space Science Institute
La nébuleuse planétaire de l’hélice vue par le télescope VISTA de Le centre de la galaxie spirale NGC 2841 observé par le télescope
l’ESO en 2012. Crédit : ESO/VISTA/J. Emerson spatial en 2010. Crédit : NASA/ESA/Hubble Heritage (STScI/AURA)
Illustration 169. Références pour la création de l'univers étoilé en 3D, La Chambre de Kristoffer.
Nous avons opté pour la création d'un univers en « oignon », en superposent plusieurs
couches d'astres aux échelles cosmiques très différentes. Nous voulions essayer de faire
ressentir l’immensité de l’espace par ce procédé, tout en concentrant l'univers dans des
proportions explorables du regard.
368
Illustration 170. Représentation de « l’Univers en oignon » dans Unity 3D, avec la chambre au centre, La chambre
de Kristoffer.
Au niveau sonore
Deux musiques d’ambiance s’alternaient : la suite de Bach Cello Suite No.1, et une musique
électro minimaliste (de la Cie. Ex Voto à La Lune), permettant de marquer la rupture entre
la réalité de la « maison » et la dérive dans l’imaginaire.
Nous avons enregistré plusieurs sons pour rendre l’expérience crédible, dans les moments
« réalistes » : bruits de porte, de pas dans les escaliers, de la voix du père, etc.
Au niveau du scénario
Les principales actions que nous devions déclencher dans le temps sont : activer ou
désactiver un objet ; lancer ou arrêter une animation ; augmenter ou diminuer la vitesse
d’une animation ; activer ou désactiver un son. Nous avons créé plusieurs scripts qui
correspondent à ces actions. Chaque script avait son propre temps de déclenchement.
Ainsi, nous pouvions gérer précisément le lancement de chaque moment de l’expérience.
369
Illustration 171. Gestionnaire du scenario des illusions à changements faibles, dans Unity 3D, La Chambre de
Kristoffer
Nous avons eu d’autres occasions d’expositions 603 : au festival Bains Numériques au CDA
d’Enghien, 2014 ; aux rencontres réseau CANIF (Coordination des Arts Numériques en Ile-
de-France) à la Maison des arts de Créteil, 2014 ; sur le stand Révolution des rencontres
internationales de réalité virtuelle Laval Virtual 2015.
603 Expositions prévues également en 2015-2016 : Espace Lino Ventura, Garges-lès-Gonesse – les 1er et 2 décembre
2015 ; C.D.A. d’Enghien-les-Bains – les 10, 11 et 12 décembre 2015 ; Le Granit, Scène Nationale de Belfort – les 12 et 13
janvier 2016 ; Festival Momix, Kingersheim – le 29 janvier 2016 ; Théâtre Am Stram Gram, Genève – du 1er au 7 février
2016 ; La Maison des Arts et de la Culture de Créteil – du 9 au 11 mars 2016.
370
Illustration 172. La Chambre de Kristoffer, Mac Créteil, 2014
— une fois la lampe en main, les spectateurs comprennent très vite comment l’utiliser. Ils
explorent tout autour d’eux. La lampe incite à l’exploration dans la chambre
sombre ;
— un certain ennui peut être détecté au bout d’un moment, mais dès qu’ils repèrent des
changements (souvent la voiture qui commencent à bouger) cela crée la rupture ;
— dès que l’on commence la phase de l’imaginaire (tout commence à se déconstruire), ils
observent partout, avec souvent un sourire ;
371
« Au début il y a des trucs qui bougent et puis au fur et à mesure on est en fait
comme dans un rêve, on est vraiment embarqué et cette sensation de se
déplacer dans le vide avec les pieds qui ne touchent pas le sol ; c’est
incroyable! “C’est vraiment incroyable”! »
— souvent à la sortie du casque, ils ont un sourire ; les yeux émerveillés, comme sortis
d’un rêve. Ils resteraient bien dans cet univers onirique ;
— l’expérience laisse également la place à l’imaginaire du spectateur
Le film Melancholia a été noté à deux reprises comme référence : « c’est très
impressionnant. Comme Melancholia… C’est incroyable. »
372
Entretiens et recueils du cahier d’Or pendant le Laval Virtual 2015
L’installation a ensuite été sélectionnée pour un stand Révolution du Laval Virtual 2015.
Afin de compléter ces analyses, j’ai effectué deux entretiens et recueilli quelques
témoignages sur un cahier d’or qui était disponible pendant la présentation (cf.
retranscriptions des enregistrements en annexe).
Je voulais garder la même ligne directrice d’analyse pour ces retranscriptions que pour
VRlux et Lab’Surd. Cette installation étant une variante au niveau structurel de ces deux
dernières. J’ai donc repris les éléments de mon hypothèse afin d’identifier les illusions
entre le réel et le virtuel qui me paraissent signifiantes pour ma recherche-création.
604 J’ai noté entre guillemets/italiques certains passages courts des phrases des personnes questionnées.
373
puis dans notre propre monde imaginaire. L’esprit glisse d’une attraction visuelle à
l’autre »
— « On se croit dans un autre monde »
374
Brouillage des frontières
— « Voir un double de la réalité ».
— « Être dans du réel ++ ».
— « Être entre deux mondes ».
— « Il y a un moment où ton cerveau mélange un peu les deux ».
— Entre être dans le rôle de l’enfant ou le sien : « Comme si tu étais dans le rôle du
petit gosse, alors qu’en fait si on te pose la question tu sais très bien que tu ne l’es pas.
Voilà... il y a des petits réflexes ».
— « On vient de me dire justement que j’aurais dû aller me coucher ».
— Lien avec les souvenirs, qui sont « retrouvés dans le virtuel » : « Donc c’est le gosse
qui commence à halluciner ! Moi j’avais beaucoup ça quand j’étais petit en fait ».
— Objet / lampe quotidien et affordant ; utilisation naturelle.
— « Mécaniques ultras naturelles avec des réflexes de quand on était petit ».
— Décor réel/virtuel (morceau de la chambre ; table ; lampe). Chambre virtuelle « qui
ressemblait à ce que j’avais en vrai ». Pas « déboussolé ».
— « Dans l’alignement où je m’attendais à voir le décor de ton stand, je voyais la même
chose dans le virtuel ».
— « Presque eu l’hésitation de me dire : “est-ce que je ne vois pas le truc du stand et
qu’autour il y a du virtuel” ».
— Faire ce que « t’aurais pu faire dans une vraie pièce ».
— « Tu avais identifié qu’il y avait la porte ; du coup tu vas chercher la porte ». Le son de la
porte aide.
— « C’était une bonne surprise de la toucher virtuellement ».
— « À un moment, la lampe de poche ne sert plus à rien. Tout ce qu’elle éclaire c’est la
table. On s’en fout… et pourtant c’est les deux éléments réels qu’on a… mais la table on
l’oublie, on l’a déjà vue ».
— Le papier peint qui se désagrège doucement : entre espace et chambre d’enfant.
« Voir un peu les étoiles au travers le plafond ».
— « j’avais envie de devancer le gosse. De devancer les illusions du gosse en étant plus
rapidement dans l’espace parce que je ne savais pas qu’on allait y venir en fait ».
— « Ca à l’air vivant ce qui se passe autour de toi ». Jeu de décor statique et dynamique.
— « Là je suis clairement en train de m’endormir là ! ».
— « Je ne me suis pas rendu compte réellement du moment où tout bascule ».
— « Contrôler un rêve et le vivre en temps réel ».
— « L’émotion est exactement ce qui manque pour gommer la frontière entre le réel et le
virtuel ».
Plaisir et consentement
— Ambiance « accueillante », « chaleureuse », « agréable ».
— Détente, relaxation. « Bien ».
— Amusement, jeu. « Oh c’est rigolo ! » « Ah mais, l’autre avion il bouge aussi ! ». « Et du
coup c’est le jeu ! […] il faut que tu trouves tout là où ça bouge ».
— « J’étais dans le plaisir d’accepter l’illusion ».
— « Quelque chose de “grand” va se passer et on se prépare à vivre cette expérience »
— « Prendre contact avec le virtuel en l’acceptant »
— « Je voulais y arriver ». « L’envie de rentrer dedans »
— Souvenir « oublié », retour en enfance, musique connue et appréciée.
— Trop court. « On ne veut pas que ça se termine ». On « veut explorer plus ».
— « J’ai adoré », « Bravo ! », « J’ai beaucoup aimé ! », « c’est cool ! ».
— « Très agréable ».
— « Très réussi », « ça marchait bien ».
— « C’est beau ! ». « Super beau ! », « magnifique », « inoubliable », « fantastique ! »,
« époustouflant ».
— « Poétique », « sensible », « délicate ».
Au regard de mon hypothèse et des retours analysés nous pouvons remarquer qu’il y a eu
effectivement plusieurs éléments significatifs.
376
visible, mais dont la présence se matérialise par la voix (présence sociale pouvant se
voir par le sentiment d’autorité du père) ;
— certains ont identifié être dans une « double réalité » entre « deux mondes
». Les décors réel / virtuel semblables accentuant cette confusion ;
— certains semblaient parfois s’identifier à l’enfant. leurs souvenirs viennent
se mixer avec la narration de l’expérience. Ils se sentent partir,
s’endormir ;
— l’interaction paraissait pour la plupart naturelle, comme dans le réel (la
lampe contribuant à l’exploration).
Les passages dans les différents types de présence, favorisés par les jeux
d’indiscernabilité entre le réel et le virtuel, ont contribué à emporter le spectateur
dans un vécu inhabituel et merveilleux, confirmant ainsi mon hypothèse :
— les spectateurs sont surpris par cette expérience qui provoque une
rupture avec leur perception habituelle du monde, et leur donne
l’impression de voyager dans un autre espace-temps ;
— ils se remémorent des moments oubliés, des souvenir de l’enfance, avec
une sensation de découverte et de rafraichissement sur les habitudes ;
— certains décrivent une sorte de sensation de « rêve éveillé », « surréaliste
», et d’avoir vécu un moment magique et merveilleux, avec une
sensation « d’euphorie » ;
377
— certains semblent également avoir ressenti un plaisir esthétique, lié au
« beau ».
Nous retrouvons des éléments identiques, lié à mon hypothèse de recherche, dans ces trois
installations. Par exemple, l’identification du passage entre une présence dans
l’environnement réel et l’environnement virtuel, aidé par la mise en espace réel/virtuel ;
l’objet interface quotidien qui incite à l’exploration : bougie, verre, lampe ; le scénario
évolutif aidé par des transitions progressives et abruptes.
La chambre de Kristoffer affine certains de ces éléments. Elle se distingue par son scénario
plus évolutif et progressif, qui contribue à emporter le spectateur dans d’autres niveaux
d’environnements imbriqués : le spectateur explore avec la lampe, puis voit petit à petit
des éléments bouger. Dans le plaisir de l’attente, il recherche ce qui va changer, jusqu’à
lâcher prise et se laisser emporter dans le rêve de l’enfant, dans l’espace. On peut
remarquer que lors de l’arrivée dans la phase de « rêve », les personnes semblent plus
présentes dans l’expérimentation : elles semblent oublier la pièce réelle, et même la table
et la lampe (réel/virtuel). L’évolution des changements semble avoir contribué à placer le
spectateur dans un chemin vers l’imaginaire et le lâcher-prise, pour ressentir ensuite le
vertige de l’espace ; se sentir « voler », « détendu et apaisé au milieu des planètes ».
De plus, le lien avec le monde du théâtre a permis, d’une part, d’avoir une narration par
rapport à un texte (Jon Fosse, « Kant ») et, d’autre part, d’avoir un travail scénographique
théâtral sur le décor réel. Le monde de l’enfance a également réveillé de nombreux
souvenirs.
378
Perspectives
Dans cette expérience nous sommes restés sur un scénario évolutif et progressif, en
gardant une certaine cohérence des codes sensori-moteurs réalistes. C’était une expérience
plutôt contemplative. Mais nous pouvons penser, au regard de Lab’Surd à la possibilité de
créer plus de ruptures, et jouer plus fortement sur la logique du ressenti réel/virtuel, et la
déconstruction de l’espace. Jusqu’où pourrions-nous penser les interactions pour trouver le
bon équilibre « contemplation/action » ?
Illustration 174. Tableau de synthèse des IRV identifiées pour La Chambre de Kristoffer 2014-2015
379
B.3.4. Liber, 2015
Liber a été créé lors du Global Game Jam 2015, à l’école Isart Digital Paris. Jean-François
Jégo (qui travaille également sur le projet CIGALE 605) et moi-même voulions explorer de
nouvelles manières « d’être dans un corps virtuel ». Suite notamment aux travaux de Mel
Slater, sur l’expérience de la « Rubber Hand illusion » 606, nous nous sommes demandé, si le
fait de toucher son corps virtuel et de sentir le nôtre peut créer une plus forte confusion
entre les deux corps réels et virtuels, et donc amener plus de présence. Nous voulions
également exploiter à nouveau l’idée du miroir virtuel.
Illustration 175. J. Guez, J-F. Jégo, K. Wagrez, G. Gilly-Poitou, J. Loosveld, C. Moussier, D. Rivoire, Liber, 2015
Ainsi Liber propose, par le biais d’un casque de réalité virtuelle, d’entrer dans la peau d’un
être énigmatique assis à l’intérieur d’une souche d’arbre, et coincé par des branches. En
face de lui, il peut voir son reflet, et donc son propre corps. Par l’intermédiaire de
contrôleurs Razer-Hydra, le spectateur commande les deux bras du personnage. Il doit
trouver le moyen de se libérer. Pour cela, il doit chercher sur lui-même des tatouages.
Quand il touche un tatouage, celui-ci se transforme en une forme 3D qu’il peut prendre.
C’est la clé à placer sur des endroits particuliers des branches, afin de les détruire.
605 Cf. Annexe, CIGALE : un projet transdisciplinaire. InterACTE /InterACTE’IN, 2014-2015. Partie II.Chapitre 1.B.2.2
606 Cf. Partie I.Chapitre 2.B.2.4.2. .Rappel / En réel : M. Botvinick, J. Cohen, “Rubber hands ‘feel’ touch that eyes see”, op. cit.
En virtuel : M. Slater, D. Perez-Marcos, H. H. Ehrsson, M. V. Sanchez-Vives, “Towards a digital body: the virtual arm
illusion”, op. cit.
380
J’ai réalisé Liber avec : Gaël Gilly-Poitou (graphiste 2D), Jonathan Loosveld (graphiste 3D),
Clotilde Moussier (graphiste 2D/3D), Jean-François Jégo (designer réalité virtuelle), Denis
Rivoire (designer son), Kevin Wagrez (codeur réalité virtuelle).
Le dispositif réel comprend simplement une chaise avec une petite table (hors de portée de
la personne) pour poser l’Oculus Rift Dk2, un Razer-Hydra et le casque audio.
Lorsque la personne met le casque, elle se retrouve assise dans un corps virtuel bleu. Des
branches l’entourent.
Le spectateur s’assoit, place le casque de réalité virtuelle et le casque audio. Puis nous lui
donnons une manette du Razer-Hydra dans chaque main.
Il se retrouve dans le noir. Il peut voir, au même endroit où il est, un corps virtuel assis
également. Avec les manettes, s’il bouge ses bras, il bouge les bras du corps virtuel. Des
branches l’entourent (laissant juste les bras libres) : il est dans ce corps virtuel.
381
Une musique douce, avec juste quelques notes, se
fait entendre.
En face de lui, une branche présente un trou au même gabarit que cette forme. S’il
approche la forme 3D du trou dans la branche, celle-ci éclate.
D’autres tatouages arrivent alors sur le corps, à chaque fois, le spectateur est invité à
trouver la branche correspondante pour la détruire. Il peut s’aider de son reflet pour voir
où sont les tatouages (sur la tête, les jambes, les bras, le torse).
Lorsque la dernière branche est détruite, tout devient progressivement noir. Puis la
musique commence à changer et prend de l’ampleur (style épique), le voile noir tombe
doucement, et le spectateur se retrouve, toujours dans le même corps virtuel, dans une
plaine aride, à perte de vue, avec au loin un coucher de soleil. Il est libéré. Il peut alors
enlever le casque de réalité virtuelle quand il le souhaite.
Nous avons utilisé Unity 3D comme moteur temps réel et MiddleVR pour l’intégration des
interfaces de réalité virtuelle.
Nous avons utilisé un casque Oculus DK2 avec les capteurs Razer-Hydra pour repérer la
position et l’orientation des mains et les associer aux mains virtuelles. Grâce à un système
382
de cinématique inverse, le bras de l’avatar suit à peu près le déplacement du bras du
spectateur, donnant la sensation de contrôler les mouvements du corps virtuel.
Au niveau du graphisme, nous voulions un univers un peu féérique et étrange. Nous avons
donc opté pour placer la scène dans un tronc d’arbre, avec des plantes et des cristaux
lumineux, et de disséminer quelques particules de poussière dans l’air.
Pour le corps virtuel, nous voulions un personnage humanoïde, qui semble être resté dans
l’arbre depuis longtemps, si bien qu’il paraît lui-même dans une texture légèrement boisée.
Nous avons présenté Liber lors de l’exposition à la fin du Global Game Jam 2015, au salon
Laval Virtual 2015 sur le stand du ParisACMSIGGRAPH, et à l’évènement Press Start 2015 de
la Bibliothèque Publique d’Information (BPI), au Centre Pompidou à Paris.
Il était intéressant de noter que l’appropriation du corps virtuel s’est faite facilement. De
plus, cette expérience a amené une sensation particulière entre la confusion du corps
virtuel et du corps réel. Les spectateurs regardent partout et explorent tout
l’environnement en adoptant la même posture que le corps virtuel. Ils touchent leur corps
réel/virtuel de manière naturelle.
Le jeu des tatouages permet de placer le spectateur dans des positions particulières, aux
limites de ses propres mouvements physiologiquement possibles.
La fin a également été beaucoup appréciée : comme la sensation d’espace contrastant avec
la sensation d’enfermement dans l’arbre. En effet, certains spectateurs voulaient y rester,
afin de prolonger l’expérience.
383
Illustration 176. Expérimentations du public, Liber, GGJ2015, Laval Virtual 2015
Avec Liber, le spectateur, par l’intermédiaire du corps virtuel, plonge dans un petit espace.
Au fil de l’expérience, il se laisse emporter dans le jeu consistant à trouver les tatouages. Il
explore et repousse les limites de ses propres mouvements, ceci jusqu’à ressentir cette
sensation d’espace et d’immensité de la fin. Le scénario, qui comprend un début (moment
d’adaptation du corps virtuel et apparition douce de la scène dans l’arbre), et une fin (dans
la plaine rocheuse), semble donc compléter l’expérience et guider davantage l’attention du
spectateur.
384
Cette installation a permis, par cette confusion réussie entre les sens visuels et tactiles,
d’établir une hybridation du corps virtuel avec le corps réel. Elle offre de nombreuses
autres inspirations sur ce concept : nous pouvons penser utiliser, par exemple, une
analogie à l’illusion de la Rubber Hand comme protocole d’immersion pour amener les
spectateurs à se sentir plus présents dans un autre corps virtuel et dans l’environnement
virtuel.
Le miroir n’a pas été consciemment identifié comme aidant à la présence, mais il permettait
d’aider durant la résolution des énigmes. Il conviendrait de tester d’autres applications, ou
de ne le faire apparaître qu’à un moment de l’expérience.
385
B.4. Spectateur à l’intérieur de l’installation R/V++
VRLemmings a été réalisé lors de la Global Game Jam 2014 (GGJ 2014), à Isart Digital. J’étais
venue avec une idée que je voulais essayer d’implémenter : créer un jeu dans le jeu.
Certaines créations réalisées avec l’Oculus Rift DK1 ont repris cette idée. Et j’étais fascinée
par l’effet de mise en abîme que cela provoquait :
— dans le jeu Alone (réalisé pour le VRjam 2013), lorsque l’on place le casque de
réalité virtuelle, on se retrouve assis sur un canapé, dans une pièce sombre d’une
maison. Une télévision est devant nous, nous invitant à jouer à un jeu vidéo. À l’aide
d’une manette, on peut commander un petit personnage, dans le jeu dans la
télévision. C’est un jeu d’horreur basé sur la découverte d’indices dans une maison
étrange. Ce qui est intéressant, c’est qu’au fil du jeu se déroulant à la télévision, des
évènements vont survenir dans la pièce virtuelle où l’on est assis : du son va se faire
entendre à l’étage, les rideaux vont bouger, la porte s’ouvrir, la télé grésiller, etc..
L’atmosphère angoissante monte en crescendo jusqu’à l’apothéose finale où est
suggérée l’apparition d’un monstre dans le salon, avant que tout soit subitement
plongé dans le noir.
607 Page de la création en ligne avec vidéo [En ligne, consulté le 16-09-2015, URL :
https://judartvr.wordpress.com/portfolio/vrlemmings/ ].
386
Illustration 178. VRJam, Jeu Alone, Oculus Rift DK1, 2013
Ce qui m’a vraiment frappé dans ce jeu, c’est surtout l’instauration de deux réalités
dans l’espace virtuel : une première réalité, celle où je suis assise sur mon canapé
virtuel dans la maison 3D, en train de jouer à un jeu se passant sur la télévision
simulée, et une seconde réalité, celle de l’univers du jeu de la télévision. Mais j’ai
également été marquée par la surprise causée découlant du fait que les évènements
ayant lieu dans l’univers du jeu de la télévision (la seconde réalité), contaminent en
quelque sorte la première réalité en venant intervenir dans celle-ci. Quand j’ai voulu
m’arrêter de jouer, j’ai eu le réflexe, très intéressant, d’arrêter le jeu se passant dans
la télévision simulée, et seulement ensuite d’enlever le casque de réalité virtuelle.
Cette idée de jeu dans le jeu, crée une sorte de mise en abîme, qui contribue à faire
naître la confusion entre le réel et le virtuel.
387
— Ana Ribeiro est allée plus loin avec Pixel Rift, en proposant de représenter une
salle de classe virtuelle. L’utilisateur est dans la peau d’un enfant de cette classe
virtuelle. Cet enfant se met à un moment à jouer sur une GameBoy, puis, petit à petit,
le jeu de la GameBoy envahit l’espace de la classe.
Par ailleurs, lors de cette session de Global Game Jam, Sébastien Kuntz voulait créer un jeu
qui s’inspire des fameux Lemmings : ces petites créatures qui se suivent sans s’arrêter, et
dont il faut aider la progression par la construction d’un chemin fiable qui conduit vers la
porte finale.
Nous avons donc décidé d’associer nos intentions : créer un jeu de Lemmings qui utilise les
propriétés de la réalité virtuelle (exploration, déplacement d’objet en 3D, etc.), avec à un
moment une rupture de type « jeu dans le jeu ».
Nous étions une équipe de cinq personnes autour de ce projet : Pauline Gosselin (Graphiste
3D), Sarah Menager (Graphiste 3D), Thomas Klein (Game Designer), Sébastien Kuntz et
moi-même.
Pour ma part, je me suis principalement concentrée sur la manière d’amener cet effet « jeu
dans le jeu ». La description de cette installation sera assez courte, car elle est
principalement axée sur cet effet qui m’intéresse pour son intégration dans ma boîte à
outils.
388
Illustration 181. J. Guez, S. Kuntz, P. Gosselin, S. Menager, T. Klein, VRLemmings, 2014
Le décor réel
Il comprend une table et une chaise. Avec un casque de réalité virtuelle Oculus Rift, un
casque audio, et des capteurs de position et d’orientation Razer-Hydra.
Le décor virtuel
Il représente un laboratoire de biologiste, avec une grande paillasse (grise et tachée qui
semble ancienne). La paillasse est placée au même endroit que la table réelle.
La pièce est grande. Derrière la paillasse, au fond à droite, il y a une porte fermée.
Devant l’utilisateur, sur la paillasse, il y a une grande boîte, ouverte vers lui, et reliée par
des tuyaux sur la gauche.
Le spectateur est invité à s’asseoir devant la table. Nous lui plaçons le casque de réalité
virtuelle et le casque audio sur la tête. Enfin, nous lui donnons une manette de Razer-Hydra.
Il se retrouve alors dans le laboratoire avec la boîte devant lui.
Dans la boîte, des petits êtres verts arrivent et tombent dans un précipice. Un décompte est
écrit sur le fond de la boîte : à chaque Lemmings qui tombe, ça incrémente le nombre de
389
« Lemmings dead ». Un bruit est également fait pour ce moment. Avec le Razer-Hydra,
l’utilisateur commande un grand bâton blanc. Il peut alors, à l’aide du bouton sur un des
joysticks du Razer-Hydra, prendre les planches en bois, les placer pour combler les trous, et
ainsi sauver les Lemmings. Au bout de dix Lemmings ayant franchi la ligne d’arrivée, tout
devient noir.
— Étape 2 de jeu
Quand la lumière se rallume, l’environnement dans la boîte a changé. Le but est le même, à
savoir comment trouver le moyen de « sauver » les Lemmings, et leur permettre d’arriver à
la sortie.
— Étape 3 de jeu
Tout d’un coup, le spectateur se rend compte que les Lemmings sont dans la pièce du
laboratoire. Ils sont plus grands et arrivent par la porte du fond à droite. Ils meurent en
traversant une flaque d’acide. Une planche de bois est à côté. On peut la prendre pour
390
couvrir la flaque. Les Lemmings se rapprochent alors tout près et sortent dans le conduit
d’aération juste derrière nous. Au bout de dix Lemmings passés, c’est la fin du jeu.
-Les interfaces de réalité virtuelle comprennent un Oculus Rift DK1 avec un joystick Razer-
Hydra collé sur le casque pour capturer la position en plus de l’orientation de la tête, et un
autre joystick Razer-Hydra pour la manipulation des éléments virtuels.
-Le moteur temps réel est Unity 3D avec le logiciel MiddleVR permettant l’intégration des
interfaces de réalité virtuelle.
Dans la boîte, nous avons modélisé des « blocs de paysages de verdure », afin de permettre
une plus grande facilité dans leur intégration, pour la construction de niveaux différents.
Pour le personnage des Lemmings, nous voulions un petit être vert, flasque, avec une
démarche un peu « gauche », sans trop d’expression.
Nous avons également ajouté plusieurs aides pour mieux guider le spectateur :
— le son ;
— la baguette blanche qui change de couleur quand elle touche un objet qu’il est
possible de manipuler.
391
B.4.1.3. Étape trois : retours du public. Impacts et analyses
Nous avons présenté VRLemmings durant la fin du GGJ 2014, et sur le stand de MiddleVR au
Laval Virtual 2014.
Nous avons observé que le public a rapidement compris comment interagir, et sauver les
Lemmings. De plus, le moment du « jeu dans le jeu » a bien fonctionné : lorsque les
Lemmings apparaissent en plus grands dans le laboratoire, nous avons remarqué un effet
de rupture dans le jeu (les spectateurs semblent surpris et cherchent quoi faire).
Il était intéressant aussi de noter l’effet produit sur les spectateurs quand les Lemmings se
rapprochaient d’eux : ils avaient alors un moment de recul, ou essayaient de les toucher.
Nous avons même expérimenté l’utilisation d’un ballon réel touchant la personne au
moment précis de sa tentative de toucher le Lemming. Les réactions étaient très
amusantes : surprise, sursaut, « waouh ».
La rupture créée par le moment de « jeu dans le jeu », a semblé induire de la confusion.
Finalement, les premiers moments du jeu permettent de préparer à ce décalage, et
semblent emporter le spectateur dans une autre réalité perçue.
Lors du développement du jeu, il était étonnant de voir que pour parler de la pièce du
laboratoire virtuel, en comparaison au jeu dans la boîte, nous disions souvent « dans la
pièce réelle ». Ce « jeu dans le jeu » brouille ainsi un peu plus la frontière réelle/virtuelle, et
392
enrichit la présence dans l’environnement virtuel initial. Il serait donc intéressant de
continuer à explorer cette illusion réelle/virtuelle dans d’autres contextes, dans des paliers
d’illusion plus profonds, etc.
393
C. «DIGITAL PERFORMANCES » ENTRE LE REEL ET LE VIRTUEL
Mon domaine privilégié de création est celui des installations artistiques, sur lesquelles je
me suis principalement appuyée pour réaliser les analyses nécessaires à ma recherche.
Cependant, j’ai eu l’occasion de participer à des créations dans le domaine des digital
performances, et j’ai pu constater que la mise en espace et la mise en relation du réel avec le
virtuel s’y conceptualisaient et s’y matérialisaient différemment. En effet, dans cet autre
contexte artistique, la relation réel / virtuel ne s’établit pas directement entre le spectateur
et l’œuvre, comme dans les installations, mais dans une complexité plus grande, constituée
des spectateurs, des acteurs et de l’environnement virtuel.
Les trois exemples que je vais exposer ici sont conçus sous une forme plutôt commune de
représentation théâtrale : plusieurs spectateurs sont assis face à la scène, et sur la scène les
acteurs sont en lien avec le dispositif réel/virtuel. Cependant, ces digital performances
ouvrent à l’élaboration de nouvelles formes artistiques :
Je propos de décrire ces trois expériences dans le domaine des digital performances. Elles
sont très différentes, tant dans leur contexte que dans le dispositif proposé. De plus, ma
contribution est différente dans chacune d’elle, allant d’une co-création pour une
conférence performative, à l’accompagnement technique d’une reprise théâtrale. Ainsi,
sans prétendre à une exhaustivité d’étude sur la transformation du théâtre par le
numérique 608, je voudrais ici pointer quelques aspects signifiants en lien avec mon
hypothèse, et ainsi ajouter quelques couleurs à ma palette d’IRV.
608 Cf. Colloques : Corps en scène : l’acteur face aux écrans, 3-4-5 juin 2015. [En ligne, consulté le 26-08-2015, URL :
http://acteurecrans.com/ ].
394
C.1.1. Conférence Hybride CIGALE, Labex ARTS-H2H, 2013
Dans le cadre du projet CIGALE 609, nous avons obtenu en 2013 une chaire internationale du
Labex Arts-H2H. Julie Châteauvert 610, artiste chercheuse québécoise, a été invitée afin de
partager avec nous sa vision sur ses sujets de prédilection relatifs aux langues signées et au
mouvement, et plus particulièrement à la poésie en langue des signes. Durant cette chaire
internationale, elle a animé des ateliers sur ces thématiques.
Parallèlement, j’ai créé avec elle une « conférence hybride », dans le cadre du cycle des
conférences organisées par la Labex Arts-H2H. Nous étions amenées à réaliser « une
nouvelle forme de conférence, où se croisent discours, démonstration, performance et
projection » 611.
Nous avons ainsi voulu croiser la recherche sur la poésie en langue des signes, avec la
recherche interdisciplinaire sur l’acteur virtuel et la gestualité développée dans le cadre du
projet CIGALE du Labex Arts-H2H, en créant une performance digitale expérimentale dans
laquelle il était possible d’interagir avec l’acteur virtuel. Nous avons proposé une
conférence « ouverte », un peu comme un laboratoire d’expériences auquel on inviterait le
public. Nous avons construit un scénario de base, tout en prenant également en compte une
participation active du public, qui pouvait à tout moment changer la direction de la
conférence.
395
Nous avons créé cette performance digitale expérimentale en premier lieu à partir de
l’analogie entre les photocalligraphies de l’artiste Jolenta Lapiak 612 et les traces graphiques
résultant des gestes de l’acteur virtuel, et deuxièmement à partir de l’interaction gestuelle
en langue des signes avec les gestes de l’acteur virtuel. Nous voulions examiner ce qui
pouvait émerger de cette situation en donnant au public la possibilité d’expérimenter.
Notre principal objectif de mise en espace, était la projection des éléments virtuels sur
scène. Nous voulions également confronter plusieurs démarches artistiques, et ainsi
afficher plusieurs éléments de projections en même temps.
Nous avons choisi de tendre deux écrans blancs de projection : un très grand au centre, et
un plus petit côté cour. L’espace de la scène nous a permis de placer deux vidéoprojecteurs
derrière chaque tissu, afin de rétroprojeter les différentes images.
Illustration 183. Scénographie des éléments pour la projection, Conférence Hybride, CIGALE, 2013
Cette disposition nous permettait d’avoir un espace suffisant pour nous placer au-devant,
Julie Châteauvert, moi-même, et le traducteur en langue des signes sur scène. Nous avions
disposé une table côté jardin, d’où je déclenchais les effets visuels.
Nous voulions ainsi créer un espace « laboratoire » où les éléments formeraient un tout :
Julie Châteauvert intervenant, le traducteur en langue des signes à côté d’elle, signant, moi
612 Artiste qui s'intéresse beaucoup à l'histoire des sourds, à l'histoire de leur éducation, marquée par des interdictions, et
au rapport à la norme de la population et à la manière dont elle contraint la minorité sourde.
396
lançant les effets visuels, et derrière, les images où s’hybrident environnement 3D virtuel,
vidéo et photos.
Acte 1 : Apparition
— Aucune projection.
— Introduction à la conférence.
— Projection du poème de Debbie Rennie
(poète sourde) sur écran court.
397
Acte 2 : Interaction en temps réel du
poète sourd, François Brajou, avec
l’acteur virtuel
398
Acte 5 : Autre décor/Fin
En utilisant la plateforme CIGALE (réalisée sous Unity 3D), j’ai mis en place un scénario
reposant sur une activation des effets par touches clavier. J’avais ainsi une partition d’effets
que je pouvais activer et désactiver à tout moment (permettant une plus grande flexibilité
et improvisation pendant la conférence).
Selon les actes, soit je suivais un scénario précis de lancement d’effets, soit je pouvais
improviser en concordance avec ce qu’il se passait sur scène ou avec le public.
Pour la captation temps réel des gestes sur scène, nous avons utilisé un capteur Microsoft
Kinect.
Au niveau du graphisme, j’ai utilisé l’outil de rendu graphique de la plateforme CIGALE, qui
permet de modifier en temps réel le rendu du geste.
399
Illustration 184. (En haut) photocalligraphies de Jolanta Lapiack. (En bas) exemples de rendus visuels sur la trace du
geste, Conférence hybride, CIGALE, 2014
Le dispositif avec le double écran a bien fonctionné, et nous a laissé une grande liberté
d’improvisation, et de possibilités d’hybridation des éléments réels et virtuels.
Lorsque tout est noir et que le sol virtuel surgit d’un coup (cf. Acte 1), un effet de surprise a
été ressenti dans le public.
Cette conférence hybride avait été conçue comme expérimentale, une sorte de laboratoire
d’étude avec une thématique précise, qui laisse envisager d’autres formats, aussi bien pour
la mise en espace que la mise en relation des éléments réels et virtuels. Il pourrait par
exemple être intéressant d’utiliser ce dispositif à « double » écran, et alternance
précalculée/temps réel, pour une narration particulière.
Illustration 185. Tableau de synthèse des IRV identifiées pour Conférence hybride, CIGALE, 2014
400
C.1.2. Quand le soir tient le jour enfermé – Cassandre, 2015 613
« Quand le soir tient le jour enfermé — Cassandre » est une pièce de théâtre mise en scène
et jouée par Clara Chabalier. Ancienne élève de 2e cycle du Conservatoire National
Supérieur d’Art Dramatique, elle s’intéresse au dialogue possible entre l’homme et la
machine.
Ce projet a vu le jour en partenariat avec le projet CIGALE 614, dont le conservatoire est
partenaire.
Cette pièce reprend des extraits du « poème obscur » de Lycophron de Calchis (troisième
siècle avant notre ère). Ce poème ancien retrace les dires de Cassandre, appelée Alexandra
(celle qui cause le malheur des hommes), personnage de la mythologie grecque, passionnée
et torturée par ses visions qui l’assaillent.
401
réclame son dû. D’un baiser, il fait en sorte qu’elle ne soit jamais crue par
personne. » Clara Chabalier
Clara Chabalier désirait mettre en scène ce poème évoquant ce mythe (et de nombreux
autres), d’une manière contemporaine en s’appuyant sur la traduction française de Pascal
Quignard. Elle s’est ainsi posée, la question de « comment représenter sur scène et ainsi
exprimer Cassandre aujourd’hui ? »
Nous avons présenté une première étape de ce travail sous la forme d’une représentation
de 45 minutes, au théâtre 95 de Cergy, le 5 juin 2014 615 :
Pour cette première étape, nous avions trois interprétations scéniques des dires de
Cassandre :
Ainsi, acteurs réels et virtuels se mêlaient et faisaint émerger une autre vision du mythe.
615 Cf. sur le site internet du projet CIGALE [En ligne, consulté le 26-08-2015, URL : http://cigale.labex-arts-
h2h.fr/content/CNSAD ].
402
C.1.2.2. Étape deux : développement artistique et technologique
Nous voulions que l’avatar virtuel puisse parfois se « confondre » avec l’actrice réelle, que
le virtuel puisse avoir une « présence » sur scène au même titre que le réel.
Lors de notre résidence au CNSAD et au théâtre de Cergy, nous avons testé plusieurs
dispositifs : plusieurs bandes de tulles (blanc, gris, etc.) superposées dans l’espace ; des
projections sur des feuilles transparentes et réfléchissantes (type Pepper’s ghost) ; des
projections sur l’actrice en temps réel ; des projections sur de la fumée ; etc.
Nous avons finalement choisi de combiner plusieurs techniques afin de créer un espace qui
interroge : un espace où la surface de l’écran n’est plus identifiable.
Nous avons placé un tulle qui recouvre le lointain. À quelques centimètres devant, nous
avons placé une couche de bande de feuilles transparentes et réfléchissantes, un peu en
biais. Ainsi, les éléments qui sont projetés sur cette surface semblent « flotter » dans les
airs et avoir un certain relief. De plus, les feuilles transparentes, par réflexion, projetaient
des lumières sur le sol, rappelant la thématique de l’eau (qui a aussi inspiré les effets
graphiques et sonores) de la vague récurrente dans Cassandre.
403
Illustration 187. Théâtre 95 de Cergy le 5 juin 2014, Cassandre, CIGALE, 2014
Deux vidéoprojecteurs étaient nécessaires. L’un permettait de projeter les effets visuels
« d’environnement » crées par Vicky Bisbiki (qui réagissaient à la voix de Clara Chabalier
en temps réel), et l’autre de projeter l’avatar soit sur la surface multicouche du fond, soit
sur Clara Chabalier.
Une Microsoft Kinect placée face à l’actrice permettait de capter ses gestes en temps réel. La
régie était placée sur scène, côté jardin, et Clara Chabalier jouait au centre avec un micro.
404
Mise en relation durant le temps de la représentation
Nous avons créé une partition qui permettait à chacun de se retrouver dans le déroulement
du texte. Vicky Bisbiki lançait les effets d’« environnement » visuels et sonores. Jean-
François Jégo et moi-même lancions les effets de l’avatar.
Je vais me limiter à décrire rapidement les moments de relation entre l’avatar virtuel et
Cassandre, afin de montrer les principales interactions que nous avons créées.
17 min
La Naissance
L’avatar apparaît pour la première fois,
mappé en temps réel sur Clara Chabalier :
il suit ses mouvements.
18 min
L’envol
L’avatar se décroche de Clara Chabalier et
se projette derrière elle.
Il prend son autonomie et génère des
gestes en temps réel par algorithme
génétique.
22 min
Le Naufrage des Grecs
L’avatar va jouer plusieurs mouvements
de la base de données CIGALE (par
exemple le désespoir du mime).
405
24 min
Disparition
L’avatar disparaît dans la fumée.
Entre 24 et 45 min :
Alternance de disparition/apparition de
l’avatar avec des gestes de la base de
données CIGALE.
46 min :
Le don de prophétie de Cassandre/Fin.
Transe, où l’avatar suit les gestes de Clara
Chabalier.
Puis, un des bras de l’avatar commence à
prendre son autonomie (le reste du corps
suivant encore les mouvements de Clara
Chabalier) en tant qu’être hybride ;
réceptacle de mouvements à la fois
humains et informatiques. Les corps réel
et virtuel arrivent ici à l’aboutissement de
leur rencontre.
Nous avons utilisé Unity 3D pour gérer les effets en temps réel, avec plusieurs éléments de
la plateforme CIGALE (pour l’algorithme génétique et la base de données de gestes
capturés). Nous avons utilisé MiddleVR pour les moments d’interaction temps réel de Clara
Chabalier avec l’avatar (mapping sur elle ou projection sur le lointain) : nous avions besoin
de calibrer la scène virtuelle aux mêmes dimensions que la scène réelle, afin de créer cette
cohérence entre le réel et le virtuel.
406
allongé. Nous nous sommes inspirés des sculptures de Giacometti afin de créer un être qui
est proche de l’humain, mais qui a ses propres caractéristiques dues à sa virtualité.
Nous avons fait une représentation de cette première étape de travail au Théâtre 95 de
Cergy.
Le texte est difficile à comprendre, mais l’hybridation de tous les éléments réels et virtuels
dans le temps de la narration a permis de construire un tout cohérent, et finalement, peut-
être, de retranscrire un peu ce poème « obscur » : chacun peut l’interpréter comme il le
souhaite (essayer d’en donner une signification, ou juste se laisser emporter).
Au niveau de la mise en espace et relation des corps réels/virtuels, plusieurs éléments ont
bien fonctionnés auprès du public :
D’autres résidences dans le cadre du projet CIGALE sont prévues (2015-2016) afin de
continuer cette création.
J’ai participé à la reprise de la pièce Hiver de Jon Fosse, mise en scène par Émilie Anna
Maillet de la compagnie Ex Voto à la Lune. Nous avons fait une résidence au 104. La reprise
d’Hiver a été jouée au théâtre de l’Opprimé du 5 au 16 mars 2014.
« Dans un jardin public, une femme aborde un homme. Elle affirme “je suis
ta nana”. Lui, en voyage d’affaires dans cette ville, rate son rendez-vous.
Deux êtres en crise, en vertige, qui vont se trouver, peut-être pour mieux se
perdre, peut-être pour vivre. » 616
Cette pièce, qui met en scène une rencontre entre un homme et une femme, utilise le
procédé du Pepper’s ghost, afin de faire apparaître sur scène des doubles des acteurs, et
d’autres personnages virtuels se mêlant à eux. « Des hologrammes, présences perdues et la
matière fantomatique, mettent en doute la réalité des acteurs. » 617
Lors de cette reprise, j’ai travaillé sur la création vidéo, ainsi qu’à la régie vidéo lors de
certaines représentations. Je ne vais pas expliquer tout le processus de création qui a
engendré cette pièce, car j’ai participé seulement à la reprise, et je désire ma focaliser sur
ce qui nous intéresse plus particulièrement dans le contexte de cette thèse : le dispositif de
mise en espace qui brouille le réel et le virtuel.
Cette compagnie, fortement impliquée dans le courant Magie nouvelle, m’a permis d’étudier
et de participer à une scénographie particulière constituée d’un Pepper’s ghost et d’un tulle.
616 Cf. site de la Cie Ex Voto à La lune [En ligne, consulté le 26-08-2015, URL :
http://www.exvotoalalune.com/creations/hiver/ ].
617 Cf. site de la Cie Ex Voto à La lune [En ligne, consulté le 26-08-2015, URL :
http://www.exvotoalalune.com/creations/hiver/ ].
408
C.1.3.2. Étape deux : développement artistique et technologique
— d’un Pepper’s ghost : une feuille plastique transparente et réfléchissante est posée
à 45 degrés en avant-scène. Deux vidéoprojecteurs devant le Pepper’s
ghost projettent vers une surface blanche positionnée sur le plafond, en avant de la
feuille plastique, de telle sorte que les éléments projetés sont reflétés par le Pepper’s
ghost et apparaissent sur la scène à 90 degrés.
— Un tulle noir en arrière-scène. Un vidéo projecteur projette des images sur le fond
de la scène.
Ainsi, l’espace de jeu des acteurs se trouve entre le Pepper’s ghost et le tulle. Le Pepper’s
ghost permet d’incruster dans cet espace des éléments virtuels par le reflet qu’il provoque.
L’hybridation du réel et du virtuel due à ces superpositions réelles/virtuelles, n’est visible
que du point de vue des gradins du public. Les acteurs sont dans un petit espace et ne
voient pas tous les effets visuels avec lesquels ils doivent jouer.
La régie est placée derrière le public et permet de lancer les effets durant la pièce.
Mise en relation
La pièce se déroule en 4 actes. Le premier acte représente un décor de rue avec juste un
banc. Le deuxième acte représente une chambre avec deux lits simples. Le 3e acte est un
retour dans la rue. Et le quatrième acte se finit dans la chambre.
Apparition et disparition des reflets virtuels, des images numériques d’acteurs réels
filmés :
409
— par le côté cour ou jardin, comme pour les acteurs
réels ;
— en partant en fumée ;
— en jouant sur la profondeur : d’avant en arrière, en
passant de la projection du tulle au Pepper’s ghost, et
inversement.
Hiver, Cie Ex Voto à La Lune, 2014
Superposition des acteurs réels avec leurs doubles numériques (images filmées des
acteurs réels) :
Réalisme-Confusion-Abstraction :
— le Pepper’s ghost doit rester invisible aux yeux du public (l’extérieur de la scène
doit être le plus sombre possible, et la lumière doit éclairer uniquement là où jouent
les acteurs) ;
410
— les éléments virtuels doivent paraître incrustés dans l’espace réel (par exemple,
en éclairant le sol, les personnages numériques du reflet virtuel paraissent mieux
incrustés dessus) ;
— Pour les vidéos projetées, en amont, plusieurs acteurs ont été filmés sur fond
noir. Un travail de postproduction (avec le logiciel Adobe After Effect) a consisté à
contraster la forme du fond et d’accentuer la présence du sol (effet amenant plus de
réalisme).
Nous utilisions le logiciel Isadora afin d’envoyer, dans le temps de la représentation, les
vidéos sur scène. Il permettait également de gérer des effets d’image en temps réel (fondu,
bruit, ralentissement, accélération, etc.). Nous avions ainsi deux ordinateurs avec chacun
un programme Isadora, qui communiquaient en réseau : un pour la projection sur le tulle
du fond et un pour la projection sur le Pepper’s ghost. Une interface midi, permettait de
gérer le lancement de tous les effets (visuels et sonores), et d’appliquer des modifications
avec les variateurs.
J’ai pu, lors de mon implication dans ce travail, relever plusieurs points qui m’intéressent
pour ma recherche-création.
Observer les avantages du dispositif Pepper’s ghost / tulle dans la création d’illusions
entre le réel et le virtuel :
— il permet d’incruster au décor réel des éléments sur scène (réalistes ou non).
Mon intervention lors de la journée d’étude l’acteur face aux écrans 619 a porté sur la
question du jeu des acteurs en relation avec de tels dispositifs, en comparant le
dispositif de Cassandre 620 et celui d’Hiver. Les acteurs sont-ils plus libres ou
contraints selon ces dispositifs ? Dans Hiver, ils ne voient pas les images reflétées du
Pepper’s ghost. Ils doivent se placer dans une position précise, laissant peu de place
à l’’improvisation dans les déplacements. L’espace est également très petit et ils sont
éblouis par les lumières qui les éclairent par les côtés. Tandis que dans Cassandre, le
temps réel permet de laisser une part d’improvisation pour l’actrice, et rendre peut-
être plus “vivant” la rencontre du réel et du virtuel. Dans Hiver les acteurs
semblaient soit ne pas faire attention aux effets, soit au contraire s’en amuser. Mais
finalement, contraint ou non, le jeu était toujours différent, laissant toujours de
nombreuses possibilités de variations.
J’ai profité de mon travail en régie pour organiser un évènement / débat dans le
théâtre, sur la magie et le numérique 621. Avant la représentation théâtrale, j’ai
rassemblé des personnes de différents domaines (artistes, chercheurs, ingénieurs,
magiciens), afin de questionner cette “magie nouvelle”. Le virtuel est impalpable et
offre de nouvelles possibilités d’expression au-delà du réel ; comment peut-il créer
des effets “magiques” ? Doit-il s’hybrider au réel et jouer sur la confusion des sens
pour réveiller l’effet magique ? Plusieurs questions ont également suivi la
représentation de la pièce : est-ce de la magie ou non ? J’ai finalement observé que
619 Cf. Colloques : Corps en scène : l’acteur face aux écrans, 3-4-5 juin 2015. [En ligne, consulté le 26-08-2015, URL :
http://acteurecrans.com/ ].
620 Cf. Description de : Quand le soir tient le jour enfermé – Cassandre, 2015. Partie II.Chapitre 1.C.1.2.
621 [En ligne, consulté le 26-08-2015, URL : http://paris.siggraph.org/activites/2013-14/magie-nouvelle-theatre-et-
numerique ].
412
cela semble s’associer à une question de vocabulaire : pour ma part j’associe la
magie aux IRV, et notamment à la confusion des sens (car l’effet ressenti par cette
indiscernabilité est pour moi proche de la magie et de l’émerveillement). Mais pour
certains le terme “magie” ne semblait pas dépasser l’effet ressenti face à une
situation illogique dans le réel.
413
414
Chapitre 2. CONCLUSION DES COULEURS
TROUVEES / META ANALYSE
415
Dans la Partie I, nous avons défini mon espace de création et de recherche afin d’identifier,
à travers différentes disciplines, des outils qui s’intègrent dans cet espace et qui me
permettent de l’explorer.
Au début de la Partie II, nous avons analysé mes créations de manière indépendante. Ceci
dans le but de faire émerger de nouveaux outils, propre à mon intention esthétique et à ma
pratique, et de ce fait à mes IRV. Je parle donc plutôt d’une palette personnelle de création,
qui se construit par ces couleurs qui apparaissent.
Il convient maintenant de prendre du recul, afin de relier, au regard de ces conclusions, les
observations signifiantes qui sont apparues de ces créations, avec l’aspect théorique de ma
recherche et ses modèles associés.
416
A. CLASSER LES COULEURS SUR LA PALETTE VIS-A-VIS DE MON ESPACE DE
CREATION
Afin de pousser l’analogie avec les couleurs du peintre qui s’agencent sur sa palette, je vais
faire un lien avec le cercle chromatique des couleurs.
417
Général : IRV / Couleurs primaires : Réel / Virtuel / Illusion Couleurs secondaires : R<>V /
R <> I / V <>I
Mes trois couleurs primaires sont le réel, le virtuel et l’illusion. Et c’est dans leurs diverses
rencontres (« mélanges »), qu’apparait un nombre important de variations (« de
couleurs »). Ainsi, en parcourant les trois frontières Réel<>Virtuel, Réel<>Illusion et
Virtuel<>Illusion (telles trois couleurs secondaires), nous pouvons ressortir différentes
nuances qui s’étalent sur ce « cercle chromatique des IRV ». C’est à partir des conclusions
d’analyse de mes créations que je peux les identifier et les classer.
Cette frontière me permet d’explorer le passage entre le réel et le virtuel, ainsi que les
possibilités d’hybridation et d’indiscernabilité entre ces deux espaces. Elle prend en
compte la création de dispositifs et les moyens artistiques qui permettent ce passage.
Cette frontière fait le lien entre le monde de l’illusion et celui de notre réalité quotidienne.
Elle comprend notamment les techniques liées à la magie, telles que les moyens qui
permettent de créer une atmosphère particulière, et ceux qui visent à emporter le
spectateur dans le temps de l’expérience.
418
Atmosphère / ambiance magique
-Jeu avec les reflets sur une vitre : l’apparition presque magique d’objets dans les airs
par le reflet / Reflets qui déconstruisent l’espace.
-Atmosphère de la magie par l’objet ou le décor réel (boîte tangible).
-Ambiance féérique.
-Spectateur statique dans cette réalité mixte, où tout bouge et se transforme autour de
lui.
Cette frontière couvre les moyens de passages possibles entre l’espace virtuel et celui de
l’illusion. Elle soulève des interrogations sur la manière de créer de nouvelles illusions
propres au virtuel.
Passage dans des paliers de présence dans les illusions dans le virtuel
419
B. EXPLORER LE MODELE NARRATIF DU SCHEMA DE PLONGEE
Nous avons déjà exposé les caractéristiques liées à ce modèle (cf. Partie I.Chapitre 2.C.2.5)
en montrant comment il peut être un guide pour la conception, la création et l’analyse
d’expériences qui jouent sur des profondeurs de présence dans des réalités évoquées 622
différentes.
Illustration 193. Rappel des schémas de profondeur dans l’illusion pour une expérience de magie (à gauche) et de
réalité virtuelle (à droite).
Ce modèle permet en effet de visualiser dans le temps la manière dont le spectateur peut
plonger dans une expérience constituée d’illusions. Un tour de magie peut transporter le
spectateur dans la réalité évoquée construite par le magicien, tandis qu’une expérience de
réalité virtuelle propose de le plonger dans une réalité évoquée induite par le dispositif. En
imbriquant ces deux domaines, pouvons-nous arriver à des expériences qui emportent le
spectateur plus loin, dans les profondeurs de l’illusion ?
Dans cette partie, je vais appliquer ce modèle à mes installations artistiques décrites dans
cette thèse, afin, au vu des analyses déjà évoquées, d’identifier pour chacune d’elle :
— les paliers de présence dans des réalités évoquées : P0, P1, P2, P3, P4 ; et le temps
de présence du spectateur estimé dans ces paliers ;
622 Cf. illusion de réalité appelée par J. S. Pillai, réalité « évoquée » (par l’intermédiaire d’un média ou non).
420
monde virtuel, protocole lent d’immersion dans le monde virtuel, etc.), tandis
qu’une courbe de descente plus franche peut concerner une rupture plus abrupte
(changement instantané de l’environnement virtuel, passage rapide du monde réel
au monde virtuel par le casque de réalité virtuelle, etc.) ;
Ces trois procédés suscitant différents vécus dans l’expérience sont réalisés grâce aux
couleurs distinguées dans la partie précédente de mon analyse. Tous ces procédés
d’illusions qui jouent sur les frontières entre le réel et le virtuel (R<>V), entre le réel et
l’illusion (R<>I) et entre le virtuel et l’illusion (V<>I), permettent dans le temps de
l’expérience de transporter le spectateur dans différentes réalités évoquées.
Je vais exposer les dix schémas de plongée associés à mes installations artistiques. Ils
seront classés selon la profondeur atteinte (par ordre croissant).
J’insiste encore sur le fait que ces schémas sont une estimation synthétique du vécu du
spectateur dans les installations, et ne prétendent en rien à une exactitude scientifique.
C’est par la conception et l’analyse globale des retours du public que je propose de dessiner
ces courbes. C’est un guide pour la comparaison de mes installations, et un moteur pour la
conception de nouvelles expériences, en lien avec ma recherche autour des IRV. Il n’est pas
figé, et est différent pour chaque spectateur.
Dans les modèles précédents (cf. Illustration 193), l’ordonnée est notée PI, pour
« profondeur d’illusion » atteinte par le spectateur. Dans cette analyse de mes installations,
je désire relever la quantité « d’illusions » estimée. Ces deux paramètres sont liés : en effet,
dans mes installations, ce sont les illusions entre le réel et le virtuel qui me servent à
421
emporter le spectateur plus profondément dans l’expérience, donc je postule que, plus il y a
d’IRV, et plus le spectateur « plonge loin ». Je note donc ici l’ordonnée I (pour illusions).
Je note R0 : notre réalité habituelle. P0, P1, P2, P3, P4 : les paliers de présence dans
différentes réalités évoquées, et superposées. R/V : la frontière entre le réel et le virtuel.
V/I : la frontière entre le virtuel et l’illusion.
P0 : R0
P1 : Présence dans R/V
P0 : R0
P1 : Présence dans R/V
P0 : R0
P1 : Présence dans R/V (jeu
Pong)
P2 : Présence dans V/I (Pong
virtuel modifié)
422
P0 : R0
P1 : Présence face à un avatar
« miroir »
P2 : Présence face à un avatar
autonome
P0 : R0
P1 : Présence dans le décor réel
P2 : Présence dans R/V,
représentation réaliste
P0 : R0
P1 : Présence dans le décor
réel (chaise)
P2 : Présence dans le corps
virtuel dans l’arbre
P3 : Présence dans le corps
virtuel hors de l’arbre
P0 : R0
P1 : Présence dans décor réel
P2 : Présence dans R/V,
représentation réaliste
P3 : Présence dans V/I (jeu
dans le jeu)
423
P0 : R0
P1 : Présence dans le décor
réel (stand)
P2 : Présence dans R/V, copie
du réel
P3 : Présence dans V/I
(illusion matière/espace)
P0 : R0
P1 : Présence dans le décor
réel (pièce bureau)
P2 : Présence dans R/V, copie
du réel
P3 : Présence dans V/I
(illusion matière/espace)
P4 : Présence dans V/I
(escher)
P0 : R0
P1 : Présence dans le décor
réel
P2 : Présence dans R/V, copie
du réel
P3 : Présence dans V/I
(imaginaire enfant)
P4 : Présence dans V/I
(espace)
424
Nous observons que selon ce modèle, nous arrivons à obtenir jusqu’à 4 paliers de
profondeur. Il y a deux installations qui atteignent le palier 1 ; trois le palier 2 ; trois le
palier 3, et deux le palier 4 :
425
Nous pouvons remarquer que les paliers sur l’axe des illusions (I) ne sont pas placés de
manière équivalente pour chaque installation. En effet, selon le type de réalité évoquée à
atteindre, le palier peut être plus ou moins proche de notre réalité primaire R0, ou de la
réalité évoquée du palier précédent. Par exemple, si nous regardons l’installation VRLux, le
palier 1 correspond à la présence dans le décor réel. Mais ce décor n’est pas très évolué en
ce qui concerne l’illusion : il représente juste une table et une chaise de bureau standard,
contrairement au décor de La Chambre de Kristoffer, qui représente une chambre
entièrement recréée. Ainsi, le palier 1 de La Chambre de Kristoffer est considéré comme
plus profond en termes d’illusion que celui de VRLux.
Constatons également que les paliers peuvent être de nature différente. Par exemple, dans
De Toi à Moi, P1 correspond à la présence dans le monde mixte réel/virtuel, et dans VRlux,
à la présence dans le décor réel. Cependant, il y a des tendances qui peuvent être relevées :
— les réalités évoquées qui prennent pour base le réel s’arrêtent au palier 2 ;
Nous pouvons donc conclure qu’en partant du réel, ces installations permettent d’emporter
le spectateur dans des mises en abîme de réalités évoquées.
Dans ma pratique artistique, lors de ce doctorat, j’ai ainsi exploré des moyens de créer des
illusions de réalité dans le monde réel, tels que les décors, mais également de créer d’autres
illusions de réalité à partir d’un environnement virtuel (ex. transformation d’objets dans le
virtuel). C’est finalement grâce à des illusions propres au virtuel (et donc dans ma frontière
entre le virtuel et l’illusion), que je conceptualise d’autres paliers plus profonds dans les
illusions.
426
C. ANALYSER MES CREATIONS DANS L’ESPACE DES IRV
Comme nous venons de l’exposer, le modèle des paliers de plongée dans les illusions
permet de classer les installations sur l’axe de notre frontière entre le réel et l’illusion.
Nous avions déjà placé les installations sur la frontière entre le réel et le virtuel (cf. Partie
II.Chapitre 1.A.2.2.1 ).
Illustration 194. Placement des installations sur la frontière réel/virtuel et la frontière réel/illusion
Ainsi, Je peux placer les installations sur mon espace 2D des illusions entre le réel et le
virtuel. Cet espace fait ressortir quatre sous-espaces, en fonction de la quantité de réel, de
virtuel et d’illusions.
Illustration 195. Identification de quatre parties différentes dans l'espace des IRV
427
Illustration 196. Placement des installations dans mon espace chromatique des IRV
Cette illustration permet de repérer la tendance qui a émergé dans ma pratique artistique
au cours de ce doctorat, (à noter que ce schéma ne vise pas à justifier la qualité de mes
installations, mais plutôt à relever comment s’auto-organisent mes créations autour de ma
recherche) :
428
— les expériences qui contiennent le plus d’illusions (V++/R/I++), sont celles qui
gardent une certaine quantité de réel (cf. Lab’Surd V2 et la Chambre de Kristoffer).
Ainsi, je peux conclure que mon moyen de prédilection pour atteindre une grande
profondeur dans les illusions, c’est le virtuel hybridé au réel : c’est par la construction de
mondes virtuels et mixtes que je peux créer les expériences comprenant le plus grand
nombre d’illusions.
Je recherche les moyens d’explorer cette frontière entre le virtuel et les illusions, et de
trouver de la sorte des illusions propres au virtuel.
Cet espace est encore vaste à explorer, et je n’ai ici relevé que certaines manières de créer
avec les IRV, (pensons par exemple à l’espace R++/V/I++ que je n’ai pas encore
expérimenté, qui comporterait par exemple des expériences de réalité augmentée et de
magie).
623 Cf. article en ligne de Nicolas Barrial, Lab’Surd, au plus près de l’impossible, 2015. [En ligne, consulté le 26-08-2015,
URL : http://preprod.makery.fr/2015/05/22/labsurd-au-plus-pres-de-limpossible/ ].
429
D. PERSPECTIVES
En conclusion de cette méta-analyse, j’ai identifié un espace des illusions provoquées par
des médias réels et virtuels. J’aimerais ici faire un parallèle avec la Carte de présence de J. S.
Pillai 624 et proposer une ouverture quant à une modification de ce modèle.
Rappelons que Pillai considère dans son modèle : d’un côté la réalité évoquée par un média
(livre, film, dispositif de réalité virtuelle, etc.), et de l’autre la « réalité » évoquée sans média
(pensées, rêves, etc.).
Si nous considérons plutôt un modèle, avec d’un côté une réalité évoquée par un média réel
(livre, film, dispositif de réalité virtuelle, etc.), et avec de l’autre côté une réalité évoquée
par un média virtuel (transitions dans le virtuel, modification du monde virtuel, illusions
propres au virtuel, etc.), alors nous pouvons y repérer mes installations et leurs
caractéristiques réelles, virtuelles. Ce schéma pourrait, par exemple, repérer de manière
plus précise la distance de la réalité évoquée par rapport à notre réalité habituelle R0.
Notons ainsi :
- l’espace des illusions de réalité provoquée par un média réel : IRMR (Illusion de la
réalité par moyen réel) ;
- l’espace des illusions de réalité provoquée par des moyens virtuels : IRMV : (Illusion
de réalité par moyen virtuel).
624 Cf. Description : La Carte de Présence de J. S. Pillai (« Presence Map » Partie I.Chapitre 2.B.2.2.5).
430
Illustration 197. Proposition d'une modification du modèle de la Carte de Présence de J.S. Pillai
Illustration 198. Proposition de trois modulations inspirées de notre Carte de présence (Pillai) modifiée
Ainsi modifié, ce schéma pourrait permettre de designer une expérience d’IRV, et d’y
identifier les différents paliers de réalités évoquées par le réel, ou par le virtuel.
431
Exemple de proposition de ce modèle pour 3 expériences :
Envêre
IRMV IRMR
R0
VRLux
P1 : Présence dans le
décor réel
IRMR
IRMV
R0
La Chambre de Kristoffer
P1 : Présence dans le
décor réel
432
Nous pouvons par ces trois schémas repérer par exemple que :
— la réalité évoquée (ER) en rouge (P1) est plus loin de notre réalité
primaire R0 pour La Chambre de Kristoffer que pour les deux autres ;
Ce qui m’intéresse particulièrement dans ce modèle, c’est son côté modulable et « fractal »,
qui permet de visualiser l’influence de chaque réalité évoquée par rapport à l’autre. Il
permet également de mesurer ensuite une longueur estimée du « voyage » du spectateur
dans ces illusions de réalité.
433
434
SYNTHESE PARTIE 2
Dans le chapitre 1, nous avons décrit et analysé les créations artistiques liées à ce doctorat.
Nous avons ensuite proposé une méthodologie d’analyse : pour chacune de mes créations,
j’ai procédé en quatre étapes successives : j’ai commencé par décrire le contexte et les
intentions artistiques, pour ensuite exposer le développement artistique et technique, et
pour enfin analyser les retours du public et conclure par l’identification de « nouvelles
couleurs » d’IRV.
Ainsi, j’ai décrit dix installations d’IRV les unes après les autres, en répertoriant à chaque
fois sur un tableau les couleurs trouvées intéressantes du point de vue de ma recherche, et
les perspectives d’évolution qu’ouvre la création en question.
J’ai ensuite décrit trois digital performances. Même si pour cette thèse, mon analyse se
concentre sur les installations artistiques, je voulais ici montrer en quoi ces créations
peuvent apporter, dans d’autres contextes artistiques, des éléments intéressants pour mes
recherches sur les illusions entre le réel et le virtuel.
— classer les couleurs qui ressortent de l’analyse de mes installations d’IRV, vis-à-
vis de mon espace de recherche-création. J’ai identifié des couleurs propres à la
frontière :
435
— entre le réel et l’illusion, (celles qui permettent de créer une atmosphère
magique afin d’emporter le spectateur, de créer des illusions qui provoquent
un décalage avec notre réalité habituelle, etc.) ;
— les réalités évoquées qui prennent pour base le réel s’arrêtent au palier 2 ;
— analyser mes créations dans mon espace de recherche des IRV. En classant
mes installations dans la frontière entre le réel et le virtuel en suivant le continuum
de Milgram 625, et sur la frontière entre le réel et l’illusion grâce à mon modèle de
palier de plongée, j’ai positionné chaque installation dans l’espace des illusions entre
le réel et le virtuel (cf. Illustration 196. Placement des installations dans mon espace
chromatique des IRV).
j’ai exploré l’imbrication d’illusions de réalité qui s’effectue à partir de moyens réels
(décors, interfaces, etc.) et virtuels (ex. transformation d’objets dans le virtuel). Et c’est par
les illusions propres au virtuel (et donc dans ma frontière entre le virtuel et l’illusion), que
j’arrive à atteindre d’autres paliers plus profonds dans les illusions : c’est plus
particulièrement par des expériences contenant du virtuel hybridé au réel (construction de
mondes virtuels et mixtes), que j’arrive à atteindre cette plus grande profondeur dans les
illusions.
625 P. Milgram, F. Kishino, “Taxonomy of mixed reality visual displays”, op. cit.
436
Je me rapproche alors de ce concept de « survirtualité » : le virtuel étant un merveilleux
médium pour imaginer (rêver) des mondes d’illusions imbriquées.
Ce modèle modifié présente d’un côté une réalité évoquée par un média réel (livre, film,
dispositif de réalité virtuelle, etc.), et de l’autre côté une réalité évoquée par un média
virtuel (transitions dans le virtuel, modification du monde virtuel, illusions propres au
virtuel, etc.).
À droite, l’espace des illusions de réalité provoquées par un média réel : IRMR (Illusion de réalité par moyen réel)
À gauche, l’espace des illusions de réalité provoquées par des moyens virtuels : IRMV (Illusion de réalité par moyen virtuel)
Par trois exemples de description de mes installations avec ce modèle, je montre que son
côté modulable et « fractal » peut apporter des points supplémentaires dans l’analyse :
notamment dans la visualisation de l’influence de chaque réalité évoquée par rapport à
l’autre ; dans la mesure de longueur estimée du « voyage » du spectateur dans ces illusions
de réalité ; ou encore dans le placement plus précis des réalités évoquées en fonction de
notre réalité primaire R0.
437
438
CONCLUSION GÉNÉRALE ET
PERSPECTIVES
Il arrive dans une grande pièce. Plusieurs tableaux sont accrochés. Il avance lentement. D’un
pas distrait, il marche sans trop savoir où il va. Il n’y a personne d’autre dans la pièce. Puis
tout à coup, il est attiré. Il ne saurait pas vraiment dire pourquoi, mais quelque chose l’incite à
avancer. Il s’arrête face au tableau, proche, et reste ainsi devant. Il se laisse emporter dans les
formes et couleurs : il imagine le tableau prendre vie ; il explore chaque recoin. Il oublie la
pièce où il se trouve physiquement ; il est dans la représentation du tableau. Il ne sait pas
combien de temps il est resté dans cet état. Il se souvient seulement qu’il a entendu à un
moment des pas à côté de lui. Une personne était rentrée dans la pièce et regardait aussi le
tableau. Après « ce réveil », il continue la visite.
J. Guez
Comment cette relation que je viens d’exprimer entre l’œuvre et le spectateur se crée-t-
elle ? Comment est-elle entretenue ?
Dans cette thèse, j’ai commencé par souligner comment mon parcours entre art, science et
technologie m’a permis de m’intéresser à ce lien possible entre la personne et l’œuvre, et
comment il m’a permis de le développer par plusieurs expérimentations : en créant des
installations qui incitent à la participation du public (par le mouvement, par l’immersion,
etc.), et en explorant le médium numérique, plus particulièrement le virtuel, afin de
proposer des installations interactives et/ou immersives.
Je me suis alors posé les questions suivantes : ce lien créé peut-il laisser une « trace » sur le
spectateur ? Dans quelles proportions ce vécu de la relation peut-il lui faire prendre
conscience de sa réalité habituelle ?
J’ai fait ressortir les raisons de ma fascination pour les illusions qui ont, par leur nature,
cette capacité à captiver et émerveiller. Les artistes de l’art optique — tout comme les
439
magiciens — les utilisent afin de créer des expériences qui « intéressent », « transforment »,
« décontractent » 626 et émerveillent le spectateur.
J’ai montré que dans le domaine de la réalité virtuelle et mixte, des médiums artistiques me
permettaient ces explorations guidées par cette hypothèse principale :
J’ai fait ressortir comment, à partir de cette problématique, ont émergé des éléments
propres à ma recherche-création, et comment de la sorte j’ai pu former ma propre palette
de création d’IRV. J’ai souligné que cette recherche ne visait en rien à une complétude
scientifique, et qu’elle s’inspirait de la méthodologie de la complexité : elle « aspire à la
connaissance multidimensionnelle [et comporte par là même] un principe d’incomplétude et
d’incertitude. » 627
626 Assez de mystifications, Manifeste du G.R.A.V. contenu sur un tract distribué lors de la 3e biennale de Paris en octobre
1963
627 E. Morin, Introduction à la pensée complexe, op. cit., p. 11.
440
L’ESPACE DES ILLUSIONS ENTRE LE REEL ET LE VIRTUEL (IRV), POUR MA
RECHERCHE-CREATION
J’ai proposé de composer l’espace des illusions entre le réel et le virtuel selon les trois
composantes suivantes : le réel (Partie I.Chapitre 1.A), l’illusion (Partie I.Chapitre 1.B) et le
virtuel (Partie I.Chapitre 1.C). Termes que j’ai employés ainsi :
Quand j’emploie le mot « réel », je considère « un réel humain » non prédonné, qui se
construit constamment à travers notre corps et son rapport avec notre environnement.
Sur cette base, nous nous formons plusieurs niveaux de réalités plus ou moins stables et
déterminés, partant de ce que l’on pourrait considérer d’universel de par notre nature
humaine, et allant jusqu’au niveau plus personnel et subjectif de notre manière unique
d’appréhender le monde. Nos catégorisations s’enracinent dans notre vécu par l’habitude et
se confondent trop souvent entre elles, s’imprégnant d’une stabilité rassurante.
L’effet de l’illusion m’est apparu comme un moyen très attrayant de créer des portes
d’entrée vers un renversement de nos préjugés. Semblant se jouer de nos perceptions, elles
se distinguent par leurs ambiguïtés face à nos habitudes sensorielles et motrices. De plus,
face à l’angoisse qui peut être ressentie devant un changement imprévu de nos routines,
elles en contournent l’aspect, par l’émerveillement et le plaisir qu’elles suscitent.
Le virtuel, dans sa portée pleinement actuelle, est envisagé dans cette recherche comme
opérationnellement équivalent au réel, et ayant les qualités et la force de celui-ci. Il découle
d’une approche plus « centrée sur le phénomène en tant que rencontre entre un dispositif
technique [...] et un sujet percevant. 628 » Ce virtuel fascinant, aux nombreuses possibilités de
représentations allant des plus réalistes aux plus imaginaires, permet une grande
modularité de création, et semble ainsi être un médium idéal pour créer de nouvelles
illusions.
la frontière entre le réel et le virtuel, qui permet des jeux d’indiscernabilité et de passage
entre le réel et le virtuel ;
la frontière entre le réel et l’illusion, qui permet de créer des décalages avec notre réalité
habituelle (tout en restant dans le plaisir et le consentement de l’expérience vécue) ;
J’ai montré que c’est dans les rencontres de ces trois frontières qu’apparaît mon espace de
recherche et création artistique :
628 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 132.
441
Un espace hybridant le réel, le virtuel et l’illusion, qui explore
différentes expériences possibles, par des dispositifs mixant
innovation et anciennes technologies.
J’ai fait ressortir ce qui me permet, avec les outils du domaine multidisciplinaire de la
réalité virtuelle et de la réalité mixte, de créer des expériences dans mon espace de
recherche-création des illusions entre le réel et le virtuel (IRV) :
L’effet de présence, induit par ces expériences de réalité virtuelle, va ainsi par une illusion
perceptive et cognitive, faire vivre au spectateur une présence personnelle et
environnementale dans ces environnements virtuels.
629 P. Fuchs, G. Moreau, A. Berthoz, J.-L. Vercher, Le traité de la réalité virtuelle volume 1 - L’Homme et l'environnement
virtuel, op. cit., p. 5.
630 J. S. Pillai, Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité au regard de la Présence, op. cit.
631 M. Slater, “Presence and the sixth sense”, op. cit.
632 O. Nannipieri, Les paradoxes de la présence dans les environnements immersifs : de la réalité à la réalité virtuelle, op. cit.,
p. 90.
442
J’ai également abordé le domaine de la réalité mixte, domaine voisin de la réalité virtuelle,
permettant de transporter le spectateur non plus dans des environnements uniquement
virtuels, mais mixtes réels/virtuels. Il y a bien évidemment toujours une sensation de réel,
même en réalité virtuelle, mais la réalité mixte joue davantage sur l’hybridation des deux
environnements réel et virtuel, en proposant ainsi d’autres explorations (qui peuvent
parcourir le continuum de Milgram 633).
J’ai relevé cinq modèles centrés sur le vécu du spectateur autour de la magie, de la réalité
virtuelle et mixte, et de l’effet de présence. Ils ont été des guides pour la création et
l’analyse de mes installations artistiques.
Le modèle 3I2 de P. Fuchs est un guide pour la conception et l’évaluation d’une installation
de réalité virtuelle.
Le carré sémiotique présence/absence d’O. Nannipieri est utile pour l’analyse des
« bonds » possibles entre présence et absence, entre l’environnement réel et virtuel.
Et enfin, j’ai conçu et proposé le modèle de paliers de plongée, afin de mettre en évidence,
dans le temps, la profondeur de présence dans les différentes illusions de réalités possibles,
lié à la narration, et donc au scénario mis en place.
J’ai souligné que de nombreux artistes, dans l’histoire de l’art jusqu’à nos jours, se sont
intéressés à la relation du spectateur avec l’œuvre. Pour certains, « l’aspect le plus
important […] est “l’événement qui surgit des rapports entre le spectateur et l’œuvre”. » 634
633 P. Milgram, F. Kishino, “Taxonomy of mixed reality visual displays”, op. cit.
634 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 205.
635 M.-H. Tramus, Recherches, expérimentations et créations dans les arts numériques : interactivité, acteurs virtuels, op. cit.,
p. 111.
636 E. H. Gombrich, L’Art et l'Illusion : Psychologie de la représentation picturale, op. cit.
443
moyen que des artistes utilisent afin de créer une relation particulière entre leurs œuvres
et le public (cf. les surréalistes). Casser ainsi un équilibre établi pour ouvrir à de nouvelles
expériences, voici ce qui m’intéresse également dans mes créations.
Le numérique a permis dans ce sens une ouverture vers d’autres types de rencontres. « Le
numérique change en profondeur les pratiques artistiques déjà instituées et en crée de
nouvelles. » 637
J’ai dressé un rapide panorama des filiations artistiques auxquelles peuvent se rattacher les
créations que j’ai développées dans cette recherche.
À partir des années 1950-60, l’Op art et l’art cinétique explorent plus en profondeur
la manière dont le spectateur peut être attiré par l’œuvre. Ils interrogent
l’« instabilité des mécanismes perceptifs »641, afin de se rapprocher du public, et
ainsi le réveiller de son habituelle vie citadine.
L’art interactif naît avec le numérique. Le spectateur se retrouve face à des œuvres
numériques qui réagissent en temps réel par le biais d’interfaces.
Par cet art immersif et interactif, plusieurs artistes créent des installations de réalité
virtuelle et mixte, proposant au spectateur de vivre des expériences qui interrogent
entre autres la limite entre le réel et le virtuel642.
Le rôle de l’artiste se retrouve ainsi modifié par cette « esthétique nouvelle » 643,
plus centrée sur le vécu du spectateur. C’est un art plus populaire et accessible, qui
instaure de nouvelles pratiques pour s’actualiser, et qui incite à sortir du cadre des
arts plastiques, par son utilisation de divers matériaux.
637 E. Couchot, La technologie dans l’art : De la photographie à la réalité virtuelle, op. cit., p. 211.
638 Ex. Jean Tinguely et Niki de Stait Phalle, Le Cyclop, 1969-1994.
639 Cf. Land art. Ex. Mike Heizer, Dennis Oppenheim, Dan Graham, etc.
640 Cf. Les projections de Thomas Israël, les projections monumentales sur bâtiments de 1024 architectures,
etc.
641 Ibid., p. 90.
642 Ex. Myron Krueger ; Jeffrey Shaw ; Tramus, Michel Bret et Edmond Couchot ; Christa Sommerer et Laurent
Mignonneau ; etc.
643 F. Popper, Art, Action et Participation : L’artiste et la créativité aujourd'hui, op. cit., p. 194.
444
CREATIONS D’ILLUSIONS ENTRE LE REEL ET LE VIRTUEL (IRV) PERSONNELLES
J’ai décrit mon processus de création qui prend en compte la synergie spectateurs <>
œuvre <> artiste. Il est itératif, et fonctionne en réseau. Il s’inspire de la méthodologie
complexe, et permet de ce fait l’exploration de nombreuses voies de création, afin
qu’émergent de nouvelles formes artistiques issues des illusions entre le réel et le virtuel
(IRV).
C’est ainsi que j’ai créé (ou co-créé) au cours de ce doctorat dix installations artistiques 644
qui hybrident le réel et le virtuel, et que j’ai identifié les IRV qui m’intéressent
esthétiquement (les couleurs de ma palette de création) par une description et analyse
communes à chacune de ces installations (par quatre étapes successives de la description
générale, à l’analyse des retours du public : description de la mise en espace et de la mise
en relation ; retours du public par observation du comportement, par questionnaires ou
entretiens d’explicitation).
J’ai également décrit ma participation à trois digital performances 645. Si pour cette thèse
mon analyse s’est concentrée principalement sur les installations artistiques, ces créations
ont apporté, à partir d’autres contextes artistiques, des éléments intéressants pour mes
recherches sur les illusions entre le réel et le virtuel.
A la suite des analyses individuelles de chaque installation, afin de les relier entre elles, j’ai
développé une « méta-analyse » prenant en compte ma problématique de recherche.
1. Classer les couleurs qui ressortent de l’analyse de mes installations d’IRV, vis-à-vis de
mon espace de recherche-création, pour ainsi identifier les couleurs propres à la
frontière (Partie II.Chapitre 2.A) :
644 R++/V (De Toi à Moi, 2011 ; Envêre, 2012). R+/V+ (We Wave, 2013; InterACTE, 2014-2015). R+/V++ (VRLux, 2013;
Lab’Surd V1, 2014; Lab’Surd V2, 2015; La Chamber de Kristoffer, 2015-2016 ; Liber, 2015). R/V++ (VRlemmings, 2014).
645 Conférence Hybride CIGALE 2013, Labex ART-H2H ; Quand le soir tient le jour enfermé – Cassandre, 2015 ; Hiver de Jon
Fosse, 2014.
445
entre le réel et l’illusion, (celles qui permettent de créer une atmosphère magique
afin d’emporter le spectateur, de créer des illusions qui provoquent un décalage
avec notre réalité habituelle, etc.) ;
entre le virtuel et l’illusion, (celles qui permettent de créer des illusions propres
au virtuel).
Ce sont ces couleurs qui m’ont permis dans le temps de l’expérience de créer la
« magie », afin d’emporter le spectateur.
les réalités évoquées qui prennent pour base le réel s’arrêtent au palier 2 ;
3. Analyser mes créations dans mon espace de recherche des IRV, en classant mes
installations dans la frontière entre le réel et le virtuel en suivant le continuum de
Milgram, et sur la frontière entre le réel et l’illusion grâce à mon modèle de palier de
plongée (cf. Partie I.Chapitre 2.C.2.5).
Ceci m’a ensuite permis de positionner chaque installation dans l’espace des illusions entre
le réel et le virtuel (cf. Illustration 196. Placement des installations dans mon espace
chromatique des IRV ), et d’identifier ainsi ma tendance artistique au cours de ce doctorat.
J’ai exploré l’imbrication d’illusions de réalité qui s’effectue à partir de moyens réels
(décors, interfaces, etc.) et virtuels (ex : transformation d’objets dans le virtuel). Et c’est par
les illusions propres au virtuel (et donc dans ma frontière entre le virtuel et l’illusion), que
j’arrive à atteindre d’autres paliers plus profonds dans les illusions : c’est plus
particulièrement par des expériences contenant du virtuel hybridé au réel (construction de
mondes virtuels et mixtes), que j’arrive à atteindre cette plus grande profondeur dans les
illusions.
446
PERSPECTIVES
Cette recherche ouvre à d’autres propositions de recherche, centrées sur l’effet de présence
de l’utilisateur dans un dispositif de réalité virtuelle et mixte.
J’ai également montré comment le modèle de la Carte de présence de J. S. Pillai peut, par son
côté modulable et « fractal », s’accorder avec une recherche sur des « mises en abîme »
d’IRV qui seraient provoquées par des moyens réels ou virtuels (afin par exemple de mieux
identifier la distance des réalités évoquées par rapport à notre réalité habituelle R0, et
d’ainsi mesurer la longueur du « voyage » du spectateur dans ces illusions de réalité). J’ai
ainsi proposé une modification de ce modèle (cf. Partie II.Chapitre 2.D) : il présente d’un
côté une réalité évoquée par un média réel (livre, film, dispositif de réalité virtuelle, etc.), et
de l’autre côté une réalité évoquée par un média virtuel (transitions dans le virtuel,
modification du monde virtuel, illusions propres au virtuel, etc.).
Par cette modification, on peut ainsi proposer quatre modulations selon l’expérience
d’imbrication d’IRV :
IRMR dans IRMR : Illusion de la réalité par moyen réel dans une illusion de la réalité par
moyen réel ;
IRMR dans IRMV : Illusion de la réalité par moyen réel dans une illusion de la réalité par
moyen virtuel ;
IRMV dans IRMR : Illusion de la réalité par moyen virtuel dans une illusion de la réalité par
moyen réel ;
IRMV dans IRMV : Illusion de la réalité par moyen virtuel dans une illusion de la réalité par
moyen virtuel.
646 M. Slater, M. Usoh, A. Steed, “Depth of presence in virtual environments”, op. cit.
447
Continuer de créer et faire évoluer la palette d’IRV
J’ai justifié par cette recherche-création l’ouverture que permet un processus inspiré par la
méthodologie complexe (d’Edgard Morin).
J’ai exposé comment un réseau de création peut s’auto-organiser, et faire émerger des
résultats de recherche.
Est-il alors possible de créer un réseau plus grand, qui regrouperait plusieurs artistes de
différentes disciplines autour de la réalité virtuelle et mixte, et qui s’alimenterait de toute
cette diversité ?
448
BIBLIOGRAPHIE
Alzaris Stefan. Illusionnisme et magie. Flammarion, 2001.
Atlan Henri. Le vivant post-génomique ou qu’est-ce que l'auto-organisation ?. Odile Jacob,
2011.
Aziosmanoff Florent. Living Art : L’art numérique. CNRS, 2010.
Azuma Ronald. “A survey of augmented reality.” Presence: Teleoperators and Virtual
Environments. 1997, vol. 6, no. 4, p. 355–385.
Ban Yuki, Kajinami Takashi, Narumi Takuji, Tanikawa Tomohiro[et al.]. “Modifying an
identified curved surface shape using pseudo-haptic effect.” Haptics Symposium 2012,
HAPTICS 2012 - Proceedings. 2012, p. 211–216.
Banakou Domna, Groten Raphaela, Slater Mel. “Illusory ownership of a virtual child body
causes overestimation of object sizes and implicit attitude changes.” Proceedings of the
National Academy of Sciences of the United States of America. 2013, vol. 110, no. 31,
p. 12846–12851.
Baños Rosa, Botella C, Alcañiz M, Liaño V[et al.]. “Immersion and emotion: their impact on
the sense of presence.” Cyberpsychology & behavior : the impact of the Internet,
multimedia and virtual reality on behavior and society. 2004, vol. 7, no. 6, p. 734–741.
Baus Oliver, Bouchard Stephane, Gougeon Véronique, Guez Judith. “Augmented reality – An
efficient alternative to inducing anxiety.” Symposium conducted at Canadian
Association of Cognitive and Behavioural Therapies 2013 Conference, Montréal, Quebec.
2013.
Beer Suzanne. Du virtuel philosophique au virtuel technologique. Thèse, Esthétique, Science
et Technologie des Arts, Université Paris 8, dir. Marie-Hélène Tramus, 2014.
Beer Suzanne, Guez Judith. “Ideas about VR&AR as a new genre in fine arts.” VRIC’13
Proceeding of the Virtual Reality International Conference: Laval Virtual, ACM, NY, USA.
2013, no. 16.
Berger Peter, Luckmann Thomas. La Construction sociale de la Réalité. Armand Colin, 2012.
Berthier Denis. Médiations sur le réel et le virtuel. L’Harmattan, 2004.
Berthoz Alain. La Vicariance: Le cerveau créateur de mondes. Odile Jacob, 2013.
———. Le sens du mouvement. Odile Jacob, 1997.
Bertinet Guillaume. Composer des images intractives immersives. Mémoire, Arts et
Technologies des Images, Université Paris 8, 2013.
Bimber Oliver, Raskar Ramesh. “Modern approaches to augmented reality.” ACM SIGGRAPH
2006 Courses on - SIGGRAPH ’06. ACM Press, 2006, p. 1.
Biocca Frank. “Can we resolve the book, the physical reality, and the dream state problems?
From the two-pole to a three-pole model of shifts in presence.” EU Future and
Emerging Technologies, Presence. 2003.
———. “The cyborg’s dilemma: embodiment in virtual environments.” Proceedings Second
International Conference on Cognitive Technology Humanizing the Information Age.
1997.
Blanke Olaf, Ortigue Stéphanie, Landis Theodor, Seeck Margitta. “Stimulating illusory own-
body perceptions.” Nature. 2002, vol. 419, no. 6904, p. 269–270.
449
Bobillier-Chaumon Marc-Eric, Carvallo Sarah, Tarpin-Bernard Fraieeenck, Vacherand-
Revel. Jacqueline. “Adapter Ou Uniformiser Les Interactions Personnes- Systèmes?”
Revue d’Interaction Homme-Machine 6(2). 2005, p. 91–129.
Boehm Barry. “Spiral Development : Experience , Principles , and Refinements.” Spiral
Development Workshop February 9, 2000. 2000, p. 49.
Boissier Jean-Louis. La relation comme forme : L’interactivité en art. Mamco, 2004.
Botvinick Matthew, Cohen Jonathan. “Rubber hands ‘feel’ touch that eyes see.” Nature.
1998, vol. 391, no. 6669, p. 756.
Bourriaud Nicolas. L’esthétique relationnelle. Les Presses du réel, 1998.
Bouvier Patrice. La présence en réalité virtuelle, une approche centrée utilisateur. Thèse,
Université Paris-Est, dir. Gilles Bertrand, 2009.
Bret Michel. “L’Art à l’époque de sa numérisation.” Unité de Recherche «Esthétique, Art,
Synergie environnemental et Recherche. 2005.
Bret Michel, Tramus Maris-Hélène, Berthoz Alain. “Interacting with an intelligent dancing
figure : artistic experiments at the crossroad between Art and Cognitive Science.”
Leonardo for the Art Sciences and Technology. 2005, no. 38, p. 46–53.
Breton André. Manifeste du surréalisme. Folio, 1924.
Burrack Anna, Brugger Peter. “Individual differences in susceptibility to experimentally
induced phantom sensations.” Body Image. 2005, vol. 2, no. 3, p. 307–313.
Caudell Thomas P., Mizell David W. “Augmented reality: an application of heads-up display
technology to manual manufacturing processes.” Proceedings of the Twenty-Fifth
Hawaii International Conference on System Sciences. 1992.
Chen Chu-Yin. “Un monde pleinement énacté.” Dans : Action/Énaction , l’émergence de
l’œuvre d’art, X. L’Harmattan, 2014.
Chen Jiajian, Turk Greg, MacIntyre Blair. “Watercolor inspired non-photorealistic rendering
for augmented reality.” Proceedings of the 2008 ACM symposium on Virtual reality
software and technology - VRST ’08. ACM Press, 2008, p. 231.
Cheok Adrian David, Weihua Wang, Yang Xubo, Prince S.[et al.]. “Interactive theatre
experience in embodied + wearable mixed reality space.” Proceedings. International
Symposium on Mixed and Augmented Reality. 2002.
Coelho Carlos, Tichon Jennifer, Hine Trevor John, Wallis G.[et al.]. “Media presence and
inner presence : the sense of presence in virtual reality technologies.” From
communication to presence : cognition, emotions and culture towards the ultimate
communication experience, IOS Press, Amsterdam. 2006, p. 25–45.
Couchot Edmond. La technologie dans l’art : De la photographie à la réalité virtuelle.
Jacqueline Chambon, 1998.
Csikszentmihalyi Mihaly. Flow: The psychology of optimal performance. Harper Perennial
Modern Classics, 1990.
Deleuze Gilles. Différence et répétition. PUF, 1968.
Desmarais Gaëtan. Dynamique du sens. Septentrion, 1998.
Dixon Steve, Smith Barry. Digital Performance. MIT Press, 2007.
Drettakis George, Robert Luc, Bougnoux Sylvain. “Interactive Common Illumination for
Computer Augmented Reality.” Proceedings of the Eurographics Workshop on
Rendering Techniques ’97. 1997, p. 45–56.
Duchamp Marcel. Duchamp du signe : écrits. Flammarion, 1992.
450
Edwards Michael. De l’émerveillement. Fayard, 2008.
Ehrsson H. Henrik, Kalckert Andreas. “Moving a Rubber Hand that Feels Like Your Own: A
Dissociation of Ownership and Agency.” Front Hum Neurosci. 2012, vol. 6.
Engel David, Curio Curio, Tcheang Lili, Mohler Betty[et al.]. “A psychophysically calibrated
controller for navigating through large environments in a limited free-walking space.”
ACM, 2008.
Fairchild Kim Michael, Lee Beng-Hai, Loo Joel Peing Ling, Ng Hern[et al.]. “The heaven and
earth virtual reality: Designing applications for novice users.” Proceedings of IEEE
Virtual Reality Annual International Symposium. 1993.
Favand Jean-Paul. Virtualia : Féeries numériques. Catalogue d’exposition du Centre des arts
d'Enghein-les-Bains, 2013.
Fortin Robin. Comprendre la complexité : introduction à La Méthode d’Edgard Morin.
L’Harmattan, 2000.
Fuchs Philippe, Guillaume Moreau, Arnaldi Bruno, Guitton Pascal. Le traité de la réalité
virtuelle Volume 4 - Les applications de la réalité virtuelle. Presses de l’Ecole des Mines,
2006.
Fuchs Philippe, Guillaume Moreau, Donikian Stéphane. Le traité de la réalité virtuelle
Volume 5 - Les humains virtuels. Presses de l’Ecole des Mines, 2009.
Fuchs Philippe, Hugues Olivier, Nannipieri Olivier. “Proposition d’une Taxonomie
Fonctionnelle des Environnements de Réalité Augmentée.” AFRV2010. Cinquième
Journées de l’Association Française de Réalité Virtuelle et de l'Interaction 3D. 2010.
Fuchs Philippe, Moreau Guillaume, Berthoz Alain, Vercher Jean-Louis. Le traité de la réalité
virtuelle volume 1 - L’Homme et l'environnement virtuel. Presses de l’Ecole des Mines,
2006.
Fuchs Philippe, Moreau Guillaume, Burkhardt Jean-Marie, Coquillart Sabine. Le traité de la
réalité virtuelle Volume 2 - L’interfaçage, l'immersion et l'interaction en environnement
virtuel. Presses de l’Ecole des Mines, 2006.
Fuchs Philippe, Moreau Guillaume, Jacques Tisseau. Le traité de la réalité virtuelle Volume 3
- Outils et modèles informatiques des environnement virtuels. Presses de l’Ecole des
Mines, 2006.
Gibson James. “The Ecological Approach to Visual Perception.” Boston: Houghton Mifflin.
1979.
Glicenstein Jérôme. “La place du sujet dans l’oeuvre interactive.” Artifices 4. 1996.
Gombrich Ernst Hans. L’Art et l'Illusion : Psychologie de la représentation picturale. 6e éd.
Ltd., Phaidon Press, 2002.
Groupierre Karleen. Enjeux des transmédias de fiction en terme de création et de réception.
Thèse, Esthétique, Science et Technologie des Arts, Université Paris 8, dir. Marie-
Hélène Tramus, 2013.
Guez Judith. Contribution au Développement d’un Télescope de Réalité Augmentée.
Université Paris 6, CITU Paris 8, (dir.) Safwan Chendeb, 2009.
———. “Créer avec les illusions entre le réel et le virtuel.” Hybrid, revue des arts et
médiations humaines, Labex ARTS-H2H. 2015.
———. “De l’interaction à la présence — un art qui se vit.” Proteus, Le spectateur face à l’art
interactif. 2013, vol. 6.
———. “De nouvelles frontières entre le réel et le virtuel : Des espaces de création
émergents, au cœur d’un art hybride proche de l'innovation numérique.” Dans : Les
451
fontières numériques, dir. Imad Saleh, Nasreddine Bouhaï et Hakim Hachour.
L’Harmattan, 2014, p. 262.
———. État de l’art des méthodes de traking robustes pour la réalité augmentée. Étude
bibliographique de Master Science de l’ingénieur (RSI), Université Paris 6,(dir.) Xavier
Clady, 2009.
———. Étude de l’utilisation du filtre particulaire couleur pour une application de réalité
augmentée. Étude pratique de Master Science de l’ingénieur (RSI), Université Paris
6,(dir.) Xavier Clady, 2009.
———. “Illusions entre réel et virtuel.” Dans : Images numériques, leurs effets sur le cinéma,
dir.Caroline Renard. Publication Universite Provence, 2014, p. 280.
Guigon Emmanuel, et al. L’Œil moteur : art optique et cinétique, 1950-1975. Musées de
Strasbourg, 2005.
Heeter Carrie. “Being There: The subjective experience of presence.” Presence:
Teleoperators and Virtual Environments. 1992, vol. 1, no. 2, p. 262–271.
Held Richard, Durlach N.I. “Telepresence.” Presence: Teleoperators and Virtual
Environments. 1992, vol. 1, no. 1, p. 109–112.
Hoort Björn van der, Guterstam Arvid, Ehrsson H. Henrik. “Being barbie: The size of one’s
own body determines the perceived size of the world.” PLoS ONE. 2011, vol. 6, no. 5.
Hsieh Chen-Wei. Processus de création d’un système d'images interactives pour le spectacle
vivant : proposition d'une méthode de développement rapide et mise en oeuvre d'une
structure d'un système d'interactivité multi-niveaux et multi-sources. Thèse, Esthétique,
Science et Technologie des Arts, Université Paris 8, dir. Marie-Hélène Tramus, 2013.
Ijsselsteijn Wijnand. “Elements of a multi-level theory of presence: Phenomenology, mental
processing and neural correlates.” Proceedings of PRESENCE 2002. 2002, p. 245–259.
———. “Presence in the past: What can we learn from media history?” Being There:
Concepts, Effects and Measurement of User Presence in Synthetic Environments. 2003.
Jacques Ninio. La Science des illusions. Odile Jacob, 1998.
Jégo Jean-François. Interaction basée sur des gestes définis par l’utilisateur : Application à la
réalité virtuelle. Thèse, École nationale supérieure des mines de Paris, dir. Philippe
Fuchs, 2013.
Jimenez Manuel. La psychologie de la perception. Flammarion, 1997.
Kanbara M., Yokoya N. “Real-time estimation of light source environment for photorealistic
augmented reality.” In Proceedings of the 17th International Conference on Pattern
Recognition,ICPR, Japan. 2004, vol. 2, p. 911–914.
Kapoula Zoï, Lestocart Louis-José. “Perception de l’espace et du mouvement dans Study of a
Dog (Étude de chien) de Francis Bacon.” Intellectica. 2006, vol. 2, no. 44, p. 215–226.
Kilteni Konstantina, Bergstrom Ilias, Slater Mel. “Drumming in immersive virtual reality:
the body shapes the way we play.” IEEE transactions on visualization and computer
graphics. 2013, vol. 19, no. 4, p. 597–605.
Kilteni Konstantina, Normand Jean Marie, Sanchez-Vives Maria V., Slater Mel. “Extending
body space in immersive virtual reality: A very long arm illusion.” PLoS ONE. 2012,
vol. 7, no. 7.
Kokkinara Elena, Slater Mel. “Measuring the effects through time of the influence of
visuomotor and visuotactile synchronous stimulation on a virtual body ownership
illusion.” Perception. 2014, vol. 43, no. 1, p. 43–58.
Lackner James. “Some proprioceptive influences on the perceptual representation of body
shape and orientation.” Brain : a journal of neurology. 1988, vol. 111, p. 281–297.
452
Ladeira Ilda, Numez David. “Story worlds and virtual environments : Learning from oral
storytelling.” In Presence 2007 : The 10th Annual International Workshop on Presence,
Barcelone, Espagne. 2007.
Lanier Jaron. “RV.” Mondo 2000. 2000.
Lanier Jaron, Lee Jimmy, Bailenson Jeremy, Stevenson Won Andrea. “Homuncular
Flexibility in Virtual Reality.” Journal of Computer-Mediated Communication. 2015.
Lecuyer A., Burkhardt J.-M., Coquillart S., Coiffet P. “‘Boundary of illusion’: an experiment of
sensory integration with a pseudo-haptic system.” Proceedings IEEE Virtual Reality
2001. 2001.
Lee Kwan Min. “Presence , Explicated.” Communication Theory. 2004, p. 27–50.
Lenggenhager Bigna, Tadi Tej, Metzinger Thomas, Blanke Olaf. “Video ergo sum:
manipulating bodily self-consciousness.” Science (New York, N.Y.). 2007, vol. 317,
no. 5841, p. 1096–1099.
Lévy Pierre. Qu’est ce que le virtuel ?. La Découverte, 1998.
Lioret Alain, Berger Pierre. L’art génératif, jouer à Dieu...un droit? Un devoir. L’Harmattan,
2012.
Lombard Matthew, Ditton Theresa. “At the Heart of It All: The Concept of Presence.” Journal
of Computer-Mediated Communication. 2006, vol. 3, no. 2.
Luhan Marshall Mc. Pour comprendre les médias. Editions HMH, 1968.
Meehan Michael, Insko Brent, Whitton Mary, Brooks FP. “Physiological measures of
presence in virtual environments.” ACM Transactions on Graphics (TOG) - Proceedings
of ACM SIGGRAPH 2002. 2002, vol. 21, no. 3, p. 645–652.
Merleau-Ponty Maurice. Le primat de la perception et ses conséquences philosophiques.
Verdier, 2014.
———. Phénoménologie de la perception. Gallimard, 1976.
Milgram Paul, Kishino Fumio. “Taxonomy of mixed reality visual displays.” IEICE
Transactions on Information and Systems. Inst of Electronics, Inf & Commun Engineers
of Japan, 1994, vol. E77-D, no. 12, p. 1321–1329.
Minsky Marvin. “Telepresence.” Omni Magazine. 1980.
Morin Edgard. Introduction à la pensée complexe. Editions du Seuil, 2005.
———. La méthode : La Connaissance de la Connaissance. vol. 3. Editions du Seuil, 1986. La
connaissance de la connaissance.
———. Mon chemin : entretiens avec Djénane Kareh Tager. Fayard, 2008.
Nacke Lennart E., Lindley Craig A. “Flow and immersion in first-person shooters.”
Proceedings of the 2008 Conference on Future Play Research, Play, Share - Future Play
’08. 2008, p. 81.
Nannipieri Olivier. Les paradoxes de la présence dans les environnements immersifs : de la
réalité à la réalité virtuelle. Thèse, Université de Toulon, dir. Philippe Dumas, 2013.
Nannipieri Olivier, Fuchs Philippe. “Pour en finir avec La Réalité : une approche socio-
constructiviste de la réalité virtuelle.” Revue des Interactions Humaines Médiatisées, S.
Leleu-merviel, K. Zreik. 2009, p. 83–100.
Nannipieri Olivier, Isabelle Muratore, Mestre Daniel, Lepecq Jean-Claude. “La présence
dans la réalité virtuelle : Quand la frontière se fait passage.” Frontières Numériques.
2014.
453
Normand Jean Marie, Giannopoulos Elias, Spanlang Bernhard, Slater Mel. “Multisensory
stimulation can induce an illusion of larger belly size in immersive virtual reality.”
PLoS ONE. 2011, vol. 6, no. 1.
Peck Tabitha C., Seinfeld Sofia, Aglioti Salvatore M., Slater Mel. “Putting yourself in the skin
of a black avatar reduces implicit racial bias.” Consciousness and Cognition. 2013,
vol. 22, no. 3, p. 779–787.
Perez Laetitia. Territoires : composition et plasticité. Mémoire, Université Paris 1, 2013.
Petkova Valeria I., Ehrsson Henrik. “If I were you: Perceptual illusion of body swapping.”
PLoS ONE. 2008, vol. 3, no. 12.
Piaget Jean. Les Mécanismes perceptifs : Modèles probabilistes, analyse génétique,relations
avec l’intelligence. Presses Universitaires de France - PUF, 1975.
Piaget Jean, Inhelder Bärbel. La psychologie de l’enfant. PUF, 2004.
Pillai Jayesh S. Réalité évoquée, des rêves aux simulations : un cadre conceptuel de la Réalité
au regard de la Présence. Thèse, École Nationale Supérieure d’Arts et Métiers, dir.
Simon Richir, 2013.
Pillai Jayesh S., Schmidt Colin, Richir Simon. “Achieving presence through evoked reality.”
Frontiers in Psychology. 2013, vol. 1, no. 2, p. 1–13.
Poissant Louise. Interfaces et sensorialité. Ésthétique des arts médiatiques, 2003.
Popper Frank. Art, Action et Participation : L’artiste et la créativité aujourd'hui. Klincksieck,
1985.
Ramachandran V. S., Hirstein William. “The perception of phantom limbs. The D. O. Hebb
lecture.” Brain. 1998, vol. 121, no. 9, p. 1603–1630.
Reeves B. “Being there: Television as symbolic versus natural experience.” Institute for
Communication Research, Stanford Universi. 1991.
Rieuf Vincent. Impact de l’expérience immersive sur la prise en compte du kansei en design
industriel amont. Thèse, École nationale supérieure des Arts et Métiers, dir. Caroline
Bouchard, 2013.
Riva Giuseppe, Mantovani Fabrizia, Capideville Claret Samantha, Preziosa Alessandra[et
al.]. “Affective interactions using virtual reality: the link between presence and
emotions.” Cyberpsychology & behavior : the impact of the Internet, multimedia and
virtual reality on behavior and society. 2007, vol. 10, no. 1, p. 45–56.
Roussel François-Gabriel, Jeliazkova-Roussel Madeleine. Dans le labyrinthe des réalités : La
réalité du réel, au temps du virtuel. L’Harmattan, 2009.
Rovira Aitor, Swapp David, Spanlang Bernhard, Slater Mel. “The Use of Virtual Reality in the
Study of People’s Responses to Violent Incidents.” Frontiers in behavioral neuroscience.
2009, vol. 3, p. 59.
Scheer Fabian, Abert Oliver, Müller Stefan. “Towards Using Realistic Ray Tracing in
Augmented Reality Applications with Natural Lighting.” GI Workshop. 2007.
Scherrer Camille, Pilet Julien, Fua Pascal, Lepetit Vincent. “The haunted book.” Proceedings -
7th IEEE International Symposium on Mixed and Augmented Reality 2008, ISMAR 2008.
2008, p. 163–164.
Schnabel Marc Aurel, Wang Xiangyu, Seichter Hartmut, Kvan Tom. “From virtuality to
reality and back.” Proceedings of the International Association of Societies of Design
Research. 2007, p. 1–15.
Schneider Edward F., Lang Annie, Shin Mija, Bradley Samuel D. “Death with a story: How
story impacts emotional, motivational, and physiological responses to first-person
454
shooter video games.” Human Communication Research. 2004, vol. 30, no. 3, p. 361–
375.
Senge Peter. La Cinquième Discipline. L’Art et la manière des organisations qui apprennent.
Editions Générales First, 1992.
Shepard Roger N. L’oeil qui pense. Visions, illusions, perceptions. Seuil, 2000.
Sheridan Thomas B. “Musings on telepresence and virtual presence.” Presence :
Teleoperators and Virtual Environments. 1992, vol. 1, no. 1, p. 120–125.
Slater Mel. “A Note on Presence Terminology.” Emotion. 2003, vol. 3, p. 1–5.
———. “Place illusion and plausibility can lead to realistic behaviour in immersive virtual
environments.” Philosophical transactions of the Royal Society of London. Series B,
Biological sciences. 2009, vol. 364, no. 1535, p. 3549–3557.
———. “Presence and the sixth sense.” Presence: Teleoperators and Virtual Environments.
2002, vol. 11, no. 4, p. 435–439.
Slater Mel, Antley Angus, Davison Adam, Swapp David[et al.]. “A virtual reprise of the
Stanley Milgram obedience experiments.” PLoS ONE. 2006, vol. 1, no. 1.
Slater Mel, Brogni Andrea, Steed Anthony. “More Breaks Less Presence.” Presence 2003: The
6th Annual International Workshop on Presence. 2003.
Slater Mel, Garau Maia, Friedman Doron, Widenfeld Hila Ritter[et al.]. “Temporal and
Spatial Variations in Presence: Qualitative Analysis of Interviews from an Experiment
on Breaks in Presence.” 2008.
Slater Mel, Perez-Marcos Daniel, Ehrsson H.Henrik, Sanchez-Vives Maria V. “Towards a
digital body: the virtual arm illusion.” Fronttiers in human neuroscience. 2008, vol. 2.
Slater Mel, Spanlang Bernhard, Sanchez-Vives Maria V., Blanke Olaf. “First person
experience of body transfer in virtual reality.” PLoS ONE. 2010, vol. 5, no. 5.
Slater Mel, Steed Anthony. “A Virtual Presence Counter.” Presence. 2000, vol. 9, no. 5,
p. 413–434.
Slater Mel, Usoh Martin, Chrysanthou Yiorgos. “The influence of dynamic shadows on
presence in immersive virtual environments.” Dans : Selected papers of the
Eurographics workshops on Virtual environments. vol. 95. Springer-Verlag, 1995, p. 8–
21.
Slater Mel, Usoh Martin, Steed Anthony. “Depth of presence in virtual environments.”
Presence: Teleoperators and Virtual Environments. 1994, vol. 3, no. 2, p. 130–144.
———. “Taking steps: The influence of a walking technique on presence in virtual reality.”
ACM Transactions on Computer Human Interaction (TOCHI). 1995, vol. 2, no. 3, p. 201–
219.
Steinicke Frank, Bruder Gerd, Jerald Jason, Frenz Harald[et al.]. “Analyses of Human
Sensitivity to Redirected Walking.” Proceedings of the 15th ACM Symposium on Virtual
Reality Software and Technology VRST,France. ACM, 2008, Edited by Steven K Feiner,
Daniel Thalmann, Pascal Guitton, Bernd Fröhlich[et al.], p. 149–156.
Sutherland Ivan E. “A head-mounted three dimensional display.” Proceedings of the
December 9-11, 1968, fall joint computer conference, part I on - AFIPS ’68 (Fall, part I).
ACM Press, 1968, p. 757.
Tamariz Juan, Hodges James. Les cinq points magiques. G. Proust, 2002.
Thouvenin Indira Mouttapa. Interaction et connaissance : construction d’une experience dans
le monde virtuel. HDR, Université de Technologie Compiègne, 2009.
455
Tramus Marie-Hélène. “Le mode dialogique comme ‘transformateur de réalités.’” Actes des
rencontres de L’Atelier Brouillard Précis. 2002.
———. Recherches, expérimentations et créations dans les arts numériques : interactivité,
acteurs virtuels. HDR. Université Paris 8.
Tramus Maris-Hélène, Couchot Edmond, Bret Michel. “La seconde interactivité.” Arte e vida
no século XXI, Organizadora Diana Domongues, UNESP, Brasi. 2003.
Usoh Martin, Arthur Kevin, Whitton Mary C., Bastos Ruy Rui[et al.]. “Walking > Walking-in-
Place > Flying, in Virtual Environments.” SIGGRAPH ’99 Proceedings of the 26th annual
conference on Computer graphics and interactive techniques. 1999, p. 359–364.
Varela Francisco. L’inscription corporelle de l'esprit : Sciences cognitives et expérience
humaine. Seuil, 1999.
Vermersch Pierre. Expliciation et phénoménologie : Vers une psychophénoménologie. PUF,
2012.
Vinayagamoorthy Vinoba, Steed Anthony, Slater Mel. “The impact of character posture
model on the communication of affect in an immersive virtual environment.” IEEE
Transactions on Visualization and Computer Graphics. 2008, vol. 14, no. 5, p. 965–982.
Wang Yi, Otitoju Kunmi, Liu Tong, Kim Sijung[et al.]. “Evaluating the effects of real world
distraction on user performance in virtual environments.” Proceedings of the ACM
symposium on Virtual reality software and technology - VRST ’06. ACM Press, 2006,
p. 19.
Wiederhold Brenda K., Bouchard Stéphane. Advances in Virtual Reality and Anxiety
Disorders. Springer US, 2014.
Winnicott Donald W. Jeu et réalité. Gallimard, 2002.
456
TABLE DES ILLUSTRATIONS
Illustration 1. J. Guez, Portrait, Fusain, 2003 ............................................................................................................... 13
Illustration 2. J. Guez, Bord de Seine Pastel, 2005 ....................................................................................................... 13
Illustration 3. J. Guez, D’un Côté, de L’autre, Tableau dynamique, 2003 .................................................................... 13
Illustration 4. J. Guez, Calendrier, Installation In-Situ, 2003........................................................................................ 14
Illustration 5. J. Guez, N. Ikzitene et A. Saropala, Rencontres – Portraits, Installation immersive, 2003 .................... 14
Illustration 6. J. Guez, K. Groupierre, W. Boussouda, J. Debast, 18 Lieux, Installation Réalité Augmentée, Laval
Virtual, 2008 ................................................................................................................................................................ 15
Illustration 7. J. Guez, K. Groupierre, W. Boussouda, J. Debast, Confession (Installation immersive et interactive,
école des Beaux-Arts d’Athènes, 2008) ....................................................................................................................... 15
Illustration 8. L’espace d’IRV de mes recherches-créations ........................................................................................ 18
Illustration 9. Schéma : perception, émergence et construction de notre réalité ......................................................40
Illustration 10. Illusion de Müller-Lyer, d’après l’illusion créée par Franz Carl Müller-Lyer (1854-1916) ................... 45
Illustration 11. Illusion du Canard- Lapin ..................................................................................................................... 49
Illustration 12. Charles Chaplin, La Ruée vers l’or, 1925. ............................................................................................ 54
Illustration 13. Exemples d'illusions d'optique ............................................................................................................ 58
Illustration 14. Schéma de fonctionnement de la dissonance cognitive, d’après le livre de Stefan Alzaris ................ 66
Illustration 15. Schémas de plongée en mer ............................................................................................................... 73
Illustration 16. Schémas narratif de film ..................................................................................................................... 73
Illustration 17. Schéma de fonctionnement de la dissonance cognitive, proposée sur le scénario du tour de la
montre volée ............................................................................................................................................................... 74
Illustration 18. Modèle de plongée pour une expérience de magie ........................................................................... 75
Illustration 19. Schéma de la frontière entre le réel et le virtuel ................................................................................ 87
Illustration 20. Schéma de frontière entre le réel et l'illusion ..................................................................................... 90
Illustration 21. Schéma de frontière entre le virtuel et l'illusion................................................................................. 90
Illustration 22. Mon espace de recherche-création qui hybride le réel, le virtuel et l'illusion .................................... 95
Illustration 23. Morton Heilig, le Sensorama, 1956 ...................................................................................................100
Illustration 24. Sutherland, visio-casque monoscopique, 1965................................................................................100
Illustration 25. Exemples d'interfaces sensorielles de réalité virtuelle .....................................................................103
Illustration 26. Exemples d'interfaces motrices de réalité virtuelle ..........................................................................103
Illustration 27. Exemples d'interfaces sensori-motrices de réalité virtuelle .............................................................103
Illustration 28. Exemples d'applications de réalité virtuelle .....................................................................................105
Illustration 29. Continuum entre le réel et le virtuel, de Paul Milgram et Fumio Kishino .........................................105
Illustration 30. the ARK open source project ............................................................................................................108
Illustration 31. Réalité augmentée, SDK Vuforia pour Android .................................................................................109
Illustration 32. Le Petit Chef. Mapping vidéo sur une table de restaurant ...............................................................110
Illustration 33. Télescope de réalité augmentée, Arc de Triomphe, Futur en Seine 2009 ........................................111
Illustration 34. Différents rendus possibles des objets virtuels ajoutés sur la scène réelle. .....................................113
Illustration 35. Modèle 3I2, P. Fuchs, 2001 ...............................................................................................................118
Illustration 36. Composantes de l’illusion de présence en rapport avec la théorie de l’énaction ............................128
Illustration 37. Modèle de F. Biocca, 2003 ................................................................................................................142
Illustration 38. Carte de Présence (« Presence Map ») de J.S Pillai ...........................................................................147
Illustration 39. Placement des Réalités Evoquées (ER), sur la Carte de Présence, J.S. Pillai ......................................148
Illustration 40. Placement des réalités évoquées (ER) selon différents facteurs, sur la Carte de Présence, J.S. Pillai
...................................................................................................................................................................................149
Illustration 41. Une réalité auto-évoquée (Self-ER) dans une réalité évoquée par un média (Media-ER), dans la
Carte de Présence, J.S Pillai........................................................................................................................................150
Illustration 42. Modulations possibles de la Carte de Présence, J.S. Pillai.................................................................151
Illustration 43. Expérience de cyberpsychologie (UQO) dans trois dispositifs (réalité augmentée et réalité virtuelle)
...................................................................................................................................................................................157
Illustration 44. Représentation de La jeune fille à la perle de J. Vermeer, 1665 .......................................................158
Illustration 45. Schéma de la théorie du "flow", Csikszentmihalyi (1990) ................................................................166
Illustration 46. Expérience de la Rubber Hand Illusion .............................................................................................168
Illustration 47. Expérience de retour d'effort passif dans une pièce, Meehan, Slater, et al. 2008 ...........................169
Illustration 48. Yuki Ban et al. "Haptic illusion on perceiving shape", 2011 ..............................................................170
Illustration 49. Interface Cyberith..............................................................................................................................173
Illustration 50. Marche redirigée : F. Steinicke et al. .................................................................................................174
457
Illustration 51. Marche redirigée : D. Engel et al. ...................................................................................................... 174
Illustration 52. Alberto Giacometti, Head, 1962 ....................................................................................................... 198
Illustration 53. Jean Tinguely et Niki de Saint Phalle, Le Cyclop, 1969-1994. ............................................................ 198
Illustration 54. Joseph Kosuth, One and three chairs, 1965 ...................................................................................... 201
Illustration 55. Yayoi Kusama, Dots Obsession, 1998 ................................................................................................ 201
Illustration 56. Michael Heizer, Isolated Mass/Circumflex (#2), 1968-1972 ............................................................. 202
Illustration 57. Dennis Oppenheim, Bus Home, 2002 ............................................................................................... 202
Illustration 58. Dan Graham, Triangular Pavilion with Circular Cut-Out Variation C, 1989-2001 ............................. 202
Illustration 59. Luc Peire, Environment III, 1973 ....................................................................................................... 202
Illustration 60. Thomas Israël, Le ventre du monde, 2009 ........................................................................................ 205
Illustration 61. Thomas Israël, A Ma d’Azil, 2009 ...................................................................................................... 205
Illustration 62. , 1024 architecture, Perspective Lyrique, an interactive architectural Mapping, Fête des Lumières de
Lyon 2010 .................................................................................................................................................................. 206
Illustration 63. Bot & Dolly, Box, 2013 ...................................................................................................................... 206
Illustration 64. Electronic Shadow, e-Window, 2011 ................................................................................................ 206
Illustration 65. Pierrick Sorin, le cousin, 2008 ........................................................................................................... 207
Illustration 66. David Hoffos, Scenes From the House Dream, 2003 ......................................................................... 207
Illustration 67. V. Vasarely, Vega 200, 1968.............................................................................................................. 209
Illustration 68. C. Cruz-Diez, Couleur Additive 301, 1983 .......................................................................................... 209
Illustration 69.F. Morellet, L’avalanche, 1996........................................................................................................... 209
Illustration 70. C. Megert, Coffee Table, 1977........................................................................................................... 210
Illustration 71. N. Schöffer, Chronos, 1960 ............................................................................................................... 210
Illustration 72. J. Le Parc, Continuel lumière mobile, 1960-2007 .............................................................................. 210
Illustration 73. J-R Soto, Pénétrable BBL bleu, 1973 ................................................................................................. 212
Illustration 74 . Y. Agam, Double métamorphose, III, 1968-1969 .............................................................................. 212
Illustration 75. C. Cruz-Diez, Chromosaturation, 1965 .............................................................................................. 212
Illustration 76. A. Colmenarez, Tactiles Psychomagneticos, 1970 ............................................................................ 213
Illustration 77. Marcel Duchamp, Rotary Glass Plates, 1920 .................................................................................... 215
Illustration 78. M. Krueger, Vidéoplace, 1970 ........................................................................................................... 217
Illustration 79. J. Shaw, Legible City, 1989 ................................................................................................................ 217
Illustration 80. M. Bret et E. Couchot. Les Pissenlits, 1990 ....................................................................................... 218
Illustration 81. C. Sommerer et L. Mignonneau, Interactive plant Growing, 1993 ................................................... 219
Illustration 82. C. Davies, Osmose, 1995 ................................................................................................................... 219
Illustration 83. Studio Azzurro, Coro, 1995 ............................................................................................................... 219
Illustration 84. M. Benayoun, World Skin, 1997 ........................................................................................................ 220
Illustration 85. C. Scherrer, The Haunted Book, 2008 ............................................................................................... 220
Illustration 86. R. Lozano-Hemmer, Trackers The Year's Midnight, 2011 ................................................................. 220
Illustration 87. C.-Y. Chen, Quorum Sensing, 2002 .................................................................................................... 221
Illustration 88. M. Bret et M-H Tramus, La funambule virtuelle, 2000-2006 ............................................................ 222
Illustration 89. R. Magritte, La corde sensible, 1898-1967 ........................................................................................ 230
Illustration 90. S. Dali, The persistence of memory, 1931 ......................................................................................... 230
Illustration 91. M. Ernst, Ubu Imperator,1923 .......................................................................................................... 230
Illustration 92. Pierrick Sorin, Aquarium aux danseuses. 2010 ................................................................................. 231
Illustration 93. J. Mulatier, Virtualia, 2013 ................................................................................................................ 233
Illustration 94. Cie 14:20, Ellipses, 2013 .................................................................................................................... 233
Illustration 95. Cie 14 :20, Vibrations, 2012 .............................................................................................................. 233
Illustration 96. Augmented Magic, Décroche, 2014 .................................................................................................. 233
Illustration 97. Cie Adrien M / Claire B., Cinématique, 2010 ..................................................................................... 235
Illustration 98. D. Marleau, Les Aveugles, 2002 ........................................................................................................ 235
Illustration 99. Art Zoyd, Trois rêves non valides, 2013............................................................................................. 235
Illustration 100. Dumb Type, [Or], 1997.................................................................................................................... 236
Illustration 101. M. Cunningham, Biped, 1999 .......................................................................................................... 236
Illustration 102. A. Mondot, Convergence 1.0, 2005................................................................................................. 236
Illustration 103. Cie Theatro cinema, The Man Who Fed Butterflies, 2010 .............................................................. 237
Illustration 104. Cie 4d Art, La Belle et la Bête, 2011 ................................................................................................ 237
Illustration 105. Cie Haut et Court, Ubik/Orbik, 2011 ............................................................................................... 238
Illustration 106. M. Jaffrenou, Toto-logiques, 1981 .................................................................................................. 238
Illustration 107. Cie Enra, Torque starter, 2014 ........................................................................................................ 239
Illustration 108. K. Obermaier, Apparition, 2004 ...................................................................................................... 239
Illustration 109. ChunkyMove, Glow, 2006 ............................................................................................................... 240
Illustration 110. G. Levin, Z. Lieberman, J. Blonk et JL.Barbara, Mesa Di Voce, 2003 ............................................... 240
458
Illustration 111. Schéma de la synergie entre le spectateur, l'œuvre et l'artiste......................................................252
Illustration 112. Positionnements de mes installations, en référence au continuum de Milgram ...........................256
Illustration 113. J. Guez et L. Perez, De Toi à Moi, 2011 ...........................................................................................263
Illustration 114. Dispositif De Toi à Moi (1m04 *1m6) ..............................................................................................265
Illustration 115. L'image : L. Perez, sans titre, 2010 ..................................................................................................266
Illustration 116. Plusieurs vues, J. Guez et L. Perez, De Toi à Moi, 2011 ...................................................................268
Illustration 117. Public expérimentant De Toi à Moi, Laval Virtual 2011 ..................................................................270
Illustration 118. Résultats bruts des textes et des images relevés, De Toi à Moi, Laval Virtual 2011 ......................278
Illustration 119. Liz West, Your Colour Perception, Castlefield Gallery’s New Art Spaces Federation House, 2015 280
Illustration 120. Tableau de synthèse des IRV identifiées pour De Toi à Moi, 2011 .................................................280
Illustration 121. J. Guez et G. Bertinet, Envêre, 2012 ................................................................................................281
Illustration 122. Vues de l'intérieur, Envêre, 2012 ....................................................................................................282
Illustration 123. Schéma du dispositif, Envêre, 2012 ................................................................................................283
Illustration 124. Exemples d'images testées dans le dispositif de Envêre, 2012 .......................................................286
Illustration 125. J. Guez, Tests graphiques 3D sur Maya, Envêre, 2012 ....................................................................289
Illustration 126. Exemples de captures graphiques, Envêre, 2012 ............................................................................290
Illustration 127. Tableau de synthèse des IRV identifiées pour Envêre, 2012...........................................................292
Illustration 128. Y. C. Ko, C-W. Hsieh, J.Guez, (première idée de mise en espace) We Wave, 2011 .........................295
Illustration 129. Synthèse de la mise en relation, We Wave, 2013 ...........................................................................298
Illustration 130. Expérimentation du public, We Wave, 2013 ..................................................................................301
Illustration 131.Tableau de synthèse des IRV identifiées pour We Wave, 2013 .......................................................302
Illustration 132. Quatre ouvertures de recherche, dans le cadre du projet CIGALE 2012-2015 ...............................304
Illustration 133. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE, InterACTE'IN, 2014-2015 ..................305
Illustration 134. Capture des gestes de Julien Lubeck, chez Solidanim, 2012 ...........................................................306
Illustration 135. J. Guez, J-F. Jégo, Quand les CIGALE stridulent, lors de la semaine des arts de Paris 8, 2014 ........308
Illustration 136. Inspiration de mise en espace pour InterACTE, 2014. Exposition Kitsou Dubois, MEP, Paris 2011 309
Illustration 137.Exemples de rendus du corps virtuel, Inter'ACTE, 2014-2015 .........................................................310
Illustration 138. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE ou la cristallisation gestuelle entre un homme et
un avatar, Savante Banlieue, 2014 ............................................................................................................................311
Illustration 139. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE, Atelier Campus Condorcet, 2015 .....312
Illustration 140. J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE, BPI 2015 ...........................................313
Illustration 141.J.Guez, J-F.Jégo, D.Batras, M-H.Tramus, CIGALE, InterACTE'IN, Gaîté Lyrique, 2015 ......................314
Illustration 142.Tableau de synthèse des IRV identifiées pour InterACTE, InterACTE’IN, 2014-2015 .......................315
Illustration 143. J. Guez, S. Kuntz, F. Reneau, F. Costes, C. Kaing, F. Gutherz, VRLux, 2013 .....................................316
Illustration 144. Références pour l'atmosphère du monde virtuel, VRLux, 2013 .....................................................318
Illustration 145. L'objet interface "bougie", VRLux, 2013 .........................................................................................319
Illustration 146. Frontière entre le réel et le virtuel, VRLux, 2013 ............................................................................321
Illustration 147. VRLux, dans Unity 3D ......................................................................................................................327
Illustration 148. Manager des étapes de jeu dans Unity 3D, VRLux, 2013 ................................................................327
Illustration 149. Aides visuelles pour que la bougie de VRlux paraisse crédible. ......................................................327
Illustration 150. Interface de MiddleVR ....................................................................................................................328
Illustration 151. Scène 3D de MiddleVR pour repérer les interfaces de réalité virtuelle dans l'espace. ..................328
Illustration 152. Exposition de VRLux à Press Start 2013 ..........................................................................................333
Illustration 153. Synthèse des analyses des retours du public, VRLux, 2011 ............................................................336
Illustration 154.Tableau de synthèse des IRV identifiées pour VRLux, 2013 ............................................................338
Illustration 155. J.Guez, G. Bertinet, K. Wagrez, Lab’Surd V1, 2014..........................................................................340
Illustration 156. Schéma du dispositif, Lab'Surd, 2014-2015 ....................................................................................342
Illustration 157. Oculus Rift DK1 et Razer-Hydra .......................................................................................................342
Illustration 158.Tableau de synthèse des IRV identifiées pour Lab’Surd V1, 2014 ...................................................344
Illustration 159. J. Guez, G. Bertinet, K. Wagrez, Lab'Surd V2, 2015 .........................................................................345
Illustration 160. Apparitions d'illusions virtuelles, Lab'Surd V2, 2015 ......................................................................347
Illustration 161. Capture de la scène de fin dans "Escher", Lab'SurdV2, 2015..........................................................348
Illustration 162. Étape de travail sur Unity 3D, des deux scènes qui donnent l'illusion du miroir, Lab'Surd V2, 2015
...................................................................................................................................................................................350
Illustration 163. Lab'Surd V2, Press Start 2015, BPI ..................................................................................................352
Illustration 164. Lab'Surd V2, VRLab, Google Institute ..............................................................................................353
Illustration 165. Expérimentation par le public de Lab'Surd V2, 2015 ......................................................................355
Illustration 166.Tableau de synthèse des IRV identifiées pour Lab’Surd V2, 2015 ...................................................360
Illustration 167. J. Guez, G. Bertinet, E-A. Maillet, La chambre de Kristoffer, 2015-2016 .........................................363
Illustration 168. Etape de travail dans Unity 3D, La chambre de Kristoffer, 2015 .....................................................367
Illustration 169. Références pour la création de l'univers étoilé en 3D, La Chambre de Kristoffer. .........................368
459
Illustration 170. Représentation de « l’Univers en oignon » dans Unity 3D, avec la chambre au centre, La chambre
de Kristoffer. .............................................................................................................................................................. 369
Illustration 171. Gestionnaire du scenario des illusions à changements faibles, dans Unity 3D, La Chambre de
Kristoffer .................................................................................................................................................................... 370
Illustration 172. La Chambre de Kristoffer, Mac Créteil, 2014 .................................................................................. 371
Illustration 173. La Chambre de Kristoffer, Laval Virtual, Révolution, 2015 ............................................................. 372
Illustration 174. Tableau de synthèse des IRV identifiées pour La Chambre de Kristoffer 2014-2015 ..................... 379
Illustration 175. J. Guez, J-F. Jégo, K. Wagrez, G. Gilly-Poitou, J. Loosveld, C. Moussier, D. Rivoire, Liber, 2015 ..... 380
Illustration 176. Expérimentations du public, Liber, GGJ2015, Laval Virtual 2015 ................................................... 384
Illustration 177.Tableau de synthèse des IRV identifiées pour Liber 2015 ............................................................... 385
Illustration 178. VRJam, Jeu Alone, Oculus Rift DK1, 2013 ........................................................................................ 387
Illustration 179. Takohi, Simulateur de GameBoy en réalité virtuelle....................................................................... 387
Illustration 180. A. Ribeiro, Pixel Rift ......................................................................................................................... 388
Illustration 181. J. Guez, S. Kuntz, P. Gosselin, S. Menager, T. Klein, VRLemmings, 2014 ........................................ 389
Illustration 182.Tableau de synthèse des IRV identifiées pour VRlemmings, 2014 .................................................. 393
Illustration 183. Scénographie des éléments pour la projection, Conférence Hybride, CIGALE, 2013...................... 396
Illustration 184. (En haut) photocalligraphies de Jolanta Lapiack. (En bas) exemples de rendus visuels sur la trace du
geste, Conférence hybride, CIGALE, 2014 .................................................................................................................. 400
Illustration 185. Tableau de synthèse des IRV identifiées pour Conférence hybride, CIGALE, 2014 ......................... 400
Illustration 186. Étape de travail, Cassandre, CIGALE, 2014 ..................................................................................... 403
Illustration 187. Théâtre 95 de Cergy le 5 juin 2014, Cassandre, CIGALE, 2014 ....................................................... 404
Illustration 188. Première proposition de mise en espace. Cassandre, CIGALE, 2014 .............................................. 404
Illustration 189. Différents rendus graphiques pour l'avatar, Cassandre, 2014........................................................ 407
Illustration 190. Tableau de synthèse des IRV identifiées pour Cassandre, CIGALE 2014 ........................................ 407
Illustration 191.Tableau de synthèse des IRV identifiées pour Hiver, 2014 .............................................................. 413
Illustration 192. Mon espace chromatique des IRV .................................................................................................. 417
Illustration 193. Rappel des schémas de profondeur dans l’illusion pour une expérience de magie (à gauche) et de
réalité virtuelle (à droite). ......................................................................................................................................... 420
Illustration 194. Placement des installations sur la frontière réel/virtuel et la frontière réel/illusion ..................... 427
Illustration 195. Identification de quatre parties différentes dans l'espace des IRV ................................................ 427
Illustration 196. Placement des installations dans mon espace chromatique des IRV ............................................. 428
Illustration 197. Proposition d'une modification du modèle de la Carte de Présence de J.S. Pillai .......................... 431
Illustration 198. Proposition de trois modulations inspirées de notre Carte de présence (Pillai) modifiée.............. 431
Illustration 199. J. Guez, Verre, Pourville, 2006 ........................................................................................................ 491
460
ANNEXE
461
RETOURS DU PUBLIC (ENREGISTREMENTS,
QUESTIONNAIRES)
S : Spectateur (questionné)
J : Judith (qui réalise les entretiens)
(Les enregistrements sont réalisés pendant le suivi des personnes, où ils doivent tenir un poids. Ça m’a fait
penser à ça.
réponses aux questionnaires, pour cela les phrases ne
D’être complètement confinée dans la pièce, comme si
sont pas toujours en rapport avec une question que j’étais dans une boîte et assise à un bureau dans une
boîte ; ça m’a fait cette sensation.
j’aurais posée)
Par exemple le fait de lever la bougie et que ce soit très
ras… Pas haut, dans cette sensation d’enfermement
31 personnes dans la pièce.
J : Tu t’es sentie désorientée, à la fin ?
S : Non ça ne me l’a pas fait. Pas comme les autres
expériences que j’ai essayées. Peut-être je suis plus
Répondre par oui, non ou pas d’avis aux affirmations habituée. Je n’y connais rien en jeu vidéo… Juste Sims…
suivantes : Et rien en réalité virtuelle.
J : Tu as des commentaires ?
1. J’ai aimé l’expérience. S : On ne voit pas assez les symboles. Je n’ai pas trouvé…
2. J’ai facilement compris comment éclairer la pièce. Mais après… C’est sympa. Très sympa ; ça change !
3. À un moment de l’expérience, j’ai senti la chaleur de la
bougie. 005
4. J’ai voulu toucher l’environnement avec la main sans la J : Comment tu as senti quand tu as pris la bougie ? Que
bougie. tu as compris comment éclairer ?
5. Je me suis senti présent dans la pièce. S : Ç a m’a surpris en fait.
6. À la fin de l’expérience, je me suis senti(e) désorienté(e). J : Tu as voulu toucher l’environnement avec ton autre
main ?
S : J’ai été étonné d’essayer de toucher l’environnement
003 avec mon autre main... Puis après j’ai compris je me suis
« J’ai l’habitude d’utiliser une manette, et là, le fait dit « qu’est-ce que tu es en train de faire ? »
d’interagir avec sa main c’est plus facile. J : Tu définis comment cette sensation : la sensation de
présence dans la pièce ?
004 S : Je sentais vraiment que les objets ils étaient là et que
J : À quel moment tu as compris que tu pouvais éclairer j’ai complètement oublié le... euh… Le reste.
dans le monde virtuel ?
S : Ha bah ! Dès que je l’ai prise dans les mains ! Je l’ai 006
tout de suite bougé en fait donc j’ai vu que ça éclairait. » J : Quand tu as pris la bougie, ça t’a semblé comment ?
J : Tu définis comment cette sensation : la sensation de S : Facile
présence dans la pièce ? J : Tu définis comment cette sensation : la sensation de
S : Bah j’ai l’impression que… euh… J’étais assise à un présence dans la pièce ?
bureau en train de jouer… Enfin… comme un peu Fort S : On se sent dedans… Avec le visuel. Le fait de devoir
Boyard tu sais quand il prend leur… Tu sais les éclairer la pièce ça m’a aidé à être présent.
dernières épreuves où ils doivent jouer contre d’autres S : Oui je fais beaucoup de jeux vidéo, mais pas de
système réalité virtuelle.
462
007 009
J : Quand tu as pris la bougie, ça t’a semblé comment ? J : Quand tu commences à prendre la bougie, c’était
S : Direct ! Quand j’ai pris la bougie, bah j’étais présent, facile ?
car je la sentais vraiment. Et quand je l’ai posée sur la S : Oui complètement !
boîte, je l’ai sentie bien calée. Je n’ai pas eu de J : Chaleur ?
décrochage… Tu sais de… De boîte de travers… Ou euh… S : Oui ! C’est exactement ce que je me suis dit
Pareil pour la table au début c’est marrant je me tenais à d’ailleurs : je me suis dit : je la rapproche et je m’attends
la table comme point de repère. C’est-à-dire que j’étais à de la chaleur ! Réellement ! Après la chaleur vient
tellement immergé que… d’ailleurs (il fait chaud dans la pièce), mais pour toi ça
J : Et pour éclairer ? vient de la bougie... Parce que tu es dans le noir. Et
S : Je me suis retourné pour éclairer la boîte, après la quand tu la rapproches tu as le réflexe de dire « c’est
première énigme, et ça marchait vraiment bien en fait. une bougie ! » et tu sais juste que ça implique de la
Le tracking est précis et… C’est juste magique. J’étais chaleur. Et du coup tu la rapproches pas trop de toi. Le
juste un peu frustré, à un moment où je me suis son a aidé aussi… Les battements de cœur…
rapproché d’un objet, car il n’y avait pas le tracking de J : Tu définis comment cette sensation de présence dans
position. Mais ça veut dire que j’étais présent parce que la pièce ?
j’ai voulu m’approcher comme dans la réalité. S : Claustro ! T’es enfermé, t’as la bougie. Et la première
J : Tu as senti de la chaleur ? fois tu ne sais vraiment pas où tu es.
S : Non je n’ai pas senti de la chaleur. Je pense que j’étais J : Tu t’es senti désorienté à la fin ?
plus focalisé sur les énigmes. S : Non. Plus dedans j’avais un malaise (claustro…)
S : J’ai touché la table et la boîte avec la bougie : j’ai S :… Oui la réalité virtuelle, je connais moyennement.
utilisé la bougie comme extension de mon corps. Avec la
cire de la bougie, j’ai touché la boîte et je sentais que je 010
la touchais avec cette matière plastique. Je sentais J : Quand tu as commencé à prendre la bougie, c’était
l’environnement par l’intermédiaire de la bougie. facile ?
Avec la main gauche qui ne tenait pas la bougie, j’ai juste S : C’est la forme.
touché la table au début pour avoir un point de repère. J : Tu as ressenti de la chaleur ?
Et c’était naturel et normal. S : Oui c’est la chaleur avec le son… Jsuis à fond dans le
J : Et la table réelle et/ou virtuelle ? jeu. Le fait de voir la bougie…
S : C’était la même ! J : Tu définis comment cette sensation : la sensation de
J : Tu définis comment cette sensation : la sensation de présence dans la pièce ?
présence dans la pièce ? S : Quand je manipule un personnage. Donc là non. Je ne
S : Bah, j’étais dans une boîte, quand je me retournais, manipulais pas un personnage.
j’éclairais la boîte. J’étais dedans, j’étais vraiment Oui j’expérimente beaucoup le jeu vidéo, mais pas la
dedans. réalité virtuelle. La réalité virtuelle pour le point and
J : Tu t’es senti désorienté à la fin ? click, c’est juste parfait !
S : Ce qui désoriente c’est de revoir la lumière des néons
d’ici, car l’environnement virtuel est sombre. Mais c’est 011
tout. Comme si on me sortait d’une boîte. Comme si je J : Quand tu commences à prendre la bougie, c’était
suis passé d’un environnement à l’autre. J’étais dans un facile ?
environnement. S : On a vraiment la bougie dans la main.
J : Tu peux décrire l’atmosphère de l’environnement ? J : Tu définis comment cette sensation : la sensation de
S : Feutrée, chaude… présence dans la pièce ?
J : Feutrée ? S : C’est comme si, on dirait qu’on m’a mis dans une
S : C’était des couleurs chaudes, t’as la bougie… Par pièce noire. J’étais dedans ; pas déconcentré.
contre c’est un peu claustrophobique. L’environnement. S : Pas d’expérience en réalité virtuelle.
T’étais vraiment dans une boîte, avec les murs assez
proches... 012
Ou peut-être aussi le casque… Il y a la mousse… Quand J : C’est la bougie qui éclairait ? J : quand tu commences
tu le mets, tu as la sensation d’un truc… Euh… Un peu à prendre la bougie, c’était facile ?
confortable. Puis le son, battement de cœur et son de S : Entre oui et non en fait... à un moment c’était la
grincement… bougie, mais en fait… mais oui c’était naturel
Puis la boîte aussi, ça fait chaleureux, vieux. J : Tu as voulu toucher l’environnement avec l’autre
S : Pas expert en jeu vidéo, mais en réalité virtuelle. main ?
S : Ouais, à un moment c’était tentant.
008 J : Tu définis comment cette sensation : la sensation de
J : Quand tu commences à prendre la bougie, c’était présence dans la pièce ?
facile ? S : Plus par les battements de cœur… En fait d’associer à
S : Oui un son naturel à la vie. Ça marchait bien.
J : Tu as touché l’environnement avec ta main sans la
bougie ? 013
S : Oui j’ai voulu toucher la table. Ni la réelle ou J : Quand tu commences à prendre la bougie, c’était
virtuelle… Euh je sais pas le vide… facile ?
J : Tu définis comment cette sensation : la sensation de S : Oui
présence dans la pièce ? J : Tu as voulu toucher l’environnement avec l’autre
S : Bah t’es dans le jeu, on dirait que t’es… Dans la pièce, main ?
ici. S : Oui
J : Plus avec les gens autour ? J : Ça t’a fait quoi ?
S : Oui S :… Ben le vide en fait ! C’est-à-dire... Euh… Tu es
S : Je ne connaissais pas la réalité virtuelle. partagé. Euh... Quand tu te remémores que tu es dans un
463
espace virtuel comme ça. Tu te rends compte après que J : Vous définissez comment cette sensation de présence
tu n’es pas dans quelques choses de physique. Mon dans la pièce ?
intention c’était de prendre avec la main sans la bougie S : Bah c’est-à-dire c’est comme j’étais vraiment dans la
et c’était bizarre. pièce. Ça se voit que c’est des images de synthèse, mais
J : Vous définissez comment cette sensation : la euh... On a une forte impression… Ça change des
sensation de présence dans la pièce ? expériences des jeux vidéo.
S : Comme si tu cherchais quelque chose dans le noir.
C’est comme si... Y avait pas… Comme vous entrez dans 018
du noir vous… vous êtes un peu… Il y avait certes la S : Pas de chaleur
lumière, mais… Vous êtes dedans, mais vous cherchez… J : Vous définissez comment cette sensation de présence
Il y a quand même du son… vous… Cherchez quoi ? Vous dans la pièce ?
cherchez un repère… Un repère… ça, je l’ai remarqué en S : Bah euh… J’ai vu la pièce…
moi quoi. C’est à dire… comment je pourrais dire… Tu te
sens dans la pièce. Oui oui… Vous vous sentez dans la
pièce ! Seulement au moment de chercher les choses on 019
se rend compte quand même qu’on n’est pas dans du J : Vous définissez comment cette sensation de présence
physique. dans la pièce ?
Par exemple, quand par exemple j’ai touché la table avec S : Par exemple par rapport à la bougie... Tu vois... Il y a
la bougie. C’est là que je remarque que je suis dans du un truc qui était là. Et c’était inconcevable que
virtuel. j’approche la bougie, car je savais que ça brûlait. Je n’ai
J : Ah oui ? pas senti la chaleur ! Mais par contre j’avais conscience
S : En fait, j’avais touché la table physique avec la bougie de la flamme ! J’avais la conscience de la flamme et de la
en main. Mais je remarque que je suis pas dans du bougie. Par exemple à un moment je l’ai posée. Et je l’ai
physique habituel. Le fait de cogner la table avec la posée délicatement parce que j’avais une flamme dans
bougie on sent qu’on est dans du virtuel. la main. Je l’ai posée délicatement pour la reprendre
J : Tu t’es senti désorienté ? avec l’autre main, mais en faisant attention parce que
S : Pas d’expérience ni en jeu vidéo, ni en réalité c’est une flamme.
virtuelle.
Encouragement à l’équipe ! L’immersion, ça m’a plu ! Il y 020
a quelque chose ! J’aimerai vivre encore l’expérience ! J : Vous avez voulu essayer de toucher l’environnement
avec votre main ?
014 S : Oui j’ai touché et il n’y avait rien. Et ça m’a revenu à
J : Qu’est-ce qui s’est passé au début ? la réalité. Je ne le sentais pas. Il y avait un objet que je
S : Euh… J’ai senti la bougie... voulais toucher, mais je ne le sentais pas. Ça m’a réveillé
S : Oui la chaleur de la bougie... dans la réalité. Il y avait la table, mais après pour les
J : Vous définissez comment cette sensation de présence autres objets il n’y avait rien.
dans la pièce ? J : Si tous les objets pouvaient être sentis tactilement ça
S : C’est difficile à définir… ne l’aurait pas fait ?
S : Pas désorienté, non pas comme l’autre expérience. S : non je ne crois pas.
J’avais plus de facilité à faire les actions avec la bougie
ça j’ai l’habitude d’utiliser ma main. 021
J : Tu as voulu essayer de toucher l’environnement avec
015 ta main ? Ah oui ?
J : C’était facile de comprendre au début ? S : J’ai touché la table j’ai vu qu’elle était là.
S : Oui S : Oui il y avait la boîte et quand on posait…. Oui je
J : Ah oui vous avez voulu essayer de toucher avec votre n’avais pas vu qu’il y avait la boîte au début, et quand
main ? j’ai posé là... Je l’ai vraiment sentie.
S : Oui et... euh... C’était bizarre, il n’y avait rien. J : Tu as des commentaires ?
Instinctivement j’allais chercher des choses... Et euh… S : Ben je suis encore avec la bougie…
C’était bizarre. J : T’es encore dedans ?
J : Vous définissez comment cette sensation de présence S : Non… Mais euh, ça m’a impressionné. Ça m’a
dans la pièce ? vraiment étonné. Jpensais que c’était aussi bien fait avec
S : Bah jme sentais dans la pièce… Je regardais à droite, la boîte et tout.
à gauche…
022
016 S : À oui… il y avait vraiment de la chaleur !
J : Vous définissez comment cette sensation de présence J : Tu as senti de la chaleur ?
dans la pièce ? S : Oui ! Je me disais c’est moi qui a un problème, mais…
S : Je ne sentais pas la différence entre la bougie… Euh… j’ai senti...
Celle euh… J : Senti ?
J : La réelle et la virtuelle ? S : Bah euh là (montre son poignet) ! C’était bizarre…
S : Oui. Je savais ce que je faisais… Comment dire, mais... Non, mais c’est dans ma tête. C’était bizarre.
euh… C’était comme une vraie bougie, mais euh… pas J : Sur le poignet là ? Quand tu tenais la bougie ? Là ?
complètement. Je n’ai pas senti la chaleur. S : Ah... Jpensais que c’était euh…
J : Non... C’est normal
017s S : Ah d’accord. Jsuis pas tout seul.
S : Pas de chaleur. J : Avec l’autre main, tu as voulu toucher
J : Vous avez voulu essayer de toucher l’environnement l’environnement ?
avec votre main ? S : Le bouquin, j’ai voulu tourner les pages.
S : J’avais envie... Mais je n’ai pas essayé. J : Tu as ressenti quoi ?
464
S : Je me suis rendu compte… Euh… Que j’étais un peu 029
bête. J : Comment tu définirais cette présence ?
J : Ça t’a euh ? Frustré ? S : Direct j’étais dedans. Dans la pièce.
S : Oui ! Je me suis dit il y a un livre, mais on ne peut pas
tourner les pages ! 030
J : Comment tu définis la présence ? J : Comment tu définirais cette présence ?
S : Je me sentais un peu chez moi… S : J’ai facilement compris… Ça semblait réaliste
J : Chez toi ?
S : Enfin non pas chez moi, mais dans la pièce. En fait 031
l’idée des lunettes c’est que je me suis dit. L’écran J : Tu as ressenti de la chaleur ?
s’approche de nous. Quand on regarde un film, on voit S : Non
l’extérieur. Et là, on est vraiment immergé. Je ne sais pas J : Tu as voulu utiliser ton autre main ?
c’est comme si on aurait des lunettes et qu’on se ballade S : ...Oui j’ai essayé.
entre guillemets avec lui… on jouerait avec ça. J : Essayé ?
S : Oui et on voit qu’on ne peut pas… J’ai essayé de
023 toucher le fil avec l’autre main... Et on voit qu’on ne peut
J : Tu as ressenti de la chaleur ? pas. J’ai compris que c’était avec la bougie.
S : Tu as tellement chaud, que tu as l’impression que J : Comment tu définirais cette présence ?
c’est tout ton corps en fait qui a chaud. S : Quand on voit à 360 degrés. Quand on voit euh…
J : Tu définirais comment cette présence ?
S : Bah c’est vrai que... Bah on est statique. On a 032
l’impression d’être dans la pièce et c’est tout qui change S : C’est bluffant. On est vraiment concentré… Dans la
autour. Par exemple avec la bougie, on ne peut pas faire vision… Dans…
vraiment le tour de la boîte... On a l’impression d’être J : Comment as-tu ressentie la table ?
dans la pièce, mais on ne peut pas se déplacer dans la S : Plus dans le virtuel quand même.
pièce. J : La bougie
J : Oui… Il y a une petite frustration de liberté… De... ? S : Bah je l’avais dans les mains donc c’était réel... Mais,
S : Oui… Enfin j’avais l’impression quand même… Je euh, aussi virtuel.
déplaçais la bougie, je la posais, je la reprenais. J : Comment tu définirais cette présence ?
S : Je ne me suis pas senti désorienté à la fin de S : Si tu ne touches pas la table, tu ne sais pas qu’il y a
l’expérience. une table. Quand tu poses la bougie sur la boîte. Ça
rassure.
024 S : J’étais moins désorienté que l’autre jeu-là.
J : Ah oui tu as voulu toucher avec l’autre main ? S : J’ai été surpris quand le jeu commence.
S : Bah je me suis dit : « si ça se trouve ça peut J : Surpris ?
marcher ! » S : Parce que tu as l’impression d’être plongé dans un
J : Tu as ressenti quoi, quand … ? autre univers.
S : Bah du vide !
J : Comment tu définirais cette présence ? 033
S : Bah on est là quoi. On est assis… J : Avec l’autre main ?
S : Non.
025 J : Comment tu définirais cette présence ?
J : Comment tu définirais cette présence ? S : C’est ; c’était assez immersif ; ça va. Je savais que
S : Bah… Jsais pas… J’étais dedans… Quoi… On est j’étais dans un jeu... Enfin c’est assez… On sentait la
intégré dans le process musique tout ça... Ça renforçait…
S : Moins de malaise que l’autre expérience où j’ai trop
tourné. Mais là ça va. 034
S : Comme on ne bouge pas ; on n’a pas besoin de
026 bouger. Dans cette pièce, on reste dans la pièce. On ne
J : Comment tu définirais cette présence ? bouge pas.
S : Bah comment dire. C’est très immersif donc on se C’était bizarre quand il y avait la plaque à brûler devant
sent dans la pièce... Mais comme il n’y a pas d’autre sens moi. C’était bizarre. Ça devait être là que... qu’il y avait
que la vue… Enfin… J’avais quand même conscience que autre chose. »
euh… Enfin oui, non, remarque c’est vrai que… Il y avait
aussi le toucher… Je ne saurai pas trop comment
expliquer. J’avais l’impression d’être dans un
environnement complètement différent.
S : Oui désorienté ! On était dans une petite pièce et
quand on enlève le casque c’est une autre pièce plus
grande.
027
S : Le moment où on a brûlé le fil... J’ai eu un petit
moment de euh… comme un instinct de… De danger.
Mais je l’ai pas forcément... C’est réaliste, mais euh.
J : Comment tu définirais cette présence ?
S : Assez claustrophobe… C’est euh…
S : Dans ce jeu la bougie rentre en jeu, il n’y a pas de
manette. C’est réussi. On interagit dans l’environnement
plus que dans un jeu où il y a juste un écran... Euh…
465
aimé quand… euh… le rapport « ça va arriver/ça
LAB’SURD V2, ENREGISTREMENTS arrive »… ça marchait bien.
J : Par exemple ?
S : Je ne sais pas… les murs par exemple, avec le tableau
BPI 2015 de Escher…. Comment petit à petit ça arrive… c’est bien
dosé… ça fait un effet… et puis ça nous enlève le côté
que… euh… on ne peut pas bouger. Et du coup ça bouge
vraiment cette évolution. Donc je trouvais ça bien…
Identification de plusieurs types de présence dans J’ai trouvé qu’il n’y avait pas de rapport entre la boulle
différents environnements virtuels. bleue et la lumière qu’elle faisait.
Transitions, ruptures J : A vous avez vu la boule bleue ?
Brouillage des frontières S : Elle est visible, mais du coup la lumière était pas
Perturbation, déstabilisation bleue donc c’était… euh… et…
Émerveillement, prise de conscience J : Ça pose une question…
Plaisir et consentement S : « Qu’est-ce qui se passe ? D’où ça vient ? »… j’ai bien
aimé ça… puis de pouvoir faire tomber la bille dans
S : Spectateur (questionné) l’escalier d’Escher. C’est-à-dire qu’à un moment… enfin
J : Judith (qui réalise les entretiens) c’est peut-être la même chose pour tout le monde, mais
euh… entre le réel et le virtuel c’est bien fait et à un
moment, et je ne sais pas… tiens je l’ai fait tomber sur la
(Entretiens courts après expérience, inspirés des table est-ce qu’elle peut tomber en bas. Et effectivement
elle tombe en bas… elle se casse… enfin on peut
entretiens d’explicitation) imaginer qu’elle se casse ou qu’elle tombe encore plus
loin.
4 personnes S : À oui et au niveau de la musique je voudrais dire un
truc : c’est bien, c’est assez plein. Ça me fait penser à
David Guetty… dans les graves du piano et tout ça…
C’est agréable.
061 _1
Au début c’est pas joyeux. Ça fait une certaine sérénité…
S : C’était sympa !
et c’est plutôt agréable… t’es dans la vapeur.
J : Vous avez mis le casque et la première chose que
vous avez vue ?
063
S : Et bien la table, on peut attraper le gobelet, et après
S : Ça m’a rappelé le film Inception. On est dans un
je me souviens qu’il y a la balle qui arrive. Qu’on peut
univers où tout se fait autour de nous. On est obligé de
jouer avec la balle avec le gobelet.
regarder, de comprendre ce qui se passe. Que ce soit
J : Vous avez joué avec la balle ?
l’ombre avec les escaliers… Euh… ou même le gobelet en
S : J’essayais de la mettre dans le gobelet, pour jouer
fait. On essaye de jouer avec, d’attraper… c’est pas
avec les ombres et les lumières.
évident en fait, mais on essaye de… euh. À oui et il y a
J : Ok avec les ombres…
aussi sur la table, il y a les miroirs… là… on essaye de
S : Oui ça marche bien !
comprendre, de ramener la boulle pour jouer avec.
S : Après la balle, j’ai laissé la balle sur la côté de la
J : Et vous disiez qu’il y avait des moments imbriqués… ?
table… et puis après c’est vrai… je n’arrêtais pas de
S : Euh oui au début si je me rappelle, il y avait que la
regarder sur le côté pour voir… s’il se passait des
table et je crois la lampe, le gobelet, le miroir en face.
choses. Et après effectivement j’ai vu qu’il y avait des
Et… euh… oui je crois que c’est ça on rentre dedans en
morceaux dans le décor.
fait… c’est qu’à un moment… c’est le même concept que
J : Vous avez vu changer les tableaux ?
quand il y a les escaliers dans tous les sens… etc… après
S : Oui les tableaux… à droite… ça devient la réalité un
c’était un peu plus sombre par contre à la fin. L’univers
peu… ça devient… un paysage… Et à gauche… c’était
est un peu plus sombre que celui… que euh… le tableau.
bien les escaliers… à un moment il y a des étoiles
Et il y a aussi les lumières qui se baladent à un moment
devant… et ça devient des escaliers.
et ça fait un peu… euh jsais pas si c’est moi qui est vu ça
J : Ok, et le début n’était pas trop long ?
où…
S : Non… je ne savais pas trop ce qu’il allait se passer. On
J : Non non, c’est ça…
ne sait pas trop s’il faut interagir avec d’autres choses.
S : Oui… et la musique qui met dans l’ambiance.
Puis moi je ne suis pas habitué, donc… euh… avec le
J : Vous vous n’êtes pas ennuyé ?
gobelet ou… mais avec le gobelet on est tenté d’interagir
S : Non car il y a de quoi… euh…
avec, vu qu’on l’a vu au début aussi.
J : Rien ne vous a sorti de l’expérience ?
J : Ok super. Et il y a d’autres effets que vous avez vus,
S : Non... c’était euh… il y a un fil conducteur en fait !
par exemple sur la table ?
J : C’est ça !
S : À oui, un moment il y a avait comme un trou dans la
S : C’était un choix de faire qu’un seul gobelet ?
table et on voyait comme si on était en haut…
J : C’était un choix au début technologique, dans le choix
J : Et la fin, à un moment ça devient sombre… et
des capteurs.
après… ?
S : Ok en tout cas c’était super !
S : Ah oui ça se couvre et… À oui c’est jolie ça. Mais à la
fin, je me souviens plus très bien… Je sais qu’à un
064
moment je me suis dit « Ah c’est fini… »
S : J’essayais de comprendre… au début je regardais
J : Merci !
juste autour je faisais rien. Je regardais en haut, en bas.
Je repérais un peu la salle où j’étais. Après il y a… je sais
061 _2
plus dans quel ordre. Je sais qu’à un moment il y a une
J : Vous disiez que le premier truc… c’est le miroir qui
lumière bleue, mais tout devant.
était étrange ?
J : Et du coup par rapport au miroir, tu as ressenti quoi ?
S : Bah le miroir c’est l’habitude… mais... on est un peu
comme un vampire… on se voit pas dedans. Moi j’ai bien
466
S : J’ai compris que c’était un… un… en fait c’est parce
qu’avec les ombres du gobelet. À un moment, elles
étaient vachement agrandies… et des fois je me
demandais d’où venait la lumière qui faisait l’ombre
avec le gobelet. Après j’ai bien aimé l’ombre de la lampe
qui passe au-dessus de toi. Franchement ça c’était
bien…
J : Et tu disais à un moment, tu vois la lumière qui
devient bleue…
S : Oui alors, j’ai vu la boule bleue, euh, mais après je
sais pas… non j’ai pas pu l’attraper… je sais plus... parce
qu’en fait il y a eu des boules blanches et des boules
bleues. Je sais que les boules blanches je les ai poussées
de la table. Je les ai fait tomber de la table les deux…
euh…
J : Et après la boule bleue, tu as vu d’autres choses dans
la pièce ?
S : Et après… je sais que je regardais Escher et qu’il ne
bougeait pas. J’ai essayé de mettre le gobelet dans
Escher et je pouvais un peu rentrer, mais tu sais…
enfin… en déplaçant l’ombre sur le tableau et que du
coup, même sur les escaliers ça… oui ça c’était marrant.
Du coup jpense des fois je me suis un peu occupé par là
et peut-être j’ai raté d’autres choses… je sais pas. ..Et
après, je me suis retourné à droite et apres… oui le
tableau de Magritte a changé. Il y a le couloir qui s’est
allongé…. Et euh après… À oui j’ai regardé en bas et je
me suis dit : « oula ! Je pourrais avoir le vertige ». Parce
que je voyais qu’en bas j’étais un peu… euh…
J : Et par rapport à la table tu as vu d’autres trucs ?
S : À oui il y avait un miroir sur la table à un moment. Et
du coup… qu’est ce que je faisais… je plaçais des trucs
dessus. Et euh... je sais plus si les deux miroirs ils
interagissaient ou pas. Je sais que ça faisait comme un…
comme une fenêtre dans la table.
J : Ça t’a paru crédible ce qui se passait dans
l’environnement ?
S : Oui ! Pour moi c’était bien comme un miroir tout
simple… posé sur la table à plat. Et après… euh dans
Escher… euh, mais je sais plus trop comment ça m’est
arrivé dessus Escher… euh… ben je me suis retrouvé
dedans, mais je crois pas… ou je regardais le tableau. Je
sais pas si c’est le tableau qui s’est mis à se rapprocher…
je sais pas. Mais euh…
J : Et ça t’a fait quoi ?
S : Ha bah ça c’était mon moment préféré ! J’ai regardé
en haut, en bas, et j’avais envie de pouvoir aller dedans.
D’aller marcher…
J : Et ce n’était pas trop long ?
S : Non, j’ai pas trouvé ça trop long. On ne s’ennuie pas.
Si on a peur on n’a pas peur trop longtemps et si on
aime bien… peut-être qu’on a envie que ça continue.
Non, mais je pense que les timings c’est pas mal.
467
LA CHAMBRE DE KRISTOFFER, P2_En entrant dans la pièce, tout d’abord la pièce avec le lit
puis l’expérience avec l’oculus.
P3_J'étais tout de suite attirée par la grande chaise et le
QUESTIONNAIRES, bureau, le premier contact a été le geste de s’asseoir qui a
demandé une mise en état d’expérimentation étant géante.
Informations personnelles :
Vous êtes :
Un homme : 2- 66.7 %
469
sur des mécaniques ultras naturelles avec des réflexes
Enregistrements Laval 2015 que quand on était petit. Donc tu te bases vraiment sur
des trucs. Euh... « Je suis obligé de me tourner vers la
porte ». Même si le son était mal localisé. Tu es dans une
chambre. Tu avais identifié qu’il y avait la porte ; du
(Entretiens après expérience, inspirés des entretiens
coup tu vas chercher la porte. Du coup tu peux combler
d’explicitation) les failles du système : même si tu n’es pas capable de
faire un son localisé. Parce que dans la logique c’est un
2 personnes son de porte avec quelqu’un derrière la porte. Tu
cherches la porte.
J : Tu as vu la lumière ?
S : Oui j’ai vu la lumière autour, et tu te dis qu’il y a un
058 truc. Du coup jme suis retourné. La petite porte qui
J : Que s’est-il passé quand tu as mis le casque ? s’ouvre avec le parent suggéré c’est génial, parce que
S : « J’ai mis le casque, j’ai ouvert les yeux. Je me suis vaut mieux montrer un parent suggéré qu’on imagine
retrouvé dans une chambre qui ressemblait à ce que très réaliste, par rapport à un avatar mal animé.
j’avais en vrai. Et effectivement, j’avais plein de repères Euh… Ensuite… Que ce soit progressif c’est génial !
qui étaient identiques. Du coup je ne me suis pas senti Euh… Mais c’est progressif terre à terre ; c’est-à-dire
déboussolé du tout en fait. que tu as des évènements qui sont surréalistes par
J : Identique ? rapport à ce que tu sois dans un salon. Mais du coup j’ai
S : J’ai gardé le même espace dans ma tête. J’ai juste une eu le temps de me projeter dans une chambre. Puis
sensation d’enrichissement. On garde quelque chose de après il y a un parent… Tu sens… Presque ; tu as le
très terre à terre… Du coup on explore la pièce. C’est réflexe de ressentir l’autorité du parent ! … Euh. Oui du
bien qu’on ait le temps de regarder autour de nous, coup on tombe sur les travaux de Stéphane Bouchard
parce que comme ça on a le temps de rentrer dedans. dans le sens où tu as la partie émotionnelle qui réagit à
On ne se fait pas violenter tout de suite par les ça. Comme si tu étais dans le rôle du petit gosse, alors
évènements virtuels. On a l’impression d’être sur du qu’en fait si on te pose la question tu sais très bien que
réel ++. Du coup on a le temps de prendre contact avec tu l’es pas. Voilà... Il y a des petits réflexes qui
les choses. On joue un peu avec... commencent à ressortir un peu. Tu te sens un peu « Ah
J : Ok, c’est en lien avec le réel, mais ça va un peu plus merde je suis pas censé être là aussi tard ! » alors qu’en
loin ? fait... Euh voilà… Tu y es ! Donc ça, c’était cool !
S : C’est ça ! C’est ce que j’aime beaucoup. Voilà. Euh… Euh… Il ferme la porte. Et après je me dis « merde
Tu joues avec la lampe, avec les jeux d’ombres qui sont qu’est-ce qui va se passer ? Pasque là j’ai un peu fait le
réalistes. Donc beaucoup de choses réalistes et de tour de la chambre. Donc du coup je vais chercher un
mécaniques réalistes simples qui font que ton cerveau peu… Et là il commence à se passer des choses un peu
te simule en mode. Euh... Vraiment… Des choses que « chelou »…
t’aurais pu faire dans une vraie pièce. Tu aurais pu faire
J : Ça a commencé quoi ? Le premier truc que tu as
ça dans une vraie pièce, au début. Donc c’est cool parce
repéré ?
que ça permet de prendre contact avec le virtuel en
S : Bah... Les voitures que j’avais vues. Elles étaient dans
l’acceptant. À un moment dedans j’étais vraiment dans
mon champ de vision. C’est bien qu’elles soient dans
la petite pièce. En me disant « A jvais être un petit
mon champ de vision… et j’ai vu les voitures qui
enfant ! ».
tournent et je me suis dit « Oh c’est rigolo ! ».
J : Tu as ressenti comment que tu étais dans la pièce ?
J : Et…
S : Et bien… dans l’alignement où je m’attendais à voir le
S : Je me suis demandé « pourquoi elles bougent ? ». Et
décor de ton stand, je voyais la même chose dans le
du coup jme dis : « bon bah le petit gosse »… Au début je
virtuel. La même chambre on va dire. J’aurais presque
me suis dit : « c’est téléguidé ! ». Mais non ce n’est pas
eu l’hésitation de me dire : « est-ce que je ne vois pas le
téléguidé parce que c’est moi le gosse et je ne fais rien !
truc du stand et qu’autour il y a du virtuel ». Comme du
Donc en fait elles bougent parce que je dois imaginer
virtuel augmenté quoi… Il y a un moment où ton
qu’elles bougent en fait… Parce qu’il est tard. On vient
cerveau mélange un peu les deux. C’est cool tu fais
de me dire justement que j’aurais dû aller me coucher.
vraiment des liens. Un peu comme si tu avais une
Donc c’est le gosse qui commence à halluciner ! Moi
galaxie pour te repérer dans l’espace. Un pôle Nord… et
j’avais beaucoup ça quand j’étais petit en fait.
etc… Et bien là tu sais qu’il y a la lampe avec les boules
J : Vraiment tu t’es projeté dans l’imaginaire du gamin,
qui est très facilement repérable. Je pense que c’est
en disant « c’est moi qui imagine que ça bouge »
important aussi, que quand tu fais la queue, comme
S : Ce qui m’a beaucoup touché c’est que je ne sais pas si
dans beaucoup d’attractions (cf. Papier de Mike Mines) ;
tout le monde était comme ça quand il était petit, mais
et bien tu prends contact avec l’univers. Tu relâches un
moi j’ouvrais grand les yeux dans le noir et du coup tu
peu… Voilà. Et là effectivement comme tu t’ennuies un
vois très légèrement ta chambre et j’imaginais que des
peu à certains moments dans la queue, je regardais les
choses se déforment et je les voyais vraiment se
petits jouets, ça m’amusait. Ça m’a donné le temps de
déformer !
me rendre compte que quand je retombe dans le virtuel
J : Ah donc en fait tu retrouvais ce souvenir ?
et bien « Oh ça, ça y était ; ça, ça y était ! » je ne m’en
S : Oui je l’ai retrouvé dans le virtuel. Quand j’étais petit,
serais pas souvenu si j’étais arrivé tout de suite sur
c’est seulement certains soirs où je regardais et
l’application. Limite si tu as des personnes, tu devrais
vraiment j’avais la sensation qu’au bout d’un moment…
les faire attendre deux minutes avec une excuse. Parce
Presque que je ferme les yeux pour les rouvrir, pour me
que du coup, comme tu t’ennuies, tu remarques les
dire... Non... Non... Ça a pas bougé ! Pour me convaincre.
lampes en haut. Tu remarques les machins… et ça fait
Je jouais à ça quand j’étais petit… et là je l’ai retrouvé !
des repères.
Et là j’étais « Wouahhh c’est cool ! ».
J : Ok et après, il y a eu d’autres trucs qui t’ont…
Bon là c’était que le début. Après une fois qu’on y est, le
(6.25 min)
fait d’avoir des évènements légers qui attirent
l’attention, avec la direction du son, genre la porte. T’es
470
S : Jme suis dit est-ce que ça s’arrête là. Donc je vraiment plus dans le rêve. Bah je n’ai pas trouvé que
commence à surveiller partout. Là il commence à avoir c’était du rêve au début ; les voitures qui bougent… Pour
les avions ; la musique qui se lance. Là je vois les avions moi c’était juste : il joue un petit peu avec parce qu’il est
et c’est super fascinant parce que tu les suis du regard tard, tout ça… Et là ça y est, on commence clairement à
et tu te dis : « où est-ce qu’ils vont ? » et tu sens que tu être conscient… À être dans le sommeil quoi. Et là je fais
pars. Cette sensation de partir ! La musique qui joue « Oh c’est génial et tout ! » Les nébuleuses autour et tout
beaucoup, je pense. Tu te sens partir et tu te dis « mais ça, ça, c’était super beau ! Avec la musique. D’ailleurs
je ne sais pas où on va aller ». « Qu’est-ce qui va se j’aurais préféré que la musique du début s’efface plus
passer de… » Voilà ! vite. À un moment il y a les deux et on est clairement
J : L’avion tu l’as suivi où ? dans le rêve. Et ça faisait un rappel… Un peu trop… Au
S : J’ai suivi le premier avion à droite. J’ai suivi sa réel.
trajectoire jusqu’à à peu près le lit. Et « ah, mais l’autre J : Ok. Alors si j’essaye de résumer. Tu dis au départ c’est
avion il bouge aussi ! » puis après jfais « Ah, mais les comme un peu une simulation du réel. Avec des petites
lumières elles sont décollées aussi ! ». « C’est comme des imaginations de pensée, avec les voitures tout ça et
planètes, c’est rigolo ! ». Puis après il y a la planète qui après : je rentre dans le rêve et je m’endors ?
décroche aussi. Puis je me suis dit « Ah, mais attends ça S : Oui c’est ça. Une double transition
s’est assombri là ? » J’ai beaucoup, beaucoup aimé le J : De plusieurs présences ?
papier peint où il reste des motifs du papier peint qui S : Du réel au virtuel réaliste, au virtuel fantaisiste. Et…
reste en l’air, alors que le papier peint reste transparent. C’est marrant hier j’ai dit une phrase à un journaliste :
Je regarde en l’air aussi. Et je vois beaucoup de choses « les gens qui jouent au jeu vidéo et qui sont habitués à
qui volent autour de moi. Je me dis « attends, j’ai pas être dans le virtuel, mais qui ne mettent pas de casque
regardé au plafond ; il y a peut-être des choses à voir de réalité virtuelle et veulent en faire, se trompent en
aussi. Je regarde et je commence à voir un peu les grande partie, car ils veulent faire d’abord du virtuel où
étoiles au travers le plafond et je fais « Ah ouais ! Et ah tu tournes la tête dans tous les sens (fps et tout) et ils
non, mais c’est les murs aussi ». Et du coup je commence veulent mettre ça dans quelque chose de plus réaliste…
à voir les étoiles à travers. Ils y a des étoiles au loin qui Parce que du coup tu as l’impression d’y être. Mais ça ne
bougent un tout petit peu donc ça c’est génial parce que marche pas. Il faudrait qu’ils comprennent que la réalité
ça à l’air vivant ce qui se passe autour de toi. Juste les virtuelle c’est d’abord de la réalité… Synthétique.
petits points lumineux. J : Où tu vis une expérience.
J : vivant ? S : Synthétique, mais une réalité avant tout ! Et comme
S : Ouais vivant ! Au sens… Euh. Je m’attendais à être la réalité, elle est tout aussi limitée sur certains aspects
peut être un peu au-dessus, d’avoir un papier peint de que la vraie réalité. Comme les fps où on tourne la tête
l’espace autour de moi, alors que là il y avait des petits dans tous les sens. Si on le fait dans la vraie vie, qu’est-
points lumineux qui bougeaient. Là, ça faisait vraiment ce que ça fait ? Dis-moi si t’as pas la nausée ou quoi à ce
l’espace comme on voit dans tous les trucs de science- moment aussi.
fiction : un peu vivant, un peu qui bouge… là c’est beau ! Et là c’est ce que tu fais finalement. C’est que tu fais en
Et puis tout qui commence à s’effacer. Du coup moi je fait, que c’est une réalité d’abord, et après cette réalité,
m’amuse avec la lampe de poche à la caler devant la comme c’est virtuel tu as la liberté de la faire dévier
table. Et je voulais la poser sur la table pour cacher le dans quelque chose de virtuel euh…
filet de lumière. Mais le capteur empêchait. Je voulais J : Exactement !
faire ça en réflexe pour cacher la lumière. Ça ne S : Comme tu as ancré dans quelque chose d’admis dans
marchait pas. Du coup je la tenais comme ça. Parce le réel. Du coup par-dessus, tu peux mettre une
qu’elle me gênait à ce moment-là. C’est rigolo, j’avais surcouche.
envie de devancer le gosse. De devancer les illusions du
gosse en étant plus rapidement dans l’espace parce que […]
je ne savais pas qu’on allait y venir en fait. Du coup je
voulais y arriver et du coup moi ça m’a gêné de voir les S : il faut dépasser le jugement. Si tu les amènes d’un
meubles que je voulais cacher. coup dedans, ils sont dans le jugement. Alors que si tu
J : Tu essayais de contrôler dans ton imaginaire en fait ? les amènes progressivement. Comme là ça m’a ramené
S : Ouais. Comme quand j’étais petit. Et du coup j’ai pu dans un imaginaire où j’étais petit. Et du coup j’ai voulu
parce que quand je mettais la lampe comme ça. Tous les jouer avec. J’ai voulu rentrer dedans. Ça m’a donné
meubles en contre-jour je les voyais plus. Il faisait tout l’envie de rentrer dedans. Plus que quand je suis rentré
noir donc je voyais plutôt l’espace. Et des fois je au tout début. C’est quelque chose qui m’a interpellé. Du
ressortais la lampe et je ré éclairais les meubles en coup j’ai voulu encore plus jouer. J’ai encore plus oublié.
disant « C’est bon la chambre elle est toujours là ? À Je n’étais plus du tout dans le jugement. J’étais dans le
ouais ! Mais l’espace ! À, mais elle est toujours là, mais plaisir d’accepter l’illusion.
l’espace ! » Et à un moment ça n’a pas marché. « Mais ils
ont bougé les meubles ? » Je trouvais ça génial parce que
je commençais à flotter et là tu ressens vraiment 060
quelque chose de ce flottement à partir du moment où J : Donc pour reprendre : au tout début tu mets le
les meubles se décrochent… casque…
J : Tu as ressenti quoi là ? S : Au tout début, donc je ne savais pas du tout ce qui
S : Bah on est parti là ! Et là je me suis dit ça va finir en allait se passer. Je regarde autour donc forcément c’est...
fade out noir parce que bon ben ça y est on s’endort là ! On m’a dit d’explorer alors je regarde… Et enfin il se
Là je suis clairement en train de m’endormir là ! Je suis passe quelque chose… Parce qu’au début on s’ennuie un
plus dans l’hallucination de la chambre. peu peut-être.
J : Dans le rêve ? J : Dans la chambre ?
S : C’est un peu que tu joues avec ta perception… S : Oui on voit la chambre... Kristoffer… Et il y a le
Machin… Puis au fil de ce jeu de perception dans le noir. dessin, je n’avais pas compris l’intérêt du dessin. Il est
Ben tu te reposes et tu t’endors. Et du coup là je fais : au mur et je le vois.
« Ah là on commence à vraiment partir ! ». On est J : Le vrai ?
471
S : Oui on voit le vrai dessin et il y est aussi. Et la porte J : A oui le soleil… Tu as vu le soleil...
aussi qui m’a pas mal marquée aussi. C’est un élément S : Bah j’ai vu les planètes tout ça…
que je trouve important dans la scène. Il y a des choses J : Et après quand tu es revenue… c’est devenu tout
écrites dessus. C’est quelque chose auxquels on se noir… Et que tu as enlevé le casque… Par rapport au
raccroche... décor de la chambre… Quelque chose t’as...
J : Ok, donc tu explores… Tu t’ennuies un peu… S : Non je n’ai pas eu de réactions particulières.
S : Ouais… J’explore… J’ai essayé de regarder derrière J : Le retour n’était pas trop violent ?
aussi. J’ai vu le lit et puis donc… La porte s’ouvre. Enfin S : Si, le retour était violent. Je serais bien resté quelques
il y a du bruit, il y a du bruit... C’est d’ailleurs un minutes de plus.
morceau que j’aime beaucoup. Et là tu te dis « j’entre J : Où ça ? Dans l’univers ?
dans la véritable expérience ». Au début tu es dans S : Ouais dans l’univers.
l’initiation. J : Je me demandais pour une autre version, si ce ne
J : Avec la porte ? serait pas bien de revenir dans la chambre d’enfant avec
S : Quand on entend un bruit on se dit « ça y est, il se le noir…
passe quelque chose ! » l’initiation est finie. On… Tu as S : Je ne sais pas trop, en effet, je saurais ne pas choisir…
compris que tu peux explorer. Et maintenant on va te On se sent inexplicablement bien dans l’univers ; on est
faire faire quelque chose qui reste dans l’exploration calme.
tout en étant actif parce qu’autant la chambre on la voit J : Une sensation d’espace ?...
une fois, elle est fixe. Elle ne bouge pas. Elle est statique. S : Oui c’est ça ! Une sensation d’espace… Je me sentais
Et à partir du moment où la porte s’ouvre, tout se met à pas du tout oppressé… Mais vraiment « enfin je vole ! »
bouger. Donc il y a plein de choses à découvrir partout ! Et... euh. Je ne sais pas pour le retour, effectivement, j’ai
C’est-à-dire on voit les petites voitures qui bougent. trouvé violent le retour, mais après comment faire un
J : comment tu es arrivé à voir les petites voitures ? Tu retour... Peut-être revenir dans la pièce qui est
regardais la porte et… modélisée en réel oui…
S : Je me baladais... je sais pas… j’ai eu l’œil attiré en
gros… peut-être le faisceau de lumière qui est arrivé
dessus et « Oh ça bouge ! »... et voilà… et tu te dis « ça y
est ! » tout ce qui était statique autour de toi peut
bouger ! Et du coup c’est le jeu ! C’est là où ça devient Carnet d’Or Laval 2015
vraiment interactif parce qu’il faut que tu trouves tout là
où ça bouge.
J : Si ça bouge, tout peut arriver ?
Journées professionnelles
S : C’est ça ! S’il y a quelque chose qui bouge là, ça peut
bouger ailleurs.
_« L’animation des objets, subtile au début puis
J : Et après... Tu as exploré…
spectaculaire à la fin laisse une touche onirique à
S : Oui... Enfin il y avait pas de temps mou… Il n’y avait
l’expérience. »
pas tellement à explorer puisqu’au final tout bouge
_« Bravo pour cette réalisation ! On entre dans l’univers
effectivement…
de Kristoffer progressivement et le rendu et top. Bonne
J : Tu as vu quoi après les voitures ?
continuation ! »
S : Après, je suis allé me balader sur le lit… Il y avait pas
_« Merci pour cette expérience, progressivement, je
grand-chose. Après je suis revenu et j’ai vu l’avion.
perçois des mouvements, quelque chose de l’univers,
J : Tu as vu l’avion… Celui qui était...
avec l’impression de flotter, mais aussi d’être détendu.
S : Sur le meuble. Enfin celui qui s’envole. Pas l’orange,
Moment très agréable. »
l’autre. Après j’ai vu l’orange. Et après j’ai vu... Un truc
_« Superbe travail, tout ce que j’attends d’une belle
qui m’a marché aussi, parce que j’ai trouvé ça très
expérience de réalité virtuelle. La magie est présente ! »
poétique… C’est le moment où la porte s’ouvre, mais,
_« Je ne me suis pas rendu compte réellement du
euh... Pas quand elle s’ouvre, mais quand elle se sépare
moment où tout a basculé »
et qu’il y a une ouverture sur l’espace. J’ai trouvé ça…
_« Très belle émotion lors du voyage dans les étoiles :
Enfin graphiquement c’est beau ! C’est juste beau...
« en présence du créateur » »
C’est... J’étais un peu en mode émerveillement quoi.
_« Expérience totalement nouvelle. Merci ! La première
Enfin voilà... Et là la chambre s’efface intégralement
fois que je peux contrôler un rêve et le vivre en temps
dans l’espace.
réel. Bravo et bonne continuation »
J : Ok
_« Une sensation unique et extraordinaire. Une
S : C’est une expérience très contemplative. Mais moi
expérience pour les petits et les grands. Du rêve à la
j’apprécie ce genre d’expérience. J’ai juste trouvé ça
réalité… »
beau quoi.
_« Wow, une expérience bluffante qui nous replonge
J : Et après tu t’es laissé…
(enfin !) dans cette enfance qu’on a laissée derrière
S : Voilà après... Et puis il y a un moment où on lâche la
nous. L’immersion est presque totale et les émotions
lampe de poche, c’est peut-être le moment où on se
très présentes. Plus qu’à finir avec Toy Story dans le
laisse vraiment emporter.
train du retour… »
J : Tu as lâché la lampe de poche ?
_« Beau et poétique, une réussite »
S : Oui, enfin… Parce qu’à un moment la lampe de poche
_« Super immersion ! graphisme impressionnant ! Une
ne sert plus à rien. Tout ce qu’elle éclaire c’est la table.
vraie plongée dans l’espace ! Je rêve de l’avoir dans mon
On s’en fout… et pourtant c’est les deux éléments réels
salon ! »
qu’on a… mais la table on l’oublie, on s’en fout, on l’a
_« It’s very fantastic experience ! Perfect Job »
déjà vu. Et la lampe de poche on l’a posé, parce qu’il se
_ « Félicitation, j’ai vécu un moment merveilleux »
passe est suffisamment lumineux. Et puis… T’as pas
_« Bravo ! Magnifique ! Sensation d’évasion et de
besoin de lampe de poche !
liberté ! Merci »
J : Et tout est parti…
_« Très belle réalisation. La correspondance de
S : Enfin j’ai lâché la lampe bien après… J’étais à côté
l’environnement virtuelle avec le réel est bluffante. On
d’un soleil… Voilà quoi.
découvre en fait cet environnement d’abord
472
virtuellement et on retrouve ses repères dans le réel _« Une expérience magnifique. Un univers onirique dans
une fois le casque enlevé comme si on y avait été depuis lequel nous sommes plongés par colocalisation réelle
longtemps » virtuelle réussit. L’accompagnement dans le virtuel par
les décors réels est génial. «
_« Très belle expérience onirique. Je suis retombée en _« Merveilleuse réalisation, délicate et poétique. Une
enfance l’espace de quelques minutes. On en veut expérience magique ! »
plus ! »
_« Fantastique ! L’émotion… L’émotion est exactement _« Superbe réalisation, immersive, poétique, sensible !
ce qui manque pour gommer la frontière entre le réel et Merci c’était magique !!! »
le virtuel. J’utilise des dispositifs de réalité virtuelle _« Bluffant et super immersif ! On retombe en
depuis 5 ans et je développe aussi du contenu. Je peux enfance ! »
dire que cette expérience est inoubliable. Merci. » _« Bluffant !! On atterrit dans un Nouveau Monde… On
_« Une expérience très agréable et surprenante pour crève d’envie d’interagir avec cet univers ! Bravo »
passer de la réalité aux rêves. » _« C’est top. Belle immersion… Beau graphisme. Temps
_« Très belle réalisation, malgré la peur du vide à la de scénarisation parfait. Se laisser porter par
fin. » l’environnement qui s’anime est très agréable. »
_« The decoration of the room made me easier to get _« Très belle expérience. Poétique, immersif et un
into the virtual world, and morphing to Kristoffer’s tantinet mélancolique. Jolie. »
imagination was very nice. Starting from plane and the _« J’ai vraiment beaucoup aimé la manière dont la
walls and floor to disappear. I really like the idea of transition vers le rêve est effectuée ! Je pense que ça
using a light, which makes me to explore and involved apporte beaucoup, ça nous implique plus dans cet
in the environment” univers (malgré le manque d’interaction). J’ai été bluffée
_“Une expérience onirique sur le rêve d’un enfant. Un par l’impact du jeu d’ombre et de lumière dans la
grand moment de poésie dans cette chambre d’enfant. découverte de l’univers, j’ai le sentiment que ça nous
Une réelle immersion. Chapeau ! » permet de nous l’approprier. Vraiment très beau et très
_« Un expérience qui nous permet de nous sentir sous la prenant ! »
protection de notre père et même de défier son autorité _« Psychédélique ! Notion de vertige + Immensité ! Beau
en veillant plus tard et en continuant à jouer dans le travail ! »
noir et rêver avant de nous endormir » _« Très impressionnant, la sensation du vide sont
_« Hyper-Extra-Génial ! Bravo ! C’est époustouflant ! retrouvées, très beau concept. Félicitation ! »
Beau mélange de créativité, d’immersion, de distraction
où on se sent présent dans le monde physique d’un
enfant, puis dans le monde onirique de l’enfant, puis Journée grand public
dans notre propre monde imaginaire. L’esprit glisse
d’une attraction visuelle à l’autre. J’y resterai des _« Retour en enfance, et dans le monde des rêves.
heures ! » Merci »
_« Super expérience ! L’ouverture de la chambre sur _« Le plus beau rêve à ce jour… »
l’univers spatial avec ses volutes colorées qui bougent _« Très poétique ! On rêve, on visite l’espace. C’est beau.
avec le casque, c’était intense et très poétique à la fois. Merci ! »
Bravo ! » _« Moment agréable, voyage reposant de notre enfance.
_« La plus belle expérience d’immersion que j’ai vue » Sensation de vide, dans l’espace… pas peur… Bonne
_« Un vrai trip vraiment cool, j’ai beaucoup aimé : peut continuation dans vos projets. »
être mise en place un peu lente et absence de son des _« Une sensation inexplicable. Je me suis sentie partir
objets » pendant ces quelques instants, je n’étais plus sur terre.
_« Un bien beau voyage dans les sensations de la petite Merci pour ce voyage. »
enfance… Bravo pour cette immersion et tous les _« Très poétique et vraiment magique !!! »
sentiments que vous faites rejaillir. J’ai beaucoup _« C’est magnifique, magique, irréel et féerique. Bravo !
aimé ! » vive le virtuel ! »
_« Super transition entre la chambre calme et _« Quel beau rêve ! J’ai été transporté. Merci pour cette
réconfortante et l’espace qui est, pour moi qui ai le magie. Je recommande vivement de venir découvrir la
vertige, beaucoup plus déconcertant. Super chambre de Kristoffer ! Merci encore ! »
expérience ! » _« J’ai bien aimé, un moment le sol se soulève, on est
_« Je n’ai pas vu la lampe en m’installant. C’était une dans l’espace ».
bonne surprise de la toucher virtuellement ». _« Très immersif, plein de couleurs, d’émotion et
_« À faire absolument, expérience incroyable ! On se d’imaginaire. On est tellement captivé, pendant la
croit dans un autre monde, magique ! » transition chambre-espace, par les avions qui
_« Super cool ! J’adore l’impression cosmique qui arrive virevoltent autour de nous, les planètes, une douce
par surprise, et Jupiter qui s’élargit, heureusement, pas transition du noir de la chambre à l’espace. »
comme dans Melancholia ! » _« J’ai été surprise par le fait que la chambre change de
_« Belle application, immersion totale, l’impression décors. C’est vraiment génial ! »
d’être dans la tête d’un enfant plein d’imagination, de _« C’est surprenant, tout est statique et d’un seul coup
curiosité, le passage de la réalité au rêve est naturelle » tout bouge ! Sympa !»
473
DEUX PROJETS EN LIEN AVEC MON PROCESSUS DE
RECHERCHE-CREATION : KANT ET CIGALE
J’ai présenté plusieurs installations crées lors de ce doctorat. Certaines font parties de projets plus
conséquents pour lesquels j’ai également eu un rôle important dans la conception et la dynamique :
un projet interdisciplinaire (CIGALE) et un projet transmédia (KANT).
J’ai montré tout au long de ce mémoire, entre théorie et pratique, comment la méthode de la
complexité d’Edgard Morin, me permet d’alimenter ma soif de création et de découverte autour des
IRV. Je voudrais donc ici, montrer comment j’ai pu transposer ma méthodologie de recherche-
création inspirée de la complexité dans deux projets : comment cette méthode me permet de mettre
en œuvre des projets réunissant plusieurs personnes, équipes, disciplines, créations artistiques, etc.
J’ai conçu le projet transmédia Kant 648 suite à une rencontre avec Émilie Anna Maillet de la
Compagnie Ex Voto à la Lune. Rappelons (déjà expliqué dans la description de l’installation la
Chambre de Kristoffer cf. Partie II.Chapitre 1.B.3.3), qu’elle voulait mettre en scène le texte « Kant »
de Jon Fosse qui raconte l’histoire d’un enfant de huit ans, Kristoffer, qui avant de dormir se pose
des questions sur son existence et sur l’univers qui l’entoure. Elle désirait ainsi créer une pièce
jeune public, afin de questionner les doutes existentiels soulevés par l’enfant. « Si l’univers a une fin,
il y a peut-être un géant qui vit derrière… et si on existait que dans le rêve du géant ?… et si le géant se
réveille ? » 649. Pour cela, elle avait l’idée d’utiliser des procédés de Magie Nouvelle (avec notamment
la technique du Pepper’s ghost) afin de jouer sur les sensations et d’hybrider les visions imaginaires
de l’enfant et la réalité.
Par mes recherches-créations, je voulais continuer l’exploration d’installations de réalité virtuelle
qui joue sur l’indiscernabilité entre le réel et le virtuel. Le contexte (chambre d’enfant) et la
narration du texte de Jon Fosse, se prêtaient parfaitement à un dispositif que je voulais encore
explorer : celui réalisé pour VRLux (cf. Chapitre 1.B.3.1) et Lab’Surd (cf. Partie II.Chapitre 1.B.3.2), qui
comprend un décor réel et un décor virtuel semblables (dont principalement une table, une chaise
et un objet réel/virtuel). De plus, j’interrogeais également le doute de la perception par ces
installations (notamment par cette indiscernabilité entre le réel et le virtuel provoqué par ce décor
identique), et je cherchais un autre contexte afin d’essayer d’emporter le spectateur encore « plus
loin » (dans la plongée du monde virtuel) par illusions entre le réel et le virtuel. Le texte de « Kant »
par ses passages entre la réalité et l’imaginaire/rêve de l’enfant m’est apparu parfait pour imaginer
une autre installation artistique d’IRV.
647 Page de la création en ligne [En ligne, Consulté le 16-09-2015, URL : https://judartvr.wordpress.com/portfolio/projet-
transmedia/ ].
648 Soutenue par l’aide d’Arcadi Ile de France/dispositif d’accompagnements, l’aide au développement et à la création
Dicréam, le CDA d’Enghien les Bains, la scène nationale de Belfort et L-EST/Laboratoire Européen Spectacle vivant et
Transmédia. La création est prévue en décembre 2015.
649 J. Fosse, Kant, Arche, 2009.
Enfin, par mon processus de recherche-création s’inspirant de la méthodologie complexe, je
cherche souvent la manière de faire des liens entre des éléments différents. La découverte du
« transmédia », dans la thèse de Karleen Groupierre 650 (de mon équipe de recherche INREV, Paris
8), m’a ouvert de nombreuses possibilités de création.
K. Groupierre définit le transmédia comme une sous-catégorie du cross-média (diffusion
coordonnée de différents médias autour d’un univers « imaginaire global et cohérent ») :
M’inspirant de cette définition, j’ai proposé d’associer à la pièce de théâtre, où l’acteur est sur scène
et joue l’enfant, deux autres visions de ce texte par deux installations numériques : l’installation de
réalité virtuelle (La chambre de Kristoffer) et une installation numérique (Le labyrinthe
cosmologique). Dans ce contexte, ce n’est pas la narration du texte de « Kant » qui est déployée sur
plusieurs supports et enrichie, mais le vécu de l’expérience du spectateur. Ainsi, j’ai proposé de
créer un transmédia qui étend la narration du point de vue de la sensation ressentie par le
spectateur : une narration sensitive éclatée sur différents médias.
Nous avons ainsi choisi de travailler sur les sensations afin de troubler les perceptions, et
provoquer des doutes. Nous développons un travail sur trois créations comme un parcours
initiatique où chaque média crée sa propre relation avec le spectateur, travaillant sur différentes
immersions et interactions. La narration sensitive éclatée sur ces différents médias, va emmener le
spectateur dans sa propre narration et vers ses vertiges face à l’immensité de l’univers.
Cette forme particulière du transmédia, nous permet d’enrichir l’expérience du public en lui offrant
la possibilité de ressentir au fil de son parcours, et donc à différents moments et lieux (de manière
collective ou individuelle), ces questionnements de doute. C’est dans une liberté de cheminement
entre ces trois médias qu’il peut interroger, s’interroger, ressentir, explorer par des expériences
multi-sensorielles entre réel et virtuel : entre ses sensations de la vie réelle (souvenirs, etc.) et la
narration fictionnelle. L’univers narratif est amplifié dans l’espace et dans le temps, avec des
extensions sensitives. Les installations permettent d’enrichir ces sensations et questionnements
dans d’autres contextes et dans la réalité de l’espace public. C’est ainsi par choix, que le spectateur
pourra avant ou après le spectacle vivre des types d’expériences qui brouillent les limites entre son
réel et le virtuel en rendant ainsi la fiction plus présente.
Description de la dynamique Transmédia
Je me suis inspirée de la typologie de transmédia de K. Groupierre, afin de caractériser notre projet
de « transmédia à média-maître inaltérable ».
650 K. Groupierre, Enjeux des transmédias de fiction en terme de création et de réception. Thèse, Esthétique, Science et
Technologie des Arts, Université Paris 8, dir. Marie-Hélène Tramus, 2013.
651 Traduction par K. Groupierre de : Henry Jenkins, Convergence Culture : Where Old and New Media Collide (NYU Press,
2006). Extrait pages 95.
652 Ibid., p. 15.
475
« Dans cette forme de transmédia, les liens narratifs inter-médias ne se font que dans un sens : du
média maître vers les médias secondaires. » 653 Le média maître ne peut être modifié et influence les
médias secondaires.
« Un média porte la trame narrative principale, les autres approfondissent l’histoire » 654
Dans notre projet, la pièce de théâtre est le média-maître principal, car il comprend le texte de la
pièce au complet. Les deux autres installations sont des variantes du vécu narratif proposé par cette
pièce, ce sont les médias secondaires qui accompagnent la pièce. (Cependant, au niveau de la
création, la pièce et les installations ont été réalisées en même temps, afin de créer une cohérence
esthétique et narrative).
Les trois médias peuvent être présentés indépendamment, mais sont en résonnance. Et leur
association permet d’enrichir et de compléter la narration par différentes sensations et
expériences.
« La pièce de théâtre “Kant” aborde les peurs d’un garçon face à l’immensité et au vertige que celle-
ci provoque. L’enfant se questionne sur l’univers, l’infini, et la véracité de l’existence. Ces sensations
philosophiques paraissent comme un gouffre abstrait, qui pousse le garçon à chercher le réel dans
la matière, son père, l’échange… Mêlant astronomie, cosmologie, rêves, et cauchemars, le texte de
Jon Fosse aborde dans une grande simplicité, des questions philosophiques. Ces thèmes dans
l’univers de l’enfance permettent une grande fantaisie poétique, sensitive et visuelle, s’inspirant de
la cosmologie, des mathématiques, des symboles et de l’inconscient collectif. Nous allons perturber
et mettre en doute ce que le spectateur voit en ajoutant des éléments virtuels (vidéos et
hologrammes), croisés avec de la manipulation d’objets réels et des principes de magie, pour
modifier le réel dans le réel.
Réalité modifiée & univers immersif en 3 D
Un dispositif de Pepper’s ghost de Magie Nouvelle et la création de vidéos 3D vont développer les
troubles optiques, et plonger les spectateurs dans une réalité modifiée, dans un univers
métaphorique, immersif et pictural. Les éléments réels vont être mis en doute par des procédés de
magie, apparitions, manipulation d’objets réels, et vont être croisé et interagir avec des images
vidéo, du mapping, ou ces sortes d’hologrammes.
Le doute du réel : Éléments réels croisés avec le virtuel
Nous allons induire les proportions d’un enfant par le lit un peu trop grand. Une lumière de chevet
en forme de globe terrestre permet à Mickey en hologramme, de la parcourir. Des ballons et des
dessins deviennent des supports mobiles de projection grâce à des pico- projecteurs. L’acteur en
476
“incrustation” dans les dessins, passe d’une feuille à l’autre… Couvertures, draps, papiers
deviennent l’univers chiffonné. Les vidéos 3D hologrammiques peuvent être doublement projetées,
créant un resserrement d’image et une sensation de vertige, ou, dans un mouvement inverse, un
éclatement de l’univers. Le décor réel et léger et les images vidéo peuvent s’envoler comme un
courant d’air. » 655
L’installation, La chambre de Kristoffer 656, permet de donner une autre vision de la pièce « Kant » :
lors de la pièce, les spectateurs sont face à la scène. C’est une expérience collective dans laquelle ils
n’ont pas d’action dans le déroulé de la narration. Ils voient cet enfant, qui raconte et vit ses
interrogations à propos de l’univers et de son existence.
À l'inverse, l’installation est une expérience individuelle au casque de réalité virtuelle, qui
propose au spectateur de se placer dans la « peau » de cet enfant et de se retrouver dans sa
chambre. Les transformations du monde virtuel permettent d’emporter le spectateur dans les
doutes et imaginaires de Kristoffer. Chaque spectateur peut ainsi imaginer grâce à son immersion
et son interaction dans cet environnement, son propre voyage à travers ces moments de doutes et
d’interrogations existentielles.
Cette deuxième installation complémentaire est un parcours de QRCodes au sein même de l’espace
public (Hall, toilette, sortie, etc.).
Ces « carrés noirs sur fond blanc » sont placés un peu partout sans que leur sens ne soit
immédiatement accessible : par l’intermédiaire de Smartphones ou tablettes, le public est incité, s’il
le désire à les scanner afin d’en voir la référence qui peut alors prendre des formes diverses (les
655 D’après le site de la compagnie Ex Voto à la lune [En ligne, consulté le 20-09-2015. URL :
http://www.exvotoalalune.com/creations/kant/ ].
656 Cf. Partie II.Chapitre 1.B.3.3
477
textes, images, etc.). Le spectateur doit faire l’effort d’aller vers ces endroits du parcours, et de
chercher l’information, et surtout de la rendre visible. Par cette méthode, chacun peut en faire sa
propre expérience : passer sans révéler l’invisible, découvrir, révéler et s’attarder. Quoi qu’il en soit,
chacun en aura sa propre interprétation.
Ce labyrinthe permet aux spectateurs de découvrir ou non, au fil de son cheminement, au hasard de
ces pas, des documents sur la cosmogonie, cosmologie, philosophie, etc. Une proposition de lecture
prenant par surprise le public, parcours de rêves et de métaphores de nos origines.
Cependant, ces différences, permettent de créer des ponts entre les pratiques dans la conception et
la création : par exemple, le graphisme 3D utilisé pour la création du monde virtuel dans
l’installation La Chambre de Kristoffer dans le logiciel Unity 3D, est capturé dans ce logiciel et sert
pour la conception de la pièce de théâtre (les vidéos sont placées dans le logiciel Isadora qui permet
de les projeter pendant le temps du spectacle sur le Pepper’s ghost).
De plus, cette diversité apporte de la richesse pour l’expérience du spectateur, qui peut cheminer
d’une expérience à l’autre. Il peut choisir de ne pas voir les trois propositions. Il peut également les
voir dans le temps qui est le sien : voir la pièce un jour et revenir une autre fois dans le lieu du
théâtre vivre les installations. Cette liberté permet d’éclater la narration dans différents temps et
lieux, créant un espace de fiction plus grand, riche et proche du réel quotidien du spectateur qui
s’approprie son passage dans l’atmosphère de « Kant ».
Enfin, l’expérience de la conception d’un projet transmédia, m’a permis d’essayer une autre
dynamique de liens, qui se déroule entre des disciplines artistiques différentes : ce côté
transdisciplinaire qui incite à faire appel à de nombreux spécialistes, conduits naturellement à un
modèle de co-création et d’échanges permettant une richesse dans l’exploration de la création.
478
CIGALE : UN PROJET TRANSDISCIPLINAIRE
Le projet CIGALE 658 (Capture et Interaction avec des Gestes Artistiques, Langagiers et Expressifs)
soutenue par le Labex ARTS-H2H 659 est fortement ancré au sein des axes Technologies et
Hybridations. Il propose de créer un dispositif artistique mettant en œuvre une interaction
gestuelle entre un humain et un acteur virtuel, questionnant une hybridation humaine et virtuelle,
et expérimentant le passage entre l’expressivité et le sens, ainsi que leurs frontières.
Quatre bases de données gestuelles complémentaires — plutôt symbolique dans le cadre de la
gestualité coverbale, plutôt poétique en LSF (Langue des Signes Française), et plus artistiques,
produites par un mime et par un chef de chœur — dont chaque mouvement a été capté (Mocap) et
dont la signification ou l’expressivité ont été analysées, constitue le substrat d’une génération de
gestes virtuels (algorithme génétique).
Ces gestes capturés et générés, incorporés par un acteur virtuel, forment la base d’une interaction
non verbale avec l’acteur réel. Véritable plate-forme d’explorations et de recherches, le dispositif
créé est le lieu d’expérimentations tant linguistiques qu’artistiques, complémentaires et donc
transdisciplinaires.
En effet, ce projet regroupe huit partenaires aussi bien scientifiques, artistiques qu’industriels 660.
Ce projet fut initié en 2012 et a reçu deux aides suite aux appels à projets du Labex ARTS-H2H. Il
s’est construit de la rencontre de ces divers partenaires. Nous avons réalisé de nombreuses
réunions, journées d’étude et expérimentations afin de croiser nos savoirs créant une dynamique
particulière de recherche et de productions (aussi bien artistiques que scientifiques et
technologiques).
Jean-François JEGO, Dominique BOUTET, Coralie VINCENT, Judith GUEZ, Dimitrios BATRAS, Marion
BLONDEL, Fanny CATTEAU, Clara CHABALIER, Chu-Yin CHEN, Sébastien DELACROIX, Chen-Wei
HSIEH, Ilaria RENNA, Patrice GUYOT, Julien LUBEK, Marie-Hélène TRAMUS
Acte du colloque, "Le sujet digital : inscription, excription, téléscription", Labex Arts-H2H, 2015
658 Pour cette description, je prendrais en référence le site internet de CIGALE, que nous avons créé [En ligne, consulté le
19-08-2015, URL : http://cigale.labex-arts-h2h.fr ]. Et l’article [En ligne, consulté le 19-08-2015, URL :
http://sujetdigital.labex-arts-h2h.fr/ ].
659 [En ligne, consulté le 19-08-2015, URL : http://www.labex-arts-h2h.fr/ ].
660 Laboratoire Structure formelle du langage, UMR 7023 CNRS, Université Paris 8 ; laboratoire Image Numérique et
Réalité Virtuelle, Arts des Images et Art Contemporain EA4010, Université Paris 8 ; laboratoire d'Analyse du Mouvement,
Paris est une unité de l'Institut National de Podologie ; l'association Arts Résonances ; l'entreprise SolidAnim ; l’université
du Québec à Montréal (Canada) et le groupe de recherche sur la LSQ et la SIAT (School of Interactive Arts and
Technology), Université Simon Fraser, Vancouver, Canada.
479
« […] Le projet CIGALE poursuit différents acteurs virtuels se sont développées depuis près
objectifs corrélés de quinze ans, particulièrement dans le domaine
du spectacle vivant (Lifeform, Merce
— D’une part, nous questionnons l’évolution et Cunningham). Les outils numériques mus par
les rapports entre des mouvements expressifs et des concepts de Vie Artificielle et d’Intelligence
des gestes symboliques à travers des Artificielle sont à même de générer et de créer
interactions hybridant le réel des entités virtuelles dotées de comportements
(artiste/spectateur/expérimentateur) et le autonomes et émergents (Chen et Hoyami 2008)
virtuel (entité animée). Ceci permet entre autres (l’installation interactive La funambule virtuelle
de modéliser selon une approche énactive de Michel Bret, Marie-Hélène Tramus & Alain
(cognition incarnée) et selon un point de vue Berthoz, se basant sur un réseau de neurones
sémiotique les liens et les allers-retours artificiels ou le système d’interactivité Daedalus
expressivité/symboles en particulier par des pour la pièce de théâtre Orgia de Pasolini mise
passerelles établies entre gestuelle symbolique en scène par Jean Lambert-Wilde [Bret, Tramus
dite coverbale, gestualité expressive issue de la et Berthoz 2005], ou encore l’installation
direction de chœur et de la poésie en LSF, et Enactive Quorum Sensing de Chu-Yin Chen
gestuelle mettant en jeu l’ensemble du corps [Chen 2004]).
comme dans le mime. […]
Le spectateur se trouve dans une situation où
— Il s’agit d’autre part de créer un dispositif les mondes virtuels et réels se mêlent et
dialogique gestuel expérimentant le passage de l’invitent à interagir avec les entités virtuelles sur
l’expressivité au sens ainsi que leurs éventuelles un mode de dialogue conversationnel
frontières. À partir de captures de gestes, une émergeant. Ce dialogue s’inscrit dans cette
entité virtuelle humanoïde interagit en temps notion de l’énaction définie par F. Varela
réel par le geste avec un acteur. Il s’agit à travers (Varela, Thompson et Rosch 1996) : par l’action,
l’interaction et par des entretiens d’explicitation nous percevons des choses et ces acquis vont
d’interroger ce qui fait sens : le geste, la guider par la suite nos actions. Ce chemin de la
cinématique, la dynamique, le tracé, la trace. représentation de l’acquis se modifie et se
— Enfin, un objectif est de susciter l’émergence renouvelle à chaque instant par la boucle
de nouvelles formes artistiques par hybridation sensori-motrice de la perception-action qui
entre le réel et le virtuel, à partir de différentes s’inscrit dans la définition de la « cognition
créations (installations, pièce de théâtre, incarnée ». Il s’agit de permettre à l’acteur
performances) : il s’agit de susciter chez l’acteur d’être en action et en situation face à l’entité
réel l’émergence de nouveaux gestes par virtuelle au travers de dispositifs interactifs d’art
l’influence des gestes hybridés de l’avatar. Un numérique qui le projettent dans un monde
des défis soulevés par ce dispositif est la pleinement énacté.
compréhension de la communication mise en CIGALE : une plateforme d’expérimentation pour
jeu chez un acteur ou un spectateur. À partir de l’analyse et le dialogue gestuel
quel moment une interaction gestuelle entre un
humain et une entité virtuelle transforme-t-elle Nous mettons au point une plateforme
cette dernière, avec ses caractéristiques commune de développement pour, d’une part,
propres, en une entité « mi-chair, mi-calcul » relier les recherches interdisciplinaires de ce
(Couchot 1998) ? Que se passe-t-il chez un projet (aussi bien scientifiques qu’artistiques) et,
acteur se trouvant face à une entité virtuelle qui d’autre part, permettre une utilisation pour la
interagit gestuellement et improvise avec lui ? création temps réel. La réalisation de cette
Qui interroge l’acteur dans l’avatar qui lui fait plateforme gestuelle passe par cinq étapes :
face et lui répond ? Au-delà des seules habiletés
1. la constitution de quatre bases de
à répondre de l’avatar, n’assistons-nous pas à
données de gestes à partir de la capture de
l’émergence d’une interaction plus profonde
mouvements (gestes coverbaux, gestes de
questionnant l’ontologie même de l’avatar et sa
mime, gestes de poésie en langue des signes,
part d’(in) humanité ? […]
gestes de direction de chœur) ;
Approche énactive entre acteur réel et
2. l’analyse et l’annotation des bases de
personnage virtuel : émergence dans l’interaction
données de gestes captés ;
Des recherches sur l’interaction gestuelle entre
des acteurs (danseur, mime, spectateur) et des
3. une génération temps réel d’une base trois reprises, d’une part, sur chacun des
de données de mouvements virtuels constituée segments où elle est reconnaissable et, d’autre
à partir d’un algorithme génétique ; part, selon des mises en mouvement de
plusieurs segments. Ces UG couvrent à la fois un
4. la représentation visuelle du geste ; éventail de sens large en même temps que la
5. la création d’un outil d’interaction mise en mouvement de l’ensemble des degrés
gestuelle temps réel s’appuyant sur les bases de de liberté usuellement mobilisés dans la
données captées et générées. gestualité. Chaque UG répond à un schéma
d’action défini et décrit que l’on cherche à
1— La constitution des quatre bases de données caractériser dans une étape ultérieure de
de gestes traitement du signal. Cette caractérisation doit
permettre de repérer automatiquement, et dans
l’idéal en temps réel, ces gestes chez l’acteur qui
fait face à l’entité virtuelle grâce à des capteurs
à bas coût (Microsoft Kinect entre autres), au
cours de l’interaction.
— La base de données de gestes artistiques
La base de données de gestes artistiques
consiste en la capture des gestes de mime, dont
des unités gestuelles « de Decroux » (Decroux et
Pezin 2003), des gestes des émotions et
mimodrames de Marcel Marceau ainsi que des
Séances de captures de gestes au studio SolidAnim avec quatre improvisations réalisées par Julien Lubeck,
acteurs a) Dominique Boutet (Linguiste spécialiste de la gestualité),
b) Julien Lubek (Mime), c) Jules Turlet (Artiste en langue des signes),
professeur du mime au CNSAD (Conservatoire
d) Ariel Alonso (Chef de chœur) National Supérieur d’Art Dramatique). Ici
encore, l’analyse repose sur un inventaire fermé
Les bases de données gestuelles d’unités composant le vocabulaire de la
Une première étape a consisté à capturer les statuaire mobile (Decroux), combinées par
gestes et séquences de gestes de référence, ailleurs dans des mimodrames. La
créant ainsi les quatre bases de données, à caractérisation des gestes devrait permettre
partir de la gestualité de quatre acteurs réels. d’extraire quelques éléments pertinents parmi
Les bases de données gestuelles ont donc été les nombreuses catégories comme celles de
constituées avec un markerset commun et le Decroux.
même dispositif de capture. Elles couvrent — La base de données de gestes de langue des
largement le champ de l’expressivité et du sens signes française
gestuels. Les deux premières bases ont été
capturées en 2013 : plus de 200 réalisations de La poésie en LSF compose la base la plus
gestes coverbaux et plus de 100 gestes du linguistique des données gestuelles analysées et,
répertoire du mime ainsi que plusieurs contrairement à la base de gestualité coverbale,
pantomimes. Les deux autres bases ont été elle présente des unités en séquence. Ne
réalisées en 2014 : plus de 80 signes et bénéficiant pas encore d’un inventaire de
séquences de poète, et plus de 60 gestes et paramètres faisant l’objet d’un consensus dans
séquences de chef de chœur. la littérature, l’analyse prosodique de la poésie
en langue des signes reste un champ très
— La base de données de gestes symboliques
exploratoire (Blondel et Le Gac 2007). Pour ces
expressifs
raisons, la base de données poétique est la plus
La base de gestes symboliques expressifs est difficilement caractérisable. L’objectif ici est de
composée de gestes coverbaux, c’est-à-dire ici repérer les contours prosodiques et schémas
des gestes qui ont un sens propre reconnu dont rythmiques caractéristiques d’une séquence
la labellisation a été validée (Boutet 2010). Un poétique en LSF (Blondel et Miller 2009). Ces
inventaire d’une quarantaine d’Unités patrons rythmiques et « spatio-mélodiques »
Gestuelles (UG) réalisées sur des segments sont dessinés par des contrastes d’amplitude, de
impliquant tout ou partie du membre supérieur vitesse et d’accélération, modifiant ainsi la
a été enregistré. Chaque UG a été réalisée à fréquence d’oscillations des mouvements
481
manuels et non manuels. Les variations du flux Bräm 2009). En ce qui concerne l’animation de
gestuel dessinent ainsi des séries régulières l’acteur virtuel, ce sont a priori les gestes
d’intervalles de durée, longs ou brefs, ainsi que d’attente et les gestes préparatoires (avant un
des mises en saillance lorsque la régularité est départ, une attaque…) qui nourriront l’avatar.
interrompue, tant dans la gestion de l’espace
que dans la gestion du rythme. Ces éléments, Technique de capture et Analyse Quantifiée du
appliqués à différents segments, sont Mouvement
caractérisables d’un point de vue cinématique, Les gestes des quatre bases ont été recueillis à
mais doivent être définis en distribution (et non l’aide d’un système de capture de mouvement
de manière isolée). Ils constituent les éléments à 3D composé de 24 caméras numériques
reconnaître dans cette base. infrarouges (Vicon, 120 images/s), qui assure la
Dans le cadre de l’étude des langues des signes qualité des données enregistrées et ensuite
et en particulier de la description du registre l’efficacité de la caractérisation des mouvements
poétique, le dispositif du projet CIGALE offre une (Solidanim). Pour modéliser les segments
série d’opportunités dans la manipulation des corporels en trois dimensions, une liste des
paramètres articulatoires impliqués dans la marqueurs cutanés est établie (markerset de 90
réalisation des signes, isolés et en séquence. points).
Ainsi, les modifications dans l’amplitude, la
structure rythmique, la disposition, et les
caractéristiques manuelles des signes ont un
impact sur leur signification à différents niveaux
d’analyse (Miller 2000 ; Crasborn 2001 ; Johnson
et Liddell 2011; Wilbur 2009). Cet impact, tout
comme le franchissement des frontières entre
catégories (tel signe versus tel signe ; signe avec
ou sans emphase ; séquence d’information mise
sur tel ou tel plan de l’information), est un
processus que le dispositif étudié nous permet
d’apprécier. Ce dispositif interactif permet ainsi
à la poésie, espace privilégié d’exploration du
potentiel des langues et du jeu avec les Modèle biomécanique pour le traitement de la capture de
contraintes (qu’elles soient au niveau mouvement, Logiciel Vicon Blade
articulatoire, « phonologique », syntaxique), de
Celle-ci référence les positions anatomiques à
s’affranchir de certaines contraintes et
utiliser pour modéliser chaque segment comme
d’atteindre ce qui est à l’œuvre entre le
un solide indéformable. Généralement, trois
performeur initial (le poète ou l’interprète du
repères anatomiques non alignés suffisent à
poème), l’œuvre hybride générée et la réception
définir un segment. Dans notre modèle, les
d’un public initié (versus non-initié).
segments tronc, bras, avant-bras et main ont été
— La base de données de gestes expressifs de définis à partir des coordonnées spatiales des
direction musicale marqueurs, selon une méthode standardisée.
Cette dernière permet la création des trois axes
La base de gestes expressifs de la direction orthogonaux pour chaque système de
musicale rassemble un inventaire fermé de coordonnées segmentaires (Wu et al. 2005).
gestes de base de la direction de chœur. Leur Pour cela, les centres articulaires du poignet, du
enregistrement isolé et en contexte, comme coude, de l’épaule ainsi que ceux de la région
pour la base du mime, devrait ouvrir sur un cervicale et lombaire sont calculés (Dumas,
choix de catégories gestuelles à caractériser en Chèze et Verriest 2007).
tirant parti des outils mis au point pour la base
de données de gestes de poésie en LSF Afin de décrire les mouvements articulaires
(amplitude, rythme, configuration manuelle…). tridimensionnels de l’épaule, du coude et du
Une étude approfondie des données poignet à chaque instant du geste, les systèmes
cinématiques devrait ainsi permettre de de coordonnées de chaque articulation sont
quantifier et de compléter les observations définis à partir des systèmes de coordonnées
qualitatives précédemment effectuées sur les segmentaires adjacents à l’articulation. Pour
gestes de direction musicale (Boyes Braem et cela, une séquence de rotations successives
482
autour d’axes mobiles permettant d’obtenir la Schéma de l’enchaînement des mouvements sur
cinématique articulaire grâce aux angles d’Euler la main
est utilisée. La séquence mobile de rotation
permet de définir le système de coordonnées Les gestes coverbaux enregistrés correspondent
articulaires en utilisant les axes de deux à des emblèmes ou quote gestures
segments adjacents : un axe du segment (Payrató 1993) et (Kendon 1990), c’est-à-dire
proximal, un axe du segment distal et un axe des gestes sémantiquement autonomes, à la
flottant orthogonal aux deux précédents. signification indépendante du discours verbal
associé.
Grâce à ce modèle biomécanique, les différents
mouvements articulaires du poignet, du coude Sur les 200 réalisations enregistrées, 91 gestes
et de l’épaule sont calculés. Ainsi, les ont été étudiés. Ils se répartissent en douze UG
mouvements de flexion palmaire/dorsale et (Unité Gestuelle) dont les significations sont les
d’adduction/abduction du poignet sont inférés. suivantes : rejeter, refuser, mépriser,
Ceux-ci correspondent aux mouvements de déconsidérer, passer, accepter, considérer
flexion/extension et d’adduction/abduction de la quelque chose, considérer quelqu’un, offrir, s’en
main tels que décrits dans les schémas d’actions. fiche, s’engager, révérer. Ces étiquettes
Les mouvements d’extension/flexion et de sémantiques ont été testées et validées auprès
supination/pronation du coude correspondent d’une population francophone dans un travail
respectivement aux mouvements antérieur (Boutet 2010). Chacune de ces UG
d’extension/flexion de l’avant-bras et de répond à un schéma d’action singulier qui met
supination/pronation de la main pour les en œuvre une partie ou l’ensemble des
schémas d’actions. Enfin, les mouvements de segments du membre supérieur.
rétropulsion/antépulsion,d’abduction/adduction
et de rotation externe/interne de l’épaule sont
mesurés. Ceux-ci correspondent respectivement
à une extension/flexion, abduction/adduction et
rotation extérieure/intérieure du bras pour les
schémas d’actions.
Modèle biomécanique présentant l’ordre des rotations effectuées L’enchaînement des mouvements sur la main
(« Séquences ») pour transformer les données en signaux suit une structuration telle que le mouvement
biomécaniques ou la position des deux premiers degrés de
Après avoir effectué ces opérations de liberté (ddl) entraîne (nt) le déplacement
transformations de données dans un cadre de involontaire du troisième ddl. Ce troisième
référence au plus près de chaque segment du mouvement est dû soit à une contrainte
membre supérieur, on restitue les mouvements biomécanique liée à un mouvement autour de
sur un support corporel virtuel. Cette réinjection l’axe longitudinal (pronation/supination, rotation
des données dans un cadre corporel artificiel intérieure/extérieure), soit à un enchaînement
redonne ainsi une part de l’information perdue entraîné par le moment d’inertie. Dans les deux
lors de la captation effectuée dans un simple cas, les pôles du mouvement en troisième
repère cartésien. position sont parfaitement déterminables et
répondent à un ordre d’enchaînement des deux
2— L’analyse et l’annotation des bases de mouvements précédents tel que leur ordre
données de gestes captés : exemple des gestes impacte le pôle du troisième mouvement. Ainsi,
coverbaux la suite ADD.EXTEN entraîne un mouvement
involontaire de PRONATION, tandis que l’ordre
483
opposé, EXTEN.ADD implique un mouvement de Ainsi, à différents niveaux de différenciation
SUPINATION (Boutet 2010). formelle correspond un étiquetage sémantique
spécifique. Ces structurations formelles
Regroupement des UG par famille de sens doublées de niveaux de sens enchâssés offrent
Le repérage de l’ordre des pôles mis en la possibilité d’organiser l’expressivité en
mouvement relève tout autant de l’amplitude plusieurs strates. Ainsi, pendant une interaction
du mouvement, de la succession temporelle de mêlant un acteur réel et un avatar, une
l’apparition du mouvement, de la position captation parfaite avec une Microsoft Kinect
initiale et de l’accélération sans qu’il soit aisé d’un geste bien déployé et bien formé par un
d’en hiérarchiser les critères qui varient même acteur réel, permettra d’associer un sens bien
de manière intra-individuelle. En revanche, il est déterminé, peut-être même de repérer une UG
possible de regrouper les UG par champ particulière. Pour un niveau de captation plus
sémantique sur une base formelle. fruste ou bien pour un geste plus esquissé, la
reconnaissance peut être suffisante pour
atteindre l’une des trois premières étapes
présentées dans la figure ci-dessus. Cette
reconnaissance à grains plus ou moins fins ouvre
en tout cas la voie vers des réponses
sémantisées de l’avatar muni d’un moteur de
comportement. Le niveau variable de réponse
que l’avatar peut proposer dans l’interaction
devrait pouvoir lui conférer une part de réponse
ambiguë. Pour un geste assez flou de l’acteur
réel, correspondant à la première étape de
reconnaissance, par exemple d’un
Diagramme présentant la caractérisation sémantique en fonction
positionnement par rapport au monde, la
de la forme des gestes
réponse de l’avatar peut être plus précise,
Dans un premier temps, il s’agit de déterminer proposant par exemple un geste d’intérêt,
le flux de propagation du mouvement, soit le faisant mine d’offrir quelque chose à l’acteur
geste part de la main et le mouvement remonte réel qui pourra être interprété par l’acteur
sur l’avant-bras, soit il part du bras et diffuse comme une prise de parole offerte par exemple.
vers la main. Pour la branche de la main, la
position de la pronosupination initiale au geste
est soit marquée soit non marquée. Au niveau 3— Génération d’une base de données de
suivant, on examine la quantité de mouvement mouvements virtuels par un algorithme
de rotation intérieure/extérieure de l’avant-bras génétique
du côté de la main. On obtient ainsi 8 schémas
d’action manuels. Pour la branche du bras, on Pour la gestualité de l’entité virtuelle, nous
examine la position ou le mouvement de avons une double approche, l’une basée sur la
l’ADD/ABD du bras. Au niveau suivant, le capture du mouvement, l’autre s’appuyant sur
mouvement de la pronosupination permet de un algorithme de la vie artificielle (algorithme
distinguer les 4 UG organisées sur le bras. génétique) afin de générer une base de données
de gestes virtuels et l’utiliser avec les quatre
Chacune de ces UG a un label sémantique. Un autres bases dans l’interaction temps réel.
premier niveau de regroupement
hyperonymique compose 4 ensembles La technique de capture de mouvement,
sémantiques : i/Positionnement par rapport aux prélevant les informations de mouvement du
choses, ii/Considération ou jugement, corps humain en action, permet au corps virtuel
iii/Implication et iv/Intérêt. Ce niveau de s’approcher au plus près des gestes d’origine
sémantique correspond au 2e niveau de et de restituer en partie, par ce transfert, la
disjonction formelle dans le schéma. On peut trace d’une expressivité. Le corps virtuel devient
également procéder à un regroupement le support des captures de mouvements qui lui
sémantique en deux parts correspondant à la sont appliquées : il permet de reproduire les
première disjonction formelle (Main ou Bras) : gestes d’origine, mais la contrepartie de cette
Positionnement par rapport au monde versus proximité est de donner comme résultat une
Positionnement par rapport à la relation. copie figée. C’est pourquoi nous avons fait le
484
choix dans CIGALE de doter l’entité virtuelle, non dans la plateforme d’interaction gestuelle
seulement de gestes captés, mais aussi de actuelle.
gestes propres émergeant d’un algorithme
génétique.
À la suite de Karl Sims (Sims 1994), véritable
pionnier dans l’application de ces algorithmes à
l’image de synthèse, de nombreux artistes
s’inscrivant dans cette démarche d’invention et Exemple de gestes obtenus avec le démonstrateur de Michel Bret
de non-prédictibilité se sont intéressés au « d’algorithme génétique temps réel » ; a) à partir de gestes
aléatoires, évolution sur les jambes avec la fonction de sélection
principe d’émergence de ces algorithmes selon les butées articulaires biomécaniques ; b) à partir de gestes
(Chen 2014). Nous inscrivant également dans ce aléatoires, évolution sur les bras avec la fonction de sélection selon
courant artistique, nous avons choisi de la loi de mouvement de Viviani (Viviani et Terzuolo 1980)
travailler le geste à partir d’un algorithme Dans les perspectives de recherche, un nouveau
génétique en faisant l’hypothèse qu’il serait la développement permettra de choisir dans le
source de nouveaux gestes, permettant une générateur d’autres fonctions de sélection
gestualité propre au corps virtuel. comme le fait de respecter les angles des butées
Les algorithmes génétiques de John Holland articulaires des segments du membre supérieur
(Holland 1992) sont inspirés de la théorie de (contraintes biomécaniques humaines) ou
l’évolution de Darwin (cf. cours de Michel Bret comme la loi naturelle de mouvement dite la loi
[Bret 2001] pour une explication exhaustive). Ils de la puissance deux tiers (Viviani et
ont la capacité de faire émerger des solutions Terzuolo 1980) qui relie la courbure de la
pour des problèmes que l’on ne sait pas trajectoire à la vitesse tangentielle dans un
résoudre. La solution n’est pas pré-codée dans mouvement. Deux démonstrateurs ont été
le programme, mais elle résulte du réalisés pour montrer la faisabilité de ce
fonctionnement même de l’algorithme. Son développement : partant de gestes aléatoires,
mécanisme consiste à faire évoluer des on voit apparaître un geste nouveau et
populations de solutions (ici, des populations de plausible, résultat de l’évolution obtenue en
gestes) par croisement, par mutation des choisissant l’une ou l’autre de ces fonctions de
chromosomes (ici, des gestes codés en binaire), sélection (fitness).
puis au fur et à mesure de l’évolution, des L’interface de contrôle en temps réel du
solutions émergent qui correspondent le mieux générateur de geste
à une fonction d’adaptation.
L’interface graphique développée permet de
Le générateur de geste choisir et de tester certains paramètres (taille de
la population, pourcentage de mutation, type de
codage des gènes…). Plusieurs informations sont
présentées à l’utilisateur par l’interface pour lui
permettre de suivre l’évolution du processus.
Une étude de l’ergonomie de l’interface
Algorithme génétique d’évolution vers un geste du mime (Unity 3D) a également été réalisée pour la
« désespoir », interface CIGALE création et l’utilisation la plus flexible possible
selon les besoins (étude du geste scientifique ou
Le générateur de gestes a été développé pour la
création artistique).
création d’une base de données de gestes
virtuels. À partir de ces principes, il est possible
avec ce logiciel de générer des gestes virtuels
soit par l’imitation, soit par la création de gestes
nouveaux. Ainsi, ce générateur a d’abord été
développé et utilisé, paradoxalement, pour
imiter un des gestes des bases de données
captées. Dans ce cas, partant d’une population
de gestes aléatoires, la fonction de sélection
retient, au cours de l’évolution, les gestes
Interface pour la création des chromosomes et des populations de
s’approchant du geste de référence. Cette gestes dans Unity 3D
première version de générateur est intégrée
485
Dans le menu Unity 3D, l’onglet CIGALE permet Une interface a été réalisée pour changer en
d’ouvrir la fenêtre de l’Algorithme Génétique temps réel certains paramètres graphiques
(AG), affichant tous les paramètres et les (couleur, forme, texture, taille...), permettant
informations principales. Une autre fenêtre ainsi une liberté d’utilisation et une grande
« création AG » permet de choisir, par exemple, variété dans les possibilités de création.
les articulations du squelette sur lesquelles
s’applique le traitement de l’algorithme. Enfin, 5— La création d’un outil d’interaction gestuelle
une interface spécifique pour le temps réel a été temps réel
réalisée. Elle donne à l’utilisateur la possibilité Nous avons pour objectif d’inscrire des gestes
de changer les valeurs des paramètres de l’AG captés ou générés sur un personnage virtuel.
au cours du processus et aussi de voir des Afin de prévoir les comportements en temps
informations relatives au processus en cours réel de l’acteur virtuel, nous partons de
s’afficher directement dans la scène exécutable l’observation d’improvisations entre acteurs
en temps réel. réels.
Expérimentations dialogiques et improvisation
entre acteurs réels
Dans une première phase d’expérimentation,
nous avons demandé à des étudiants en théâtre
et des acteurs professionnels d’improviser face à
l’acteur virtuel. Cet acteur virtuel était doté de
deux comportements : il pouvait rejouer en
Interface de contrôle des paramètres de mutation en temps réel boucle le geste de mime « désespoir » et le
dans Unity 3D geste coverbal « rejeter » ; il pouvait aussi
générer un geste évoluant par algorithme
4 — La représentation visuelle du geste
génétique et convergeant sur une variation du
L’apparence de l’acteur virtuel peut être non geste du « désespoir ».
seulement réaliste, mais aussi prendre d’autres
Dans une deuxième phase d’expérimentation,
formes, comme être composée de particules en
nous avons observé les interactions entre deux
mouvement, de lignes, de voiles et de tracés en
acteurs réels se voyant indirectement. L’acteur A
métamorphose afin de rechercher, au-delà de
avait le retour vidéo de l’acteur B filmé par
l’apparence humanoïde, la sensation du
caméra (webcam), l’acteur B, quant à lui, n’avait
mouvement provoqué par ces entités en action.
comme retour vidéo de l’acteur A qu’un
À cette fin, nous avons développé un outil de
squelette simplifié obtenu par la caméra de
rendu graphique à base de systèmes de
profondeur Microsoft Kinect et qui était animé
particules dynamiques : celles-ci peuvent être
grâce à la capture des mouvements du premier
attachées sur les articulations ou à un réseau de
acteur. Cette version « biomécanisée » permet
maillage de points [mesh], ou encore peuvent
de se représenter ce que perçoit le système
prendre la forme de tissus dynamiques en
informatique et par conséquent d’essayer
mouvement [cloth], ou enfin de tracés
d’extraire le maximum d’informations de sens
dynamiques attachés aux déplacements des
ou de rythme à travers une gestuelle pure, car
articulations [trails] .
non verbale et sans expression du visage.
486
Observations et analyses [FSM, Finite State Machine]. Le système d’agent
est adapté à la modélisation de l’action-
Les situations observées montrent clairement perception, c’est-à-dire qu’il peut percevoir ses
que les deux acteurs étaient en mesure propres actions ou celles de l’interactant et
d’improviser et de se répondre. Nos réagir afin de satisfaire ses objectifs.
observations ont permis d’isoler certains motifs
comportementaux récurrents. Dans un automate à état fini, chaque état
correspond à un motif comportemental et
Parmi les stratégies de réponses adoptées lors chaque changement d’état se fait par
des séances d’improvisation, nous avons repéré combinaison de perceptions. Les perceptions
le mimétisme comme moyen récurrent de correspondent à des algorithmes d’analyse en
signaler que l’on écoute et souhaite temps réel de l’activité de l’acteur qui interagit,
communiquer avec l’autre. Celui-ci se traduit par mais aussi de l’activité du personnage virtuel. Il
réappropriation du geste de l’autre (en répétant existe un certain nombre de méthodes d’analyse
le geste par mimétisme avec un décalage quantitative ou qualitative du geste afin
temporel) ou imitation littérale (en essayant de d’extraire des « descripteurs gestuels » qui
suivre le geste en simultané tel un miroir). Ce peuvent être traités en continu (cf. [Jégo 2013]
mimétisme se retrouve également dans le pour une description détaillée). Nous nous
rythme du dialogue. En effet, on observe une sommes orientés vers l’extraction des
synchronie entre les deux acteurs : alors même magnitudes des accélérations et des à-coups des
que les gestes ne sont pas identiques, leur deux mains de l’interactant, la méthode de
vitesse ou leur aspect tonique sont très calcul repose sur les valeurs de vitesse (faible,
similaires. moyenne ou élevée) et sur la symétrie entre les
Outre les phases de synchronie, on observe par deux mains. Nous comparons les valeurs des
ailleurs des phases totalement asynchrones. Il perceptions en temps réel avec celles
peut s’agir d’un signalement de tour de parole préprogrammées — à partir de nos observations
(« à toi », « à moi ») ou bien d’un jeu de sur les séances d’improvisation entre acteurs
détournement du geste de l’autre pour amener réels — dans un fichier XML du logiciel qui
de la nouveauté, voire du chaos, afin de donner contrôle l’acteur virtuel.
un nouvel élan à l’improvisation dans Nous avons développé notre système en
l’interaction. utilisant Unity 3D. Il s’agit d’une plateforme de
Développement et architecture du système développement de jeux vidéo. Notre système
est composé des éléments suivants :
De ces observations, nous avons isolé cinq
motifs comportementaux primaires que l’acteur -un agent ;
virtuel peut adopter selon ses perceptions de la -une collection des animations issues de
dynamique de l’utilisateur : nos bases de données de gestes ;
-un module Microsoft Kinect SDK1 ;
-une animation d’attente (animation -un module Contrôleur d’Animation
neutre ou idle) ; d’Avatar ;
-le mimétisme en miroir et en simultané -le fichier XML qui comprend
de l’acteur réel ; l’association entre motifs et perceptions
-le mimétisme en miroir et en léger pour le -déclenchement de chaque
différé de l’acteur réel ; motif ;
-la génération d’un nouveau geste par -un module de lecture de fichier XML
algorithme génétique ; -une scène en 3D, composée de
-la reproduction d’un geste capté issu de l’humanoïde virtuel et des
la base de données. Ces gestes de la environnements de rendus visuels (qui
base ont été étiquetés au préalable comprennent des particules, des
selon leur sens (tour de parole), leur décors...) ;
forme spatiale (symétrie), et leur -une interface graphique.
dynamique (accélérations et à-coups
moyennés). Expérimentations artistiques avec la plateforme
CIGALE
L’architecture du moteur de comportement est
fondée sur un système d’agent (Ciancarini et
Wooldridge 2001) et un automate à état fini
487
corps de l’avatar imite globalement l’actrice,
mais pour lequel l’un des bras décolle de celui
de l’actrice et génère un geste nouveau par
algorithme génétique rendant ainsi son ex-
Créations artistiques a) 2013, Conférence Hybride de Julie cription hybride, à mi-chemin entre réalité et
Châteauvert et Judith Guez au CNSAD, b) 2014, représentation de virtualité. Cette possibilité existe, car la
Clara Chabalier au Théatre95 Cergy Pontoise, c) 2015, installation
InterACTE à la BPI du Centre Pompidou plateforme CIGALE, conçue pour être ouverte et
flexible, permet d’appliquer et de réinscrire sur
À partir de ces motifs comportementaux, nous n’importe quelle articulation du corps virtuel de
avons réalisé des expérimentations et des l’avatar les différents algorithmes et motifs
présentations publiques. gestuels.
Un premier module d’interaction a permis L’installation artistique InterACTE) a été créée à
d’utiliser l’outil de rendu graphique lors de la partir de ce moteur et de l’intégration de
Conférence Hybride de Julie Châteauvert et l’ensemble des motifs comportementaux. Elle a
Judith Guez dans le cadre du Labex ARTS-H2H. été diffusée lors de plusieurs manifestations
Pendant cette conférence, les gestes d’un poète (Savante banlieue à l’Université Paris 13 en
en langue des signes ont été captés (Microsoft octobre 2014, Les Vitrines du Labex ARTS-H2H à
Kinect) et projetés afin de créer en temps réel la Gaîté Lyrique en octobre 2014, la journée
une représentation de la trace de son d’étude Modélisations simulations créations du
mouvement. Labex Arts-H2H et de l’Idefi CréaTIC à
l’Université Paris 8 en avril 2015 et l’atelier
Lors de la représentation de la pièce de théâtre
Anatomie des jeux-vidéo à la BPI Centre
« Quand le soir tient le jour enfermé »
Pompidou en mai 2015). Malgré la simplicité des
[ΑΛΕΞΑΝΔΡΑ] en juin 2014, l’avatar virtuel a été
motifs, nous avons observé que le public
intégré à la mise en scène pour une interaction
s’adonnait à l’improvisation avec l’acteur virtuel
en temps réel avec l’actrice Clara Chabalier.
Nous avons mis en place le déclenchement par sans retenue apparente, s’appropriant les gestes
opérateur en régie de trois comportements de proposés par le personnage virtuel, et les
rejouant avec sa propre interprétation. Il
l’acteur virtuel : mimétisme, génération d’un
émerge alors une relation naturelle, floutant la
nouveau geste et reproduction de gestes captés.
limite entre l’espace virtuel et réel
Une interpolation rend indiscernable la
(Guez 2013). […]»
transition d’un motif à l’autre. Nous avons
expérimenté par ailleurs un motif hybride où le
489
490
Illustration 199. J. Guez, Verre, Pourville, 2006
491
492