Site web officiel           Page Facebook

À la croisée de la réalité virtuelle, des neurosciences, de l’intelligence artificielle et de la création, une expérience innovante et immersive au cœur des conflits les plus longs de la planète.

Face à face, deux combattants s’observent.
  L’un après l’autre, ils dévoilent les raisons pour lesquelles ils se sont engagés dans la guerre ; pourquoi, comme leurs parents et ancêtres avant eux, ils ont trouvé un jour plus approprié de prendre les armes pour défendre leurs convictions, leur famille, leur pays, leur clan ou leur foi.

Que connaissons-nous exactement des combattants ? Que savons-nous vraiment des motivations qui poussent des êtres humains à s’engager dans la lutte, au risque d’être tués, mais aussi de devenir tueurs ? Et pourquoi, alors que parfois plusieurs générations se sont succédé au combat, continuer la guerre ? Que représente pour eux la liberté ? L’avenir ?

Israël-Palestine, République démocratique du Congo, Salvador … De tous les conflits que connaît le monde aujourd’hui, ceux-ci semblent symboliser le mieux l’impossibilité pour chaque partie de s’identifier à l’autre.

Le parcours de Karim Ben Khelifa, photographe de guerre depuis 15 ans, se résume à une quête, toujours plus ambitieuse, portée par une seule question : comment changer le rapport des gens à la guerre, aux souffrances qu’elle engendre, à la violence ?

Ennemi rompt avec l’imagerie de la guerre telle que les médias nous l’ont montrée jusqu’ici. En donnant la parole à ceux qui portent en eux la violence, en leur permettant de se présenter, d’exposer leurs motivations, leurs rêves, le projet confronte les points de vue des combattants et les humanise.

Avec Ennemi, le photojournaliste Karim Ben Khelifa expérimente un prisme et un cadre différents pour revisiter les conflits immémoriaux.

Ennemi propose deux expériences interactives :

– une installation muséale où les participants, munis d’un casque de réalité virtuelle, sont placés entre des ennemis qui se font face, à l’intersection de leurs regards. Cette installation immersive à la pointe de l’innovation mêle pour la première fois la réalité virtuelle et la reconstruction 3D d’après une captation documentaire sur le terrain ;

– une application mobile en réalité augmentée permettant aux utilisateurs de recréer ce face à face chez eux, dans leur propre environnement.

Fox Harrell, professeur au Massachusetts Institute of Technologies au sein du Computer Science and Artificial Intelligence Laboratory (CSAIL), a également participé à la conception du projet pour rendre cette expérience tout à fait inédite. Le scénario est déterminé en fonction des réponses données à un questionnaire par chaque participant, lesquelles peuvent éventuellement indiquer un parti pris émotionnel à l’égard de l’un des trois conflits présentés. Le comportement du visiteur, enregistré tout au long du parcours, définit l’épilogue qu’il vivra. Chacun profite donc d’une expérience unique.

Une installation multiutilisateur pour une tournée mondiale

L’expérience Ennemi proposera au public de rencontrer six combattants venus de trois zones de conflits immémoriaux (Israël-Palestine, République démocratique du Congo, Salvador).

L’installation en réalité virtuelle est multiutilisateur (jusqu’à 20 personnes en même temps) et évolutive. Le dispositif intègre en effet les dernières avancées de la recherche en neurosciences pour proposer aux visiteurs une expérience personnalisée où les réactions de chacun influent sur la perception de l’autre. En analysant les processus intimes d’émergence de l’empathie, l’installation modifie notre apparence virtuelle pour nous faire apparaître aux yeux des autres utilisateurs dans la peau d’un combattant.

Conformément aux souhaits de Karim Ben Khelifa, cette installation voyagera également dans les zones de conflit pour offrir aux plus jeunes générations la possibilité de tester l’expérience et pour tenter de changer leur perception de l’ennemi — cet autre que l’on n’a cessé de déshumaniser depuis sa naissance.

L’application : une autre manière de diffuser le projet

La version mobile d’Ennemi est une application en réalité augmentée ou mixte pour les appareils iOS et Android.

L’utilisateur qui télécharge Ennemi a un accès privilégié aux récits de six combattants. À l’ouverture de l’application, il est plongé dans une vidéo immersive du cadre de ces trois conflits, qui se déploie à 360° autour de lui. Un pas le sépare de l’apparition en réalité augmentée, dans son environnement, de ces combattants qui s’entretiennent avec le réalisateur, dont la voix seule guide la conversation. Lors de ces rencontres uniques, l’utilisateur n’est séparé du combattant que par son téléphone mobile. Intrigué, il peut lui faire face ou le contourner, s’en approcher jusqu’à presque le toucher… À tout moment, le combattant le suit des yeux et réagit à ses mouvements. L’expérience est virtuelle, mais l’effet de rencontre est bien réel. Si l’utilisateur se retourne, il se retrouve face au combattant ennemi, qui apparaît lui aussi dans son environnement et qui lui présente l’autre côté de la médaille. Ennemi laisse toute la place aux témoignages humains sans s’appesantir sur une présentation politique des conflits dont il est question : au cœur de l’expérience se trouve la réalité de ces combattants, qui finissent tous par se rejoindre dans leur humanité.

En parallèle de l’installation en réalité virtuelle, l’application mobile démocratise l’expérience de rencontre. En s’ancrant dans une vaste offensive de paix par une stratégie de partage globale et positive, Ennemi jette les bases de l’avenir du documentaire et de la photographie.

Comment se déroule l’expérience de réalité virtuelle (RV) Ennemi ?

Dans un grand espace de 300 mètres carrés, nous équipons plusieurs utilisateurs d’un « sac à dos » et d’un casque de réalité virtuelle. Après une introduction explicative, ils peuvent se rendre dans trois salles différentes, chacune représentant un conflit. Pendant l’expérience, les utilisateurs peuvent se voir entre eux, mais ils ne peuvent pas interagir ou collaborer. À l’aide de tableaux sur les murs et de la voix de Karim Ben Khelifa, on leur présente six combattants, soit deux par zone de conflit. Ensuite, les combattants arrivent « en chair et en os » dans la pièce et les utilisateurs les rencontrent. Les combattants leur parlent, les regardent… Ils ont un comportement propre et une petite intelligence artificielle qui permettent de les rendre très réalistes. C’est impressionnant parce que la sensation d’immersion est très forte : on a vraiment l’impression qu’ils sont là.

En quoi Ennemi se distingue-t-il des autres projets de réalité virtuelle réalisés par Emissive ?

C’était très différent à la base : nous travaillons habituellement sur des projets de RV dans les domaines de la communication et de la formation, alors qu’Ennemi est plus près du documentaire, et nous en sommes coproducteurs. D’un point de vue plus technique, nous sommes les seuls à faire de la RV multiutilisateur sur de très grands espaces. Tout est nouveau, y compris le matériel : le casque de réalité virtuelle, le sac à dos… Ce projet a requis beaucoup de recherche et développement.

En quoi consiste ce sac à dos ?

C’est un ordinateur MSI VR One, un modèle sorti il y a quelques mois seulement. Il est très puissant, un peu comme un ordinateur de gamer, avec un graphisme beau et fluide. Ce qui était surtout pratique pour nous, c’est qu’il fonctionne à batterie et qu’on peut changer la batterie à la volée : il n’est pas nécessaire d’éteindre l’ordinateur pour faire le changement pendant l’expérience. Ce sac à dos est connecté au casque de réalité virtuelle que porte l’utilisateur. Et ça marche avec un système de localisation sur des surfaces de plusieurs centaines de mètres carrés.

Comment fonctionne le système de détection dans l’espace ?

Comme il faut absolument que l’ordinateur sache où se trouve l’utilisateur pour envoyer la bonne image, nous employons un système de capture de mouvement OptiTrack combiné avec les casques de réalité virtuelle. Ça consiste à mettre dans ce grand espace différentes caméras infrarouges qui détectent les petites boules se trouvant sur le casque. Tous les utilisateurs ont des positions de boules — ou « constellations » — différentes et le système arrive à les distinguer et à les repérer dans l’espace. Il y a aussi un serveur, donc un ordinateur qui gère tous les sacs à dos des utilisateurs. Ce serveur récupère les informations de détection dans l’espace et les renvoie à chaque utilisateur. Il permet aussi de lancer l’expérience, de l’arrêter ou de la redémarrer au besoin.

Au cours des trois années de développement d’Ennemi, quelles ont été les principales transformations du matériel utilisé ?

Avant de pouvoir utiliser le sac à dos, nous avons développé une expérience qui était filaire. L’utilisateur portait la première version d’Oculus, qui était reliée à un ordinateur par un fil. C’était compliqué parce qu’il fallait gérer ce fil, et nous étions limités au mode mono-utilisateur. Ensuite, nous avons fait le test multiutilisateur avec des ordinateurs portables, mais c’était quand même embêtant, surtout parce que les batteries normales sont trop faibles. Ça demandait une batterie de vélo électrique, un transformateur… C’était aussi très lourd : entre neuf et dix kilos ! Très récemment, on a enfin eu le sac à dos, qui facilite tout. Le casque Oculus a aussi évolué : au départ, nous utilisions le DK1, puis le DK2 et maintenant la troisième version, soit la version commerciale, qui est légère et confortable, avec une résolution de très bonne qualité.

Quels étaient les principaux défis de la réalisation d’Ennemi ?

La gestion du matériel — capture de mouvement, réalité virtuelle, sans-fil, mode multiutilisateur — était déjà un très grand défi ! Mais un autre défi était de rendre les combattants réalistes ; non seulement leur apparence, mais aussi leurs mouvements. Les personnages d’Ennemi sont tous de vrais combattants, et ils bougent comme les sujets l’ont fait dans la réalité. Plusieurs graphistes et animateurs ont travaillé à leur reconstitution à partir de différentes sources. Sur place, dans les zones de combat où nous avons interviewé les combattants, nous avons fait plusieurs photos, de la photogrammétrie, de la numérisation 3D et de la vidéo. Nous avons récolté énormément de données pour arriver à un résultat très précis.

Est-ce que l’expérience comportait aussi des difficultés sur le plan sonore ?

Une conceptrice sonore s’est chargée de régler tous les sons, c’est-à-dire les voix faites par Karim, celles des combattants et celles des traductions (parce que tous les combattants parlent dans leur langue et c’est traduit). Il y a très peu de bruitage et aucune musique dans Ennemi. Les utilisateurs ont des écouteurs intégrés dans le casque Oculus. Tous les sons sont spatialisés, ce qui rend l’immersion encore plus forte. Et de notre côté, nous avons dû placer les sons dans l’espace, les jouer quand il faut, nous assurer que le volume varie correctement. C’est très différent du travail de son sur un film, par exemple, et ça représente beaucoup de réglages.

La création d’Ennemi vous a-t-elle permis de faire des découvertes ?

Sur le plan du contenu, c’est-à-dire ce que les utilisateurs peuvent voir et faire, Ennemi nous a en effet appris beaucoup de choses. Le système utilisé est très rare ; il y a seulement deux autres projets dans le monde qui ressemblent à ce que nous avons fait. Ceux qui vont tester Ennemi vont vivre une expérience qu’ils n’ont jamais vécue… et ça ne pourra pas être refait de sitôt. Chez Emissive, nous faisons de la réalité virtuelle depuis longtemps, mais pas à ce niveau-là : il a vraiment fallu analyser le comportement des utilisateurs et essayer d’imaginer ce qu’ils feraient.

Nous avons beaucoup appris sur l’expérience utilisateur : comment la rendre plus fluide, efficace et attrayante. Nous avons fait énormément de réglages, d’ajustements, sur tout le contenu et l’expérience. 95 % des gens ont une attitude très respectueuse envers les combattants : ils écoutent attentivement comme s’ils étaient devant une vraie personne, au lieu de tester les possibilités de la technologie. Dans certains cas, très rares, il y a même eu des utilisateurs qui avaient peur ! Quand on sort de l’expérience, qui dure un peu plus de 45 minutes, il faut qu’on ait appris quelque chose, qu’on se trouve un peu changé et qu’on puisse en parler en bien autour de soi.

Quels étaient vos objectifs de base pour réaliser l’application d’Ennemi ?

Au début du projet, nous devions déterminer si Ennemi proposerait de la réalité virtuelle (RV), de la réalité augmentée (RA), ou les deux. Au fil des discussions avec Karim Ben Khelifa, nous avons compris l’importance d’offrir une expérience en RA. Le volet RV est intéressant, et il voyagera dans plusieurs villes, mais la RA, elle, est accessible dans le monde entier à toute personne possédant un téléphone intelligent. Notre mission principale était de démocratiser l’expérience. L’application, téléchargeable sur Apple ou Android, permet même de rejoindre les gens qui sont dans les zones de conflit, ce qui serait impossible autrement.

Comment avez-vous choisi les technologies à employer pour mieux servir le projet ?

L’un des problèmes avec la RA est que, même si elle existe depuis quelques années, la technologie n’est pas très avancée. Les outils ne sont pas encore tout à fait au point et nous dépendons directement de l’évolution des téléphones. Jusqu’à tout récemment, la seule manière d’en faire l’expérience était de pointer un marqueur — un code QR — pour afficher un objet, une photo, une vidéo. La possibilité de faire de la RA sans marqueur est très récente. Ça a un côté beaucoup plus magique : on dirait que des objets apparaissent comme par enchantement dans notre environnement ! Nos choix technologiques pour Ennemi ont donc été limités par les options disponibles, et nous avons décidé de développer deux versions avec deux technologies différentes.

Quelles sont les principales différences entre ces versions ?

La première exploite une technologie matérielle très pointue qui se nomme Google Tango : un dispositif avec une caméra et un capteur qui permet à une tablette de se repérer dans l’espace. Elle sait où elle se trouve dans l’espace 3D et elle est capable de reconnaître des objets. Avec cet outil, nous avons pu développer une version de l’application qui est très solide : les combattants sont placés dans l’environnement et on peut se promener autour d’eux. Ça donne l’impression qu’il y a de vraies personnes chez nous, au parc, ou dans tout autre lieu où on décide d’utiliser l’application. Cette version fonctionne très bien, et nous pouvons l’apporter en festival pour que les gens l’essaient, mais la technologie employée n’est malheureusement pas encore offerte sur la plupart des téléphones. Nous avons donc dû créer une deuxième version simplifiée qui est faite pour les téléphones actuels : dans cette version, les personnages sont simplement placés autour de l’utilisateur quand il se retourne.

Ces deux versions de l’application ont donc été développées en parallèle ?

Oui, le travail s’est fait en parallèle tout au long du projet : il y a des parties communes, mais aussi des « embranchements » qui varient d’une version à l’autre. C’était nécessaire pour pouvoir s’adapter aux appareils qui seraient accessibles sur le marché au moment du lancement. Nous attendons l’iPhone 8, qui est censé offrir une expérience ressemblant à ce que nous avons fait avec Google Tango : ça permettrait de démocratiser une RA qui est beaucoup plus convaincante. Il existe aussi des lunettes de réalité augmentée ou mixte qui permettent de faire ce que nous aimerions, comme les HoloLens de Microsoft, mais elles coûtent des milliers de dollars ! Bref, il y a de belles possibilités si on est prêt à payer et à accepter que le nombre de gens qui profiteront de l’expérience soit limité. Or, notre but avec Ennemi était tout autre.

Comment avez-vous procédé pour tester l’application, et qu’est-ce que ces tests vous ont permis de découvrir ?

Nous n’avions d’autre choix que de faire des essais au fur et à mesure pour voir comment les utilisateurs comprenaient le scénario et interagissaient avec l’application. Il fallait aussi essayer d’imaginer leur rythme d’utilisation, et comment ils partageraient Ennemi après en avoir fait l’expérience. Ça nous a permis de découvrir plusieurs types de contraintes « humaines » qui nous ont forcés à faire des ajustements. Par exemple, les gens ne sont pas habitués à tenir leur téléphone droit devant eux, comme nous souhaitons qu’ils le fassent. Instinctivement, on a tous tendance à tenir notre téléphone plus près et à regarder vers le bas, à 45 degrés. Les gens se fatiguaient vite parce que ce n’est pas une position naturelle. Nous avons donc inséré des pauses et des séquences strictement audio pour qu’ils se reposent.

Au début du projet, nous avions aussi pensé à utiliser des lunettes en carton (c’est moins cher, beaucoup plus accessible). Mais les gens aimaient moins parce que c’est intimidant de les mettre en public ; or, nous souhaitions qu’ils puissent vivre l’expérience ailleurs qu’à la maison. Ce serait plus intéressant avec un casque, mais — à nouveau, c’est une contrainte humaine — les gens n’ont pas envie d’en porter.

Avez-vous fait face à des obstacles importants en cours de développement ?

Pour créer une application comme Ennemi, nous dépendons de librairies et de technologies qui sont encore en train d’être développées. La RA telle qu’on l’utilise pose la question de la vision artificielle : comment l’ordinateur regarde-t-il son environnement, et comment peut-il reconnaître certains objets précis comme l’œil humain peut le faire ? Repérer une chaise, faire la différence entre le sol et une table, etc. Ce sont des problèmes extrêmement compliqués, et plusieurs programmes de doctorat ou entreprises s’y consacrent.

Quand nous avons commencé, deux entreprises offraient des technologies intéressantes pour Ennemi. Le problème est qu’elles ont été rachetées entre-temps et sont devenues inaccessibles. La première, Metaio, a été acquise par Apple ; et la deuxième, 13th Lab, par Facebook. Bref, les deux technologies relativement efficaces qui pouvaient être employées avec un téléphone de base ont disparu quelques mois après le début du projet. Tout un obstacle ! Finalement, nous avons utilisé Vuforia, Kudan et une librairie gratuite de Google VR.

Comment les projets comme Ennemi transforment-ils l’usage que nous faisons de la réalité augmentée ?

Il faut comprendre qu’Ennemi est l’un des premiers projets en réalité augmentée où il y a une grande part de narration. En Web et en RV, il existe des codes pour raconter des histoires, tandis qu’en RA, tout était nouveau. Nous étions en terrain complètement inconnu. Aussi, la plupart des applications en RA ont pour but de jouer ou de faire la promotion d’un produit. Notre intention avec Ennemi est complètement différente : nous voulons propager un message, pas vendre quoi que ce soit. Je pense que l’usage de la RA pour informer est vraiment intéressant et va continuer de se développer : en tourisme, en histoire, en journalisme, pour des archives… Alors que la RV isole et transporte dans un autre monde, la RA est plus collective. Elle a la capacité d’ajouter une nouvelle touche à notre réalité, de donner un sens nouveau à des choses familières, d’insuffler une nouvelle vie à des lieux. Et, dans le cas d’Ennemi, de permettre des rencontres qu’on n’aurait jamais pu faire autrement.