Vous êtes-vous déjà perdu dans la lecture d’un livre, vivant à travers les personnages et les événements, vous transportant le temps d’une histoire dans un monde autre ? Et si cet univers narratif pouvait évoluer en fonction de vous, le texte réagissant subtilement lorsque votre cœur bat la chamade pour un paragraphe d’action, ou lorsque vous avez le souffle coupé par la révélation d’un protagoniste ?

C’est un projet de fiction interactive carburant aux signaux physiologiques que nous ajoutons ici à notre escarcelle, fruit de la collaboration avec le laboratoire Magic Lab de l’université de Ben-Gurion en Israel. Nous avons publié à CHI, la première conférence scientifique en interaction homme-machine, nos travaux intitulés « Physiologically Driven Storytelling: Concept and Software Tool ». Nous avons eu l’honneur de nous voir attribué un prix « Best Paper Honorable Mention », qui récompense les meilleures 5% des soumissions. Comme à l’accoutumé, l’article d’origine est disponible en libre accès sur le portail de HAL : https://hal.inria.fr/hal-02501375/

Derrière l’article et les travaux scientifiques, c’est une nouvelle forme de narration que nous souhaitons mettre à disposition des auteurs et des lecteurs. Grâce au le moteur « PIF » (physiological interactive fiction), il est doréavant possible d’écrire des histoires dont les branches narratives peuvent être sélectionnées en temps réel suivant des signaux comme la respiration, la sudation, ou la dilatation des pupilles. Le système combine pour cela une syntaxe simplifiée (Ink), un moteur de rendu emprunté aux jeux vidéo (Unity 3D), et un logiciel éprouvé d’analyse de signaux physiologiques (OpenViBE). Suivant le contexte, la lecture des signaux physiologiques peut se faire aussi bien avec un équipement de laboratoire qu’avec des appareils grands public comme une smartwatches… ou des capteurs Ullo.

La fiction interactive tire ses origines dans la fin des années 70, alors que des « livres dont vous êtes le héro » apparaissent aux côtés de jeux vidéo purement textuel. Dans les premiers il faut tourner la page en fonction du choix que l’on fait pour le personnage — exemple emblématique : la série Choose Your Own Adventure –, dans les seconds il s’agit d’un précurseur du jeu d’aventure où il faut écrire au clavier des instructions simple comme OPEN DOOR ou GO NORTH pour avancer dans l’histoire — un des plus connus : Zork de Infocom. (Un Zork que je dois confesser ne jamais avoir réussi à finir personnellement, au contraire de pépites comme A Mind Forever Voyaging ou Planetfall). Historique plus complet dans l’article. Ici aux interactions explicites de la part du lecteur, nous substituons des interactions implicites, reposant sur la physiologie, avec une pincée d’apprentissage machine pour comprendre l’évolution des signaux en fonction du contexte. Transparent pour le lecteur, et quant à l’auteur, pour manier cela point de langage de programmation complexe à connaître, mais une syntaxes épurée rapide à prendre en main.

Si la vision, qui n’est pas sans rappeler des éléments que l’on retrouve dans des œuvres de science-plus-si-fiction comme La Stratégie Ender ou L’Âge de diamant, est ambitieuse, le projet est encore à un stade précoce. Deux études au menu du premier papier publié. Dans une on investigue le lien entre proximité de l’histoire avec le lecteur et empathie envers le personnage. Dans l’autre on regarde quelles informations peuvent apporter les signaux physiologiques sur l’état du lecteur, avec des premiers pourcentages de classification sur des construits liés aux émotions, à l’attention ou à la complexité perçue d’une histoire. Il y a encore tout un champ à explorer à partir de là, avec des mesures au long cours et des textes plus ciblés. Un des objectifs scientifiques que nous voulons porter c’est de comprendre comment la technologie pourrait apporter de l’empathie : ouvrir les perspectives des lecteur en les aidant par exemple à mieux considérer le point de vue d’un personnage au premier abord trop étrange. Une piste parmi de nombreuses autres.

À côté de cette recherche plus fondamentale, au cours la prochaine phase du projet, nous prévoyons d’organiser des atelier d’écriture autour de l’outil. Si vous êtes auteur curieux confirmé ou amateur, et pas forcément féru de nouvelles technologies, n’hésitez pas à nous contacter pour peut-être vous y essayer. Nous cherchons aussi à construire une communauté autour du logiciel libre déveloéppé, les contributeurs sont les bienvenus !

Et au niveau technique, pour la suite nous n’allons pas bouder notre plaisir, intégrant des appareils comme le Muse 2 pour ajouter un soupçon d’activité musculaire et cérébrale, des rendus qui peuvent se faire en réalité virtuelle (de premières idées de visuels avec la preuve de concept « VIF » http://phd.jfrey.info/vif/), ou bien encore des univers narratifs partagées entre plusieurs lecteurs.

Pour plus d’informations, suivre les actualités spécifiques au projet ou se frotter à un code (encore brut de décoffrage), vous pouvez consulter le site dédié qui se met en place : https://pif-engine.github.io/