Eye tracking - Log #02

6 décembre 2018

Disposition des commentaires audio dans le logiciel.

D’octobre 2018 à janvier 2019, le studio INT est en résidence au Musée de l’Elysée pour développer un dispositif de narration sonore piloté par le mouvement des yeux. 

Troisième itération et impressions un mois et demi après le début de l’installation.

En un mois et demi, nous avons recueilli de nombreux témoignages de visiteurs. D’une manière générale, les gens se disent plutôt intrigués par l’expérience. Ils apprécient généralement cette nouvelle approche du commentaire d’œuvre.

Premier constat : rares sont ceux qui connaissent la technologie de suivi oculaire et personne ne sait à quoi ressemble un capteur. Cela a donné lieu à des scènes assez cocasses, que nous n’avions pas du tout anticipées. Nous avons vu des personnes essayer de coller leurs yeux au capteur, comme s’il s’agissait de lunettes. D’autres essayent de prendre le capteur dans les mains comme s’il s’agissait d’une manette de jeu. Quelques-uns sont tellement raides devant le capteur qu’on voit la crampe saisir leur nuque. Nous avons adapté le mode d’emploi.

Deuxième constat : une partie des visiteurs ne comprennent pas directement l’influence de leur regard sur les sons. Heureusement ils sont curieux et poursuivent l’expérience jusqu’à avoir saisi comment cela fonctionne. Le but de l’expérience n’est donc plus de choisir les commentaires mais d’arriver à dompter le système. Nous allons changer la séquence des sons pour rendre la compréhension plus intuitive.

Troisième constat : le calibrage de la précédente version était relativement complexe. Pour rappel, il fallait lire des explications à l’écran et positionner le capteur à l’aide d’un système de visée fixé sur le capteur. Ce dernier était d’ailleurs inspiré des viseurs d’armes à feu. En gros, il fallait faire glisser le capteur de haut en bas jusqu’à ce qu’un point rouge apparaisse au travers du viseur, tout en suivant des instructions à l’écran… difficile de se concentrer sur les deux choses en même temps. 

© Yannick Luthy

Première version des instructions pour le calibrage

Nous avons remplacé le viseur par un système de feedback directement sur l’écran. Lorsque le capteur détecte un visiteur, il affiche deux yeux à l’écran et demande au visiteur de faire glisser le capteur de haut en bas jusqu’à ce qu’ils soient alignés avec une ligne. Ce système de retour est beaucoup plus intuitif puisqu’il montre en temps réel la position des yeux (et détecte même les clignements des yeux). 

Nouvelle version des instructions pour le calibrage

Quatrième constat : les gens adorent toucher (c’est un constat partagé par beaucoup de nos collègues de musées). Ils touchent le capteur, les câbles, l’écran, … Malgré nos indications, nous avons eu beaucoup de problèmes avec les visiteurs qui touchent le capteur. Volontairement ou non, ils modifient l’inclinaison du capteur, ce qui peut rendre le système inopérant. Même un panneau « Ne pas toucher le capteur » ne suffit pas. Nous allons imprimer un nouveau socle.

Cinquième constat : les visiteurs adorent debugger. Nous avons passé passablement de temps dans l’installation au côté des visiteurs, surtout lorsque ça ne marche pas. Les visiteurs adorent servir de cobaye et se prêtent volontiers à des séances de tests / debuggage avec nous. Ils sont d’ailleurs très compréhensifs sur le fait que le dispositif puisse ne pas marcher et très curieux de savoir comment nous pensons résoudre les problèmes. Ils manifestent régulièrement leur désir de mieux comprendre la technologie qui reste trop souvent opaque. Le Musée n’a-t-il pas pour mission d’ouvrir les boîtes noires et d'en exposer les rouages ? C’est en tout cas une des raisons qui nous ont poussé à créer le LabElysée.

Sixième constat : une seconde c’est long, et particulièrement lorsqu’il s’agit du regard. Il faut meubler le temps, occuper le regard, inciter les gens à regarder. Le visiteur n’est pas forcément patient face à un dispositif interactif, deux secondes de noir et on se demande ce qu’il se passe. Alors comment concilier des commentaires de quinze secondes et des actions hyper rapides ?

Organisation des sons

Disposition des commentaires audio dans le logiciel.

L’organisation des commentaires audio est essentielle pour que l’expérience soit fluide. Dans les premiers jours de l’installation, nous avions fait en sorte que les sons s’arrêtent (fade-out) lorsque le regard quittait une zone (avec une latence d’une seconde et demi). Notre réflexe premier était ne pas enfermer le visiteur dans un commentaire.

Nous avons rapidement supprimé cette fonction car elle ne permettait pas d’avoir une information complète. Ce fut d’ailleurs la principale critique dans les premiers jours d’exploitation. Beaucoup de visiteurs se plaignaient d’avoir des commentaires tronqués. 

Actuellement, il faut attendre qu’un son se termine pour lancer le suivant. Cela fonctionne relativement bien, mais cela nous oblige à revoir l’organisation des commentaires. En bons écoliers, nous avions construit notre analyse d’œuvre selon un schéma classique, partant du général au singulier. Lorsqu’on utilise un système de suivi oculaire, le visiteur doit comprendre dès les premières secondes ce qui se passe. Forcément avec un premier commentaire trop long, on peine à comprendre l’interaction (puisqu’on ne peut rien déclencher pendant les dix premières secondes). Après de longues heures d’observation et sur la base des tracés que nous avons enregistrés, nous arrivons donc à l’hypothèse suivante.

Pour que le visiteur saisisse dès les premiers instants la nature de l’interaction, il faut limiter, dans un premier temps, les zones « disponibles » à des détails précis (voir évidents) et y associer des sons courts. En d’autres termes, ne rendre accessibles que des commentaires de moins de 3 à 10 secondes sur des détails de l’image : la kalachnikov, le téléphone, les paniers, etc. Après avoir déclenché quelques commentaires de moins de 3 secondes, on comprend naturellement comment piloter l’expérience.

Cette première étape d’apprentissage est nécessaire avant de pouvoir profiter pleinement de commentaires plus longs sur le contexte de l'image par exemple.

Comme nous avons enregistré plusieurs commentaires pour chaque zone, nous allons réorganiser l’ordre d’apparition selon le chapitrage suivant :

  1. Apprentissage, uniquement des détails, commentaires courts
  2. Les personnages, alternance de commentaires longs et courts sur les deux personnages
  3. Le contexte, alternance de commentaires longs et courts sur des détails et des zones larges de l’image

Un point reste en suspens, faut-il ajouter une barre de progression pour signifier la durée du son ?

Prochaines étapes

Les prochaines étape consistent à analyser les données que nous avons enregistré et les présenter sous formes de visualisations et réorganiser les commentaires audio selon les observations du mois passé.

Vous pouvez tester le dispositif au Musée de l’Elysée jusqu’au 27 janvier 2019. N’hésitez pas à envoyer vos commentaires à elyseelab(at)gmail.com.

Remerciements

Merci à Matthias Bruggmann qui a accepté de prêter une de ses images pour le prototype.
Merci à la société Tobii qui nous a mis à disposition un capteur de mouvement des yeux.

Logbook

L'évolution du prototype développé au LabElysée est régulièrement documentée dans notre Logbook. 

25 octobre 2018 - Eye tracking - Log #01

06 décembre 2018 - Eye tracking - Log #02

 

 


Partenaires

Le LabElysée reçoit le généreux soutien de la Fondation BNP Paribas, de la Loterie Romande et du Canton de Vaud.




Ce projet reçoit le généreux soutien du fonds de soutien Engagement Migros, partenaire innovation du Musée de l’Elysée.

Ce projet ne serait possible sans le soutien de Tobii Pro

LabElysée

Le LabElysée est le nouvel espace d’expérimentation du Musée de l’Elysée dédié à la culture numérique. Chantier vivant au coeur du musée, le LabElysée questionne la façon dont une institution culturelle dédiée à la photographie joue avec les nouvelles technologies.

En savoir plus

INT x PLATEFORME 10

D’octobre 2018 à janvier 2019, INT est en résidence au Musée de l’Elysée pour développer un dispositif de narration sonore piloté par le mouvement des yeux. A la différence d’un audioguide classique, le système vise à donner des informations sur l’œuvre et son contexte en se basant sur ce que regarde le visiteur.

En savoir plus