Action 1

Handicap moteur et réalité augmentée : Aide au déplacement -développement d’applications de Réalité Augmentée au Service des Handicapés moteurs (RASH)

Coordinateur :

Living Dom: Equip OSL/OPTIMA/CRISTAL & Equip CIC-IT 14 03

Responsable : Pr Slim Hammadide & Pr Régis Laugier

Contexte

L’objectif de cette action est d’améliorer la mobilité des personnes souffrant d’un handicap moteur, dans la vie de tous les jours est possible grâce au développement d’applications technologiques adaptées.

Cette aide à la mobilité consiste à accompagner les personnes handicapées dans leurs déplacements du départ à l’arrivée et concerne aussi bien les transports collectifs, l’information sur les endroits accessibles aux personnes avec une chaise roulante, l’information touristique, etc.

La technologie utilisée est la technologie de la Réalité Augmentée, qui permet de mélanger les objets réels et virtuels en utilisant les dispositifs d’interaction 3D de la réalité virtuelle dans un espace réel.

Objectif

L’objectif est d’explorer la réalité augmentée, dans sa dimension visuelle, et lui associer une interaction auditive, permettant à la personne handicapée moteur d’interagir avec son environnement.

Nous faisons ainsi profiter la personne handicapée d’une commande vocale en plus des informations affichées sur les lunettes, ce qui permet d’assurer une interaction fluide entre l’utilisateur et les informations associées à ses déplacements. Le but ici est de diminuer au maximum la quantité d’attention demandée à l’utilisateur et de lui faciliter l’interaction avec son environnement.

Méthodologie générale

Nous proposons un système de réalité augmentée, mixant le virtuel et le réel et mettant en correspondance ces derniers en cas de mobilité de l’utilisateur et lui permettant d’interagir en temps réel, avec le système.

Notre solution caractérise les techniques qui permettent d’enrichir la vision de l’utilisateur par des objets (des symboles tels que des flèches) virtuels affichés sur l’écran des lunettes à Réalité Augmentée lui indiquant l’itinéraire optimal afin d’atteindre sa destination aisément et sans stress. Le chemin optimisé est affiché sur son champ de vision à travers les lunettes de Réalité Augmentée afin de le guider tout au long de son déplacement.

Nous proposons aussi, pour les personnes ayant des difficultés de lectures de rajouter une commande vocale et associer son réel et objets virtuels.

Les scenarii

Deux scénarios seront élaborés : le déplacement d’un étudiant avec un handicap moteur dans une université multi-sites (par exemple université Lille 2), et le déplacement d’une personne quelconque dans un quartier ou une ville.

Scenario 1 : déplacement dans une université multi-sites

L’utilisateur à la possibilité de saisir une destination soit en utilisant la commande vocale (épelant la destination) et notre système procèdera à la reconnaissance vocale et la recherche dans la base de données, soit en saisissant la destination sur un Smartphone. Le système vérifie ainsi, dans la base de données (à créer), s’il existe un itinéraire à proposer à la personne avec un handicap moteur selon l’accessibilité des lieux et calcule l’itinéraire optimal. Ce dernier sera par la suite affiché sur l’écran des lunettes par des flèches.

Scénario 2 : déplacement dans un quartier

Il concerne l’aide au déplacement d’une personne handicapée, étudiante ou pas, dans un quartier ou une petite ville. Dans ce cas, notre solution permet à la personne se déplaçant dans une chaise roulante de se rendre commodément à sa destination qui peut être un magasin, un restaurant, une boulangerie, un bureau de poste, etc.

L’utilisateur choisit alors la destination et les informations sur l’accessibilité des lieux (issues d’une base de données à créer) s’affichent sur les lunettes tout en l’accompagnant lors de ses déplacements en ville.

L’objectif général de ce projet est de proposer aux publics à déficience motrice, un déplacement confortable, agréable et sans contraintes. C’est pourquoi nous souhaitons exploiter la Réalité Augmentée qui a atteint un point où les possibilités sont infinies !

Activité 1.1

Analyse des contextes d’usage

Objectifs :

1. Assurer la connaissance fine des besoins, des attentes et des contraintes des utilisateurs cibles.
2. Les données recueillies permettront de donner des recommandations ergonomiques générales fonctionnelles utiles pour le système d’aide à la mobilité intégrée dans des lunettes de Réalité Augmentée.

Description du travail : Des entretiens seront menés auprès des utilisateurs cibles du dispositif i.e. d’une part, 5 étudiants en handicap moteur et, d’autre part, 5 personnes adultes avec un handicap moteur associé à des difficultés de lecture. Ces entretiens seront combinés à l’observation sur site de 2 à 3 déplacements par chacun selon le contexte d’usage prévu (déplacement à l’université pour les étudiants et déplacement en ville pour les adultes). Des entretiens seront également menés auprès de professionnels de santé assurant l’éducation aux déplacements de ces patients (ex. psychologues, psychomotriciens, etc.). Au total, 5 entretiens de professionnels seront réalisés.

Enfin, une analyse de la littérature sera réalisée dans le but d’identifier des aides à la conception ergonomique (1) des affichages informationnels de réalité augmentée et (2) des outils d’aide au déplacement de façon générale.

Prérequis/Risques : Accessibilité et disponibilité des personnes concernées.

Livrable : Un rapport d’analyse des contextes d’usage présentera une description structurée et argumentée des besoins et des attentes des utilisateurs finaux par rapport au dispositif. Le livrable donnera également (1) des recommandations générales ergonomiques par rapport aux informations pertinentes pour guider les déplacements et (2) des propositions d’organisation de ces informations pour un affichage adapté aux pratiques des utilisateurs qui respectera les heuristiques de conception ergonomique. Ces données viendront également préciser les critères pertinents à recueillir lors des cartographies réalisées à l’Université de Lille 2 et en ville (quartier à définir).

Activité 1.2

Caractérisation technique du prototype

Cette action permet d’identifier et de caractériser les fonctionnalités techniques du système d’aide à la mobilité et son intégration dans les lunettes de RA. L’objectif est également de préciser les scenarii possibles d’utilisation des lunettes de RA en fonction des cibles choisies dans l’action 1.1 pour le prototypage.

Livrable : Scénarii d’utilisation des lunettes intelligentes et choix d’une cible pour le prototypage

Activité 1.3

Accès aux données de mobilité

L’objectif est de concevoir et de réaliser des méthodes innovantes pour la recherche et l’accès à distance aux données de mobilités en fonction des sites choisis (Université/Ville), par la technologie de la RA à travers des lunettes dites « intelligentes ». Il s’agit de développer des modèles et des méthodes de fouille de données et d’extraction et d’agrégation des caractéristiques pertinentes des requêtes des utilisateurs.

Livrable : Modèles et méthodes de recherche et d’accès à distance aux caractéristiques de données de mobilité par les lunettes intelligentes.

Activité 1.4

Développement du Système d’aide à la mobilité

Il s’agit d’élaborer un système d’aide, utilisant la RA et intégré dans des lunettes, capable d’identifier un utilisateur et son handicap, de modéliser les processus d’intégration et de croisement des données mobilité/handicap. Il s’agit de concevoir un système d’aide au signalement de l’itinéraire en utilisant des modélisations informatiques innovantes basées sur la RA. Ce système d’aide est également doté d’algorithmes de « tracking » temps réel adaptés à l’environnement mobilité/handicap.

Livrable : Développement et optimisation d’un système d’aide à la décision intégré dans des lunettes intelligentes.

Activité 1.5

Intégration du Vocal

Pour les personnes ayant des difficultés de lecture, il est possible de connecter un système vocal aux lunettes à RA pour indiquer vocalement les requêtes ou les itinéraires.

Il s’agit de concevoir et de développer des modèles évolutifs d’IHM permettant l’accès aux informations augmentées et à les diffuser sans interruption et sans intervention des mains sous forme de texte affiché sur les lunettes ou d’une manière vocale. L’interface proposée, disponible sur des lunettes de RA, permet de faire apparaître dans le champ de vision de l’utilisateur les informations utiles à son déplacement. De plus, cette interface doit s’adapter au contexte d’usage de l’utilisateur de manière à garantir l’utilisabilité et la pertinence maximales dans l’interaction.

Livrable : Développement d’un système vocal intégré dans des lunettes intelligentes.

Activité 1.6

Evaluation technique du prototype

Cette Phase est consacrée à l’étude du service rendu des lunettes de RA. Deux axes d’évaluation sont envisagés : 1) guidage et suivi textuel et vocal de l’utilisateur au cours de sa mobilité dans un site universitaire et 2) fournir des informations textuelles et vocales à un utilisateur lors de son déplacement dans un quartier défini.

Livrable : Référentiel d’évaluation du système d’aide à la mobilité

Activité 1.7

Evaluations de l’ergonomie du dispositif

L’évaluation de l’outil est prévue en deux temps et impose une phase de réingénierie du dispositif entre ces deux étapes.

Action 1.7.1

Évaluations expertes du prototype du dispositif

Objectif : Identifier les problèmes potentiels d’utilisabilité du dispositif.

Description du travail : L’évaluation experte consistera à analyser l’outil en interrogeant sa conformité aux critères ergonomiques reconnus dans le domaine des IHM (Interfaces Homme-Machine). Cette méthode n’implique pas les utilisateurs finaux. Elle est réalisée par plusieurs évaluateurs experts qui examinent l’interface de l’outil à partir de scénarios d’usage représentatifs de l’activité réelle des utilisateurs. Cette évaluation est réalisée de façon itérative (2 itérations), en amont de l’évaluation finale. Un délai pour la réingénierie du système doit être prévu avant l’évaluation finale, si des problèmes d’ergonomie sont détectés.

Prérequis : Disponibilité d’un prototype ou d’une maquette illustrant les éléments prévus des IHM (i.e. disponibilité des écrans et de leur contenu et, a minima, d’une description des enchainements d’écrans prévus).

Livrable : Le livrable présentera (1) des fiches problèmes dans lesquelles seront décrits les problèmes ergonomiques détectés, (2) les points forts identifiés et (3) les recommandations ergonomiques proposées pour l’amélioration de l’ergonomie du dispositif d’aide au déplacement.

Action 1.7.2

Tests utilisateurs

Objectif : Cette étape consiste à confronter une version fonctionnelle et quasi finale du dispositif auprès d’utilisateurs finaux afin de s’assurer de son utilisabilité et de son acceptabilité a priori par les utilisateurs. Seule cette évaluation finale réalisée auprès d’un panel représentatif d’utilisateurs cibles permet d’assurer de la conformité du dispositif aux besoins des utilisateurs et s’assurer de son utilité et utilisation.

Description du travail : Des tests utilisateurs seront menés sur le dispositif de lunettes à réalité augmentée afin de confronter le dispositif à un panel réduit d’utilisateurs.

Le protocole de test sera élaboré et soumis à l’ensemble des partenaires du projet. Il décrira le déroulement du test utilisateur, les précautions à prendre pour les passations, le planning prévisionnel des passations, le profil des participants, les consignes de test, les données recueillies (données objectives et subjectives) et la méthodologie d’analyse.

Les tests seront menés dans les deux contextes réels d’utilisation prédéfinis : i) déplacements à l’université de Lille 2 pour tester un scénario de déplacement dans le campus avec utilisation des transports en commun (université multi-sites), d’un étudiant atteint d’une maladie neuromusculaire et se déplaçant en fauteuil roulant et ii) déplacement en ville (ville et quartier à définir par le CRNT) pour tester un scenario de déplacement auprès d’infirmes moteur cérébraux avec difficultés de lecture.

Tous les comportements et verbalisations des utilisateurs seront enregistrés. L’analyse des données mettra en évidence les points forts et les points faibles du dispositif du point de vue de leur utilisabilité (ex. intuitivité, facilité d’utilisation, acceptabilité a priori, etc.).En fin d’évaluation, une « analyse à chaud » avec les utilisateurs sera réalisée sous forme de débriefing afin de mieux comprendre les causes des éventuels problèmes rencontrés.

Au total, les tests seront menés auprès de 8 utilisateurs par profil, i.e. 8 étudiants avec maladie neuromusculaire et 8 adultes infirmes moteur cérébraux avec difficultés de lecture.

Prérequis :

• Disponibilité du dispositif fonctionnel modifié selon les recommandations
• Accès et disponibilité aux utilisateurs finaux

Livrable : Un rapport d’évaluation présentera une analyse fine des comportements des utilisateurs cibles confrontés au dispositif. Ce document décrira les aspects positifs du dispositif, les problèmes d’ergonomie détectés et donnera des solutions d’amélioration pour la conception.