La réalité virtuelle

Les principaux dispositifs d'interaction

Les systèmes de réalité virtuelle utilisent différents dispositifs qui permettent à l'utilisateur d'agir sur le monde virtuel. Pour ce faire, deux types de dispositifs sont essentiels : les dispositifs d'entrée et les dispositifs de sortie. En anglais, ces dispositifs sont appelés I/O devices (Input and Output devices).

Les dispositifs d'entrée ont pour tâches de traquer les mouvements de l'utilisateur et de permettre à ce dernier d'agir sur le monde virtuel et ses objets. Les dispositifs de sortie ont pour tâche de tromper les sens de l'utilisateur à l'aide de dispositifs visuels, auditifs et tactiles. L'odorat et le goût sont des sens qui sont peu exploités.

Un même dispositif d'interaction peut combiner plusieurs fonctions. Par exemple, un traqueur peut être combiné à un gant de données servant à manipuler des objets, auquel un dispositif de retour d'effort est ajouté. Bien sûr, le moteur de RV doit effectuer des calculs entre l'action de l'utilisateur (entrée) et la rétroaction qui y correspond (sortie).

Traquer les mouvements de l'utilisateur

Pour réussir à adapter le monde virtuel aux actions de l'utilisateur, le moteur de RV doit connaître les coordonnées liées à la position de l'utilisateur. Par exemple, pour afficher le bon angle de vue, le moteur de RV doit suivre, à l'aide d'un traqueur, la position et l'orientation de la tête de l'utilisateur.

Un traqueur permet de transmettre en temps réel au moteur de RV les changements de position et d'orientation dans l'espace d'un objet en 3 dimensions. En général, les traqueurs mesurent les mouvements de la tête, des mains ou des membres de l'utilisateur. Pour situer un objet 3D dans l'espace, le moteur de RV doit connaître 6 paramètres (3 angles et 3 distances) liés aux 6 degrés de liberté (6 DOF — degree of freedom). Par comparaison, la souris conventionnelle ne transmet que deux paramètres (x,y) sur un plan en 2 dimensions.

Selon le mode de transmission des paramètres privilégié, plusieurs types de traqueurs sont disponibles, dont :
• les traqueurs mécaniques;
• les traqueurs électromagnétiques;
• les traqueurs optiques;
• les traqueurs acoustiques.

Un même système de RV peut utiliser plusieurs traqueurs positionnés à des endroits stratégiques associés aux dispositifs d'interaction.

Manipuler le monde virtuel et ses objets

On peut naviguer dans un environnement virtuel à l'aide d'une simple manette de commande [NeoWand™] ou encore à l'aide d'une souris 3D [SpaceBall® 5000]. Ces dispositifs de base permettent à l'utilisateur d'effectuer des déplacements gauche/droite et avant/arrière. Des boutons de commande permettent également de sélectionner des objets virtuels.

D'autres dispositifs, comme la souris cubique développée en Allemagne par IMK (Fraunhofer Institute for Media Communication), permettent des manipulations plus complexes. La souris cubique est surtout destinée à la conception assistée par ordinateur (CAO).

On peut également manipuler des objets à l'aide de gants de données (gants sensitifs) qui mesurent les mouvements des doigts par rapport à la main. La position de la main est transmise au moteur de RV à l'aide d'un traqueur souvent fixé au poignet. Selon le type de gants, trois principaux dispositifs sont utilisés pour mesurer les mouvements des doigts :
• la mesure par déformation de fibres optiques [5DT Data Glove 16], principe utilisé dans le premier gant de données en 1981, le DataGlove, introduit par VPL en 1987;
• la mesure par effet Hall, principe basé sur une structure exosquelettique utilisée par le MIT (Massachusetts Institute of Technology) et l'Université d'Utah pour le Dextrous Hand Master, introduit en 1990 par la société Exos;
• la mesure par variation de résistance [CyberGlove], principe qui utilise des jauges de contraintes fixées à un matériau élastique inventé par Jim Kramer et introduit par la société Virtex en 1992.

Calculer la rétroaction à grande vitesse

Les dispositifs qui permettent à l'utilisateur d'interagir avec les environnements virtuels sont reliés à un ordinateur. C'est le moteur de RV qui est chargé de calculer et de mettre à jour l'environnement virtuel après chaque modification demandée par l'utilisateur (angle de vue, manipulation d'un objet, déplacement physique). Selon la modification transmise par l'utilisateur, le moteur de RV devra fournir une rétroaction visuelle, auditive ou tactile. Des dispositifs spéciaux seront alors chargés de transmettre cette rétroaction à l'utilisateur.

Plus la quantité d'informations visuelles à calculer est importante, plus la puissance du moteur de RV doit être élevée. Ainsi, les mondes virtuels destinés à l'affichage de très grand format, comme les voûtes d'immersion ou les dômes, nécessitent un et, parfois, même plusieurs ordinateurs de la taille d'un réfrigérateur.

Cependant, il est possible de remplacer ces grosses machines par plusieurs ordinateurs moins puissants, qui se partagent alors le travail. Les progrès réalisés par les fabricants de puces électroniques dans l'industrie du jeu vidéo permettront éventuellement d'utiliser des ordinateurs moins coûteux et plus compacts en guise de moteur de RV [Building an Affordable Projective, Immersive Display].

Voir en 3 dimensions

La vision humaine est un système complexe. Sans entrer dans les détails, on peut dire, de façon générale, que c'est la vision binoculaire (avec les 2 yeux) qui nous permet de percevoir la profondeur. L'image captée par l'œil gauche et celle captée par l'œil droit sont perçues selon des points de vue différents à cause de la distance qui sépare les pupilles. L'interprétation par le cerveau de ces deux images permet alors d'apprécier la profondeur. Si la perception de la profondeur est aussi possible avec la vision monoculaire, c'est que nous avons appris, depuis le tout jeune âge, à utiliser certains indices visuels, comme les ombres et la lumière, ou encore la perspective.

Différents dispositifs permettent de simuler la vision stéréoscopique (3D, en relief) dans un monde virtuel. Selon le dispositif utilisé, l'affichage des images destinées à l'œil gauche et celles destinées à l'œil droit (paires stéréoscopiques) utilise des procédés différents :
• les lunettes polarisantes (passive stereo glasses), comme celles utilisées par IMAX, filtrent les deux images superposées de façon à ce que l'œil droit ne voit que les images qui lui sont destinées et vice-versa;
• les lunettes à obturation (active stereo glasses) [CrystalEyes] sont dites actives parce qu'elles sont synchronisées avec l'affichage de façon à obturer la vue de l'œil gauche lorsque l'image droite est affichée, et vice-versa. Les images gauche et droite sont affichées en alternance à grande vitesse (50 à 60 obturations par seconde pour chaque œil);
• les dispositifs portables comme les casques de visualisation [VR1280 Head Mount Display] utilisent deux écrans (LCD ou CRT miniatures), réalisant ainsi la séparation des paires stéréoscopiques à la source.

Bien sûr, les images monoscopiques (2D) ne requièrent aucun dispositif spécial puisqu'on utilise alors les indices visuels pour donner une illusion de 3D. Cependant, certains écrans d'ordinateurs [SeeReal Technologies] sont déjà équipés d'un dispositif autostéréoscopique qui évite le port de lunettes.

Entendre en 3 dimensions

Le relief sonore (son 3D) est souvent confondu avec la stéréophonie, qui crée une illusion de relief en séparant les sons selon deux sources : gauche, droite. Muni d'un casque d'écoute, l'utilisateur qui tourne la tête entendra toujours les sources sonores se déplacer avec lui. C'est un environnement sonore dit interne.

Un environnement sonore naturel (externe) comprend des sons qui se produisent chaque fois qu'un corps bouge à une vitesse suffisante pour envoyer une onde à travers le milieu (air, eau, matière), dans lequel elle vibre. Simuler en temps réel les différentes lois de la physique impliquées dans la transmission des vibrations sonores n'est pas une chose simple. Cette tâche est d'autant plus difficile que les caractéristiques liées à la perception auditive varient d'une personne à l'autre.

Certains systèmes de son 3D, à l'instar du Convolvotron inventé en 1988, sont spécialement conçus pour reproduire des environnements sonores de réalité virtuelle. À titre d'exemple, la société Lake Technology propose les systèmes de la série Huron [Huron Digital Audio Convolution Workstation]. Basés sur la technologie brevetée Convolution, ces systèmes peuvent traiter jusqu'à 255 sources sonores différentes simultanément.

Toucher les objets virtuels

Simuler la présence de la matière et de ses propriétés nécessite de l'ingéniosité. Les sensations tactiles ressenties lorsqu'on manipule un objet virtuel sont reproduites à l'aide de dispositifs variés. Ces dispositifs visent deux fonctions principales : le retour tactile et le retour d'effort.

• Le retour tactile (tactile feedback)

Les sensations liées au retour tactile permettent d'apprécier la forme d'un objet, son volume, sa texture, sa température ou encore son mouvement. Ces caractéristiques sont captées par la surface de la peau lorsqu'on touche un objet. Les méthodes de retour tactile varient d'un dispositif à l'autre. On peut procurer une sensation tactile par vibration [CyberTouch], à l'aide d'une matrice d'aiguille ou encore à l'aide d'un mécanisme pneumatique [Rutgers Master II].

• Le retour de force (force feedback ou haptic feedback)

Les sensations liées au retour d'effort permettent d'apprécier la nature d'un objet d'après sa résistance, son élasticité ou encore son poids [CyberForce][PHANTOM®]. Ces caractéristiques sont captées par les sensations musculaires lorsqu'on manipule un objet. Les dispositifs de retour d'effort peuvent appliquer des forces variables sur l'utilisateur, résister partiellement à ses mouvements ou encore empêcher un mouvement.

Le domaine de la robotique contribue particulièrement au développement de dispositifs de retour tactile et de retour d'effort.

Pour voir d'autres dispositifs : The Haptic Community Web Site