Blogue

Une nouvelle ère en réalité augmentée

6 août 2018

Nous vivons à une époque où les termes réalité augmentée (RA), réalité mixte (RM) et réalité virtuelle (RV) font désormais partie de notre vie quotidienne. Le monde augmenté a rapidement évolué à partir du système de RA original créé par Louis Rosenberg pour l’USAF en 1992 jusqu’à aujourd’hui où vous pouvez acheter un écran mobile monté sur la tête pour 20 $ à la pharmacie locale.

Prenons quelques pas en arrière avant de sauter dans ce « nouveau » monde. Quelle est la différence entre RV, RA et la RM ?

Paul Milgram a proposé le concept de « continuum de la virtualité ». Fondamentalement, il y définit les variations possibles de compositions entre les objets réels et virtuels.

Paul Milgram – 1994

Ce concept pourrait être interprété comme suit:

« Les meilleures technologies rendent l’invisible, visible ».
Beau Lotto

Réalité virtuelle

Le terme réalité virtuelle fait référence à une technologie qui simule la présence physique d’un utilisateur dans un environnement logiciel généré artificiellement. Cette réalité virtuelle crée un environnement avec lequel l’utilisateur peut interagir principalement de manière auditive ou visuelle.

Dans l’industrie du jeu vidéo, nous pouvons affirmer qu’une grande quantité de jeux vidéo immersifs sont apparus dans les salles de jeux électroniques au cours de la dernière année, ce qui a entraîné un boom du développement de la réalité virtuelle. Certains types de jeux vidéo se prêtent parfaitement à la réalité virtuelle.

Les jeux de réalité virtuelle ont, depuis le début, fait leur apparition en devenant de véritables simulateurs interactifs et avancés. Par exemple, les jeux d’horreur deviennent particulièrement effrayants dans une immersion VR. En particulier, les jeux de tir à la première personne permettent un sentiment de réalisme énorme, surtout en mode collaboratif. Les jeux d’aventure sont également particulièrement adaptés à la réalité virtuelle.

Jeu Tilt Brush, de Microsoft

Parmi l’expérience la plus jouée dans la réalité virtuelle durant le premier trimestre de 2018 se retrouve Tilt Brush par Google. Tilt Brush vous permet de peindre dans l’espace 3D avec la réalité virtuelle. Votre chambre est votre toile. Votre palette est votre imagination. Les possibilités sont infinies.

Les jeux I Expect You To Die ou Rick et Morty: Virtual Rick-Ality font également une grande entrée en 2018. I Expect You To Die est un jeu de puzzle en réalité virtuelle qui vous place dans les chaussures bien polies d’un agent secret d’élite. Vous devez tenter de survivre à des situations mortelles dans des environnements immersifs et dangereux. Terminez chaque opération en utilisant vos compétences de résolution de problèmes et d’intelligence, ainsi que le pouvoir de télékinésie que tous les agents sont équipés. Utilisez toutes vos ressources afin d’échapper à chaque situation, ou mourir en essayant !

Rick et Morty: Virtual Rick-ality combine le chaos VR absolu du jeu primé Job Simulator primé avec comédie dérisoire et sans concession de l’émission Rick et Morty. Nos héros. Rick et Morty, sont téléportés dans votre salon pour une aventure de réalité virtuelle de pointe. Dans le jeu, vous incarnez un clone de Morty alors que vous explorez le garage de Rick, la maison des Smith et des mondes extraterrestres.

Arizona Sunshine, l’un des meilleurs jeux de la réalité virtuelle en ce moment, est disponible sur Oculus Rift, HTC Vive et PSVR. Ce jeu de tir à la première personne développé par Vertigo Games propose aux joueurs de faire face à des hordes de zombies en mode Campagne ou Survie. Jusqu’à quatre joueurs peuvent coopérer pour vaincre des hordes de morts-vivants.

Superhot VR est également parmi les meilleurs jeux en réalité virtuelle. Dans ce jeu de tir à la première personne atypique disponible sur Oculus Rift, HTC Vive et PSVR, le temps n’a lieu que lorsque le joueur se déplace. Le résultat est un mélange de stratégie et d’action très agréable.

En résumé, la réalité virtuelle est une expérience interactive générée par ordinateur qui se déroule dans un environnement simulé, et qui intègre principalement des types de rétroaction sensorielle, tels qu’auditives et visuelles.

Comme nous l’avons vu avec les exemples ci-dessus, cet environnement immersif peut être similaire au monde réel ou il peut être purement fantastique.


La Réalité Augmentée

La réalité augmentée est la superposition de la réalité et des éléments (sons, images 2D, 3D, vidéos, etc.) calculés par un système informatique en temps réel. Différentes méthodes peuvent intégrer de manière réaliste des objets virtuels dans une séquence d’images. Elle s’applique aussi bien à la perception visuelle (superposition d’images virtuelles à des images réelles) qu’aux perceptions proprioceptives telles que les perceptions tactiles ou auditives.

Les jeux de réalité augmentée sont en train de devenir profondément implémentés dans toutes les sphères de nos vies. En particulier, ce fut le jeu Pokemon GO de Niantic qui a fait connaître cette technologie au grand public.

Comme vous le savez probablement, Pokemon GO est un jeu qui utilise votre géolocalisation (GPS) afin d’intégrer un champ de bataille virtuel dans un environnement physique réel, tel que votre voisinage. Le but principal du jeu est d’attraper et d’entraîner de nouveaux Pokémons, puis de combattre les autres joueurs.

Jetons un coup d’oeil sur un autre titre appelé Parallel Kingdom. Ce jeu en réalité augmentée utilise également votre position GPS pour vous placer dans un monde virtuel au-dessus du monde réel.

Parallel Kingdom est un jeu massivement multijoueur qui utilise des éléments de RPG territoriaux permettant au joueur de revendiquer des territoires en fonction de son emplacement actuel. Dans le jeu, vous rencontrez des monstres féroces à vaincre et des territoires sauvages à réclamer. Vous pourrez ainsi conquérir de vastes territoires sauvages et chasser des bêtes monstrueuses. Depuis votre lieu de vie réel, vous pouvez revendiquer un territoire virtuel dans votre propre cour ou voyager n’importe où dans le monde entier.

Pour ce faire, vous utiliserez votre appareil mobile pour découvrir des monstres, des ressources et des structures à l’aide de la technologie Google Maps GPS. Que vous cherchiez à revendiquer votre propre arrière-cour ou Machu Picchu, vous pourrez construire, protéger et étendre vos terres. Avec chaque drapeau que vous plantez, vous apporterez la civilisation à une frontière sauvage. Cela ne s’arrête pas là, créez un réseau d’amis pour construire une Cité ou un Royaume et faites la guerre à vos ennemis.


Le jeu Jedi Challenge de Lenovo est le plus proche de la bataille du sabre laser Jedi. En partenariat avec Disney, ce jeu en réalité mixte utilise un casque spécial qui vous propulse dans l’univers de Star Wars. Faites l’expérience de ce que l’on ressent lorsqu’on manie un sabre laser pour la première fois et affrontez des ennemis dans votre propre salon. Sentez les attaques de vos adversaires avec le retour de force. Le micro-casque Lenovo Mirage AR est conçu de manière ergonomique pour une immersion maximale dans le jeu. Le jeu fournit également une balise assurant un suivi précis de votre emplacement, tout en élargissant et remplissant l’environnement autour de vous avec un univers de réalité augmentée immersive.

Perfectionnez vos talents de sabre laser en affrontant certains des méchants les plus menaçants que le côté obscur a à offrir. Le jeu vous permet également de vous engager avec des joueurs dans des batailles multijoueurs locales 1-sur-1 pour voir qui deviendra le duelliste ultime de sabre laser.

En somme, la réalité augmentée a de multiples applications en dehors du jeu et touche de plus en plus de domaines, tels que l’éducation par le jeu, les chasses au trésor virtuelles, le cinéma et plus encore.

Réalité Mixte

La réalité mixte est un terme pour les dispositifs de visualisation de contenu 3D à travers un casque dédié. Par définition, ce terme est un mélange entre réalité augmentée et réalité virtuelle. Bien que plus proche de la réalité augmentée, elle reste différente par la technologie qu’elle intègre.

La principale différence entre la réalité augmentée et la réalité mixte est la capacité du casque à prendre en compte l’espace réel, grâce aux capteurs intégrés dans le casque. La position de l’utilisateur est également calculée en temps réel. Ceci est une version améliorée de la réalité augmentée. De plus l’ensemble permet d’interagir physiquement avec les éléments en 3D à travers une série de gestes. Il peut également s’agir d’une couche d’éléments virtuels superposés avec précision sur un terrain réel.

Démo de HoloLens, par Microsoft

Les limites de la réalité mixte ont atteint de nouveaux sommets grâce à une démo de la technologie HoloLens de Microsoft. On y montre un joueur qui construit quelque chose dans Minecraft avec des interactions très réalistes avec le monde réel qui l’entoure. Grâce aux lunettes de réalité augmentée de Microsoft, cet utilisateur a pu donner l’illusion que les mondes virtuels étaient réellement mélangés avec le monde réel puisque les HoloLens intégraient directement les images virtuelles sur des surfaces, comme une table. Dans la démo, cet utilisateur peut interagir avec la carte, les éléments et les caractères affichés devant lui.

Hero Vision: Expérience AR Iron Man, par Hasbro et BKOM Studios

Hero Vision est une nouvelle technologie qui met les enfants dans un monde où ils sont le héros. Avec l’équipement Hero Vision, les enfants découvrent un gameplay inspiré de Avengers: Infinity War. Êtes-vous prêt à vous habiller comme Iron Man ? En utilisant des symboles spéciaux sur le gant Iron Man et leurs lunettes Hero Vision Iron Man AR, les joueurs peuvent combattre les ennemis depuis leur propre salon.

En somme, la réalité mélangée est la fusion du monde réel et d’un monde virtuel. Ce mélange produit un nouvel environnement et des visualisations où les objets physiques réels et numériques du monde virtuel coexistent et peuvent interagir en temps réel. Grâce à une technologie immersive, un nouveau monde mélange le réel et le virtuel est créé.

Chez BKOM Studios,

BKOM Studios expérimente avec la réalité augmentée depuis les débuts de Vuforia, un logiciel de détection visuelle utilisé en réalité augmentée. Depuis lors, nous avons expérimenté d’autres technologies (SDK) basées principalement sur des marqueurs fiduciaires (visuels) tout en ajoutant nos propres innovations en essayant différentes combinaisons.

Prototype interactif de table AR / VR (Toy Fair 2017)

Cette table imposante combine des technologies de réalité mixte ainsi que des jetons et des cartes à jouer RFID afin de créer une expérience de jeu unique! Déplacez vos jetons sur la table et voyez vos personnages virtuels se déplacer et se battre les uns les autres. Utilisez des cartes magiques pour lancer des sorts sur votre adversaire ou soigner votre personnage. Ce prototype attire certainement l’attention du public à chaque fois qu’il est affiché !


BKOM Reality Castle Siege prototype (Toy Fair 2018)

À l’aide d’une tablette numérique, vous pouvez voir un château virtuel 3D apparaître autour d’une tour en plastique sur une surface. Vous pouvez ensuite utiliser la tablette pour tirer des personnages autour du château pour détruire leurs murs, tandis que des archers tentent de défendre le château. En changeant de personnage dans un tonneau en plastique, le joueur peut changer de personnage dans le jeu, selon sa stratégie.

Conclusion

La venue d’ARKIT, d’Apple, & ARCore, de Google, a été une véritable révolution. Avec ces technologies, les repères fiduciaires sont devenus obsolètes et ont été remplacés par un nouveau matériel permettant l’odométrie inertielle visuelle et la compréhension de la scène.

Comme ARKIT est disponible avec tous les nouveaux iPhones et iPads, et ARCore est livré avec les plus récents appareils Android, la disponibilité de ces technologies est moins puisque la plupart des gens auront les téléphones les plus récents plutôt que d’acheter un casque VR complet. Le contenu de réalité augmentée est maintenant plus accessible que jamais et se sent plus intégré dans le monde réel.

Alors, qu’est-ce que l’avenir nous réserve ? Comment allons-nous pouvoir continuer de minimiser l’écart entre virtuel et réel ? À notre avis, la combinaison de ARKit / ARCore et de l’apprentissage automatique est une excellente recette pour rendre l’invisible, visible.
Avec l’apprentissage automatique, nous pouvons créer des expériences qui non seulement permettent de comprendre la géométrie de la scène, mais aussi de comprendre en quoi consiste le monde réel. Des expériences qui peuvent non seulement faire de la parole au texte, mais aussi interpréter des émotions et des sentiments. Les technologies d’intelligence artificielle comme IBM Watson sont aussi d’excellents outils à exploiter.

Avec toutes ces grandes technologies, les développeurs peuvent créer et innover constamment en essayant différentes combinaisons. Nous vivons une époque très excitante et l’équipe de BKOM Studios est heureuse de continuer ainsi d’explorer à la fine pointe de la technologie !