Archives pour la catégorie VR/AR/MR

Réalité augmentée grâce au mode PassThrough (Quest 2)

Le casque Meta Quest 2 (autrefois Oculus puis Facebook) dispose d’une fonctionnalité très intéressante pour les programmeurs de la réalité augmentée.

Comment ça ? Le Meta Quest 2 n’est-il pas un casqcue de réalité virtuelle ?

Bien évidemment et c’est ce qui fait sa spécificité. C’est un super casque de réalité virtuelle, il est autonome, ne nécessite pas d’ordinateur ou d’ordinateur, ne nécessite pas de système de captation extérieur. Il propose du 6DoF (6 degrés de liberté) , c’est-à-dire que vous pouvez vous déplacer, bouger la tête dans tous les côtés comme dans la vie réelle. Il est par ailleurs entièrement accessible pour toutes les bourse (350 €) et offre des innovations intéressantes comme la captation des mains, c’est-à-dire que vous n’avez pas besoin de manettes pour interagir dans votre environnement virtuelle. Pour la petite histoire, je faisais la même chose il y a 5 ans avec un HTC Vive (cf. vidéo ci-dessous) sauf que j’avais besoin d’un PC (Le Vive n’était pas autonome), il y avait des éléments de captation extérieur (le casque, pour gérer le 6DoF, nécessitait l’installation de capteurs infrarouge à mettre sur trépied) et pour détecter les mains je devais coupler une LeapMotion au casque.

Mon implémentation avec l’HTC Vive

Donc oui, le Quest 2 est parfait pour la réalité virtuelle. Mais comment peut-il se positionner dans le domaine de la réalité augmentée ?

Pour faire simple, sachez que le Quest 2 possède des caméras infrarouges. Ces caméras servent à détecter votre environnement et en partie vos mouvements pour le 6DoF. Elles sont toujours actives lorsque vous faites une session de réalité virtuelle, sauf que vous ne le savez pas. L’idée est finalement simple, offrir la vision infra rouge à l’intérieur de l’expérience VR et laisser la possibilité d’afficher des éléments 3D.

Certes les caméras infrarouge renvoient l’environnement en noir et blanc (nuances de gris) mais les hologrammes, eux, restent en couleur. Nous sommes loin d’un fonctionnement de l’Hololens mais le casque offre un avant-goût des fonctionnalités au plus grand nombre.

Par ailleurs le mode Pass Through offre la fonctionnalité de pouvoir rapidement passer de la réalité augmentée vers la réalité virtuelle, et vice-versa.

La réalité augmentée se fait plus précise chez Apple

Cela fait des années que l’on en parle, des années que l’on entend parler de l’entré d’Apple de la réalité augmentée. Plus précisément, on a attendu – qui a dit espéré ? – son arrivé dans la réalité virtuelle, puis la réalité augmentée et enfin la réalité mixte depuis environ 5 ans.

Pourquoi une telle attente ? Tout simplement parce qu’Apple est connu et reconnu pour son expérience utilisateur. Beaucoup de ses clients sont fiers de la marque, des produits et, nonobstant des prix élevés, sont heureux d’acheter de nouveaux appareils. Tout est parfait, de l’emballage à la qualité produit jusqu’au plaisir de l’utilisation. Ceci existe pour de nombreuses marques, fort heureusement, mais Apple donne une projection sur le marché.

A l’époque où de nombreuses marques se concurrençaient sur les PDA (Personal Digital Assistant) avec des produits techniquement plus performants les uns que les autres, Apple est arrivé avec un iPhone sans copier-coller mais dont l’usage était simple, efficace et, qui plus est, beau.

Apple s’est positionné dans le domaine du « luxe IT ». Ce positionnement est volontaire et tient tant à la qualité des produits qu’à l’image que la société cherche à véhiculer. Ne nombreux produits sont équivalents, voire meilleure, que ce que cette société produit. Apple développe nombre de ses composants, y-compris des processeurs, mais fait également appel à l’extérieur. Le secret d’Apple n’est réside ainsi pas uniquement d’un point de vue IT, mais également marketing car la société créé de l’engouement. Quand Apple rentre dans un domaine, il convient assurément de s’y intéresser.

Apple est présent depuis longtemps dans la réalité augmentée et produit des choses hallucinantes, notamment avec ses iPhone Pro 12 et 13 équipés de Lidar. Mais ce que l’on attend le plus, et depuis des années, est un casque. Les choses semblent bouger chez la marque à la pomme, le sujet est à suivre de près. Pour en savoir plus, c’est ici.

Réalité virtuelle, Vive Flow et SDK

Peut-être ne l’attendiez-vous pas, mais ça y est le Vive Flow d’HTC est disponible. Que nous apporte ce casque vis-à-vis de ses concurrents ?

Tout d’abord doit-on parler de casque ? Avec ses 189 grammes au compteur… pardon, à la balance… il s’apparente plus à des lunettes qu’à un casque. Et c’est d’ailleurs la volonté affichée de Vive ; il suffit d’observer l’apparence de ce casque/lunette pour s’en rendre compte. Deux visières, des branches pour lunette, ça y est la réalité virtuelle bascule, devient opérationnel, transportable.

Est-ce vraiment le cas ? Tout dépend du point de vue. Tout d’abord le Meta Quest 2 est lui aussi transportable. Certes, plus gros, plus lourd, mais plus autonome avec un tracking étendu des mains et des manettes, ce qui n’est pas le cas du Vive. Son tracking est plus perfectible et en guise de manette il faut utiliser son téléphone Android ; passez votre chemin si vous êtes sur iPhone.

Avec une batterie limitée (ce qui se comprend vu le poids), le Vive Flow a été prévu pour pouvoir se connecter à des batteries extérieures au besoin, la batterie interne ne durant que quelques minutes. S’il supporte du 6DoF (six degrés de liberté qui permettent de se déplacer dans l’environnement virtuel), le casque/lunette a surtout été imagé pour une utilisation statique, dans son canapé, devant son bureau, dans sa voiture (en tant que passager) avec un accent fort mis sur la méditation, le calme ou le divertissement (il est très facile de projeter du contenu Netflix).

Niveau code, le Vive Flow se programme de plusieurs façons mais les plus intéressantes sont bien Unity (pour sa rapidité d’implémentation) et Unreal Engine car la programmation reste homogène avec ce que l’on connait sur d’autres casques. Il convient toutefois de faire attention aux problématiques de performance. Si le casque est équipé d’un système de refroidissement intelligent, il n’offre pas le niveau classique connu jusqu’alors. Il convient d’être attentif à vos créations et aux activités que vous proposez dans l’univers VR.

Le HTC Focus 3, un casque orienté business et performance

Les choses se précisent dans le monde de la réalité virtuelle avec la sortie du HTC Focus 3. J’ai eu la chance, avant sa sortie, d’assister au main event d’HTC et de découvrir les espoirs de l’entreprise dans ce domaine.

Le HTC Focus 3 est clairement destiné aux professionnels, ça a été dit, répété, re-répété, un nombre incalculable de fois car dans la stratégie HTC on distingue les casques qui nécessitent un PC , ceux qui nécessitent des éléments extérieurs pour le tracking, ceux qui sont autonomes et ceux qui visent les entreprises.

Ce dernier segment est particulier car le casque coûte cher (1300€) mais est autonome, ce qui correspond à un usage entreprise car l’achat d’un PC 3D n’est pas chose courante dans le domaine professionnel classique.

Avec une résolution graphique impressionnante de 5K, du son immersif, un système de refroidissement intégré, la captation des mains, un réglage précis de la vision et surtout un système de streaming efficace, le HTC Focus 3 est une belle option si vous souhaitez créer des applications VR professionnelles.

Côté programmation, Vive nous offre une ribambelle de fonctionnalités grâce à une API particulièrement abouti sur Unity. Le fabricant qui se positionne comme un acteur essentiel du Metaverse propose même un système de télétravail à distance et des API auxquels le développeur peut se connecter. Affaire à suivre !

Azure IOT : et si vous implémentiez simplement la vision dans vos projets ?

Microsoft a récemment lancé Azure Percept, une plateforme simple d’emploi et sécurisé qui facilite la création de solutions de type edge computing nécessitant de l’intelligence artificielle. Pour rappel, l’edge computing consiste à traiter les données en périphérie du réseau, c’est-à-dire près de la source de données elle-même et non pas de façon centralisée sur des serveurs, généralement dans le cloud. Outre le temps de réponse, on gagne en charge réseau et en autonomie.

Avec Azure Percept Il est ainsi possible de démarrer rapidement ses POCs (Proof Of Concepts) grâce à un hardware qui s’insère rapidement dans Azure AI et Azure IOT Services. Comme les autres IoT services, percept est un mélange de matériel et de sofware qui tire parti du cloud. Les développeurs hardware ont ainsi la possibilité d’utiliser les composant Microsoft dans leurs propres devices, tout en ajoutant leurs propres fonctionnalités. Percept, comme le précise le titre de cet article, est dédié à la vision et à la reconnaissance.

Microsoft propose le développeur kit à partir de 349$ auxquels il faut ajouter 79$ si l’on souhaite un capteur audio. Percept embarque une puce Intel Movidius Myriad dédiée au machine learning et aux réseaux de neurones dédiés à la vision. Cette puce soulage l’environnement processeur ARM-64 bit de 4 cores, 4GB de RAM et 16GB de stockage. L’ensemble propose une connectivité Ethernet, le Wifi ou blutooth.

Microsoft créé Mesh et pousse la réalité mixte à un niveau incroyable

Qui n’a jamais rêvé de l’holoportation ? Microsoft a créé un nouveau mode de télétravail qui permet au équipes de collaborer ensemble et de se voir, par avatar interposé.

Joindre la puissance de la réalité mixte, avec l’Hololens, avec les possibilités d’immersion de la réalité virtuelle tout en intégrant la capture de l’individu est désormais possible, le tout avec Azure en toile de fond. C’est impressionnant, c’est puissant et c’est fondamentalement à tester

Voir la suite

Il revit des instants avec sa femme décédée grâce à la réalité virtuelle

Si le sujet est philosophiquement et psychologiquement discutable pour des raisons d’éthique ou d’impact sur l’individu, certains ont déjà tranché. La réalité virtuelle peut permettre de revivre des instants, ou en créer de nouveaux, avec des êtres disparus. Pour peu que ceux soient modélisés en 3D, que l’on prenne soin d’adapter leurs mouvement, postures, tenues mais également voix, et les retrouvailles sont plus que saisissantes.

C’est exactement ce qui arrive à cet homme dans la vidéo ci-dessous. Il a fallu plus de 6 mois à cette entreprise coréenne pour rendre cette prouesse possible, en prenant soin de faire intervenir une actrice pour que les mouvements et la voix soient adaptés. L’homme a pu revoir sa femme devant ses enfants émus et a pu, selon la société, faire son deuil.

Des chaussures pour la VR

La réalité virtuelle est en pleine croissance. Et si les constructeurs ont fortement améliorés le rendu visuel, il y a des pans entiers rigoureusement indispensables qui sont encore manquants. Il y a l’odorat, l’haptique c’est-à-dire le toucher et la kinesthésie, c’est-à-dire la perception du placement du corps dans l’espace qui nécessitent d’être améliorés.

Ici, c’est une idée particulièrement intéressante, comment laisser l’utilisateur se déplacer dans une large surface virtuelle. Jusqu’à maintenant la réponse la plus connu est de permettre la téléportation virtuelle ; l’utilisateur choisit une zone avec sa manette, clique sur un bouton et se téléporte. Cette solution n’existe pas dans la vie réelle et est bien évidemment un pis-aller pour le développeurs. Il est impossible de savoir la place dont disposera l’utilisateur chez lui ou dans son entreprise et il faut donc ruser.

Une alternative au déplacement est d’utiliser des systèmes de déplacement comme le 3dRudder qui s’utilise en position assise. Pas de téléportation, une action des pieds, mais qui s’apparente au déplacement d’une voiture en mode multidimensionnel (possibilité de glisser vers la gauche, la droite, etc).

3D-rudder

Une autre solution est de disposer d’une plateforme pour se déplacer de type KatVR (il en existe plein d’autres). L’idée de se type de plateforme est de reposer sur une forme de tapis roulant qui peut s’orienter dans toutes les directions. Ca fonctionne très bien, mais il faut non seulement retenir l’utilisateur par une ceinture, mais il faut également considérer que le système ne se transporte pas aisément partout.

Plateforme de déplacement

Et si la solution reposait sur des chaussures adaptées ? Des chaussures capables de s’adapter à votre mouvement, c’est -à-dire capable de vous laisser marcher tout en faisant en sorte de vous faire rester sur place ? C’est exactement ce qu’Ekto vous propose. Les chaussures semblent impressionnante mais il semblerait qu’elles soient légères et que la technologie s’améliorera.