Hololens : la technologie au cœur des musées
mar, 27/04/2021 - 09:20
Hololens est le casque de réalité mixte de Microsoft. La première version a été commercialisée en 2017. Hololens 2 est sortie à l’automne 2019. Ce casque, mêlant réalité virtuelle et réalité augmentée, se positionne comme une solution professionnelle pouvant adresser des usages très divers : santé, formation, support aux techniciens, conception, etc. Le monde culturel, et particulièrement les musées, est un consommateur de nouvelles technologies et de nouvelles approches pour l’étude des objets, mais aussi pour créer de nouvelles expériences avec le public. Hololens peut aider à cette évolution / révolution.
Hololens : côté technique
Visuellement, Hololens évolue relativement peu entre les différentes itérations. Il s’agit d’un casque rappelant les casques de Tron Legacy. Toute l’électronique, et les capacités de traitement sont embarquées dans l’arceau et à l’arrière. Et comme il s’agit d’un casque de réalité mixte, à l’avant, on dispose de deux écrans et d’une série de caméras et de capteurs. On a l’impression de porter de grosses lunettes de protections.
Côté technique, Hololens 2 embarque :
- Des écrans 2K avec affichage 3D
- 4 caméras de tracking des mouvements de la tête + capteur pour suivre les mouvements des yeux
- Capteurs de profondeur, accéléromètre, gyroscope et magnétomètre
- Audio : micro et son spatialisé
- SoC Snapdragon 850, HPU (pour gérer l’affichage holographique)
- 4 Go de RAM, 64 Go de stockage, WiFi, Bluetooth, USB-C
- Autonomie : 2 à 3h en utilisation
- Poids : 566g
Côté logiciel, Hololens embarque Windows Holographic, une édition spécifique de Windows adaptée aux usages de la réalité mixte. Pour la partie collaboration, partage documentaire, on dispose de Dynamics 365 Remote Assist et Guides. Pour les développeurs, on dispose tout d’abord d’une édition développeur du casque. Pour l’expérience 3D immersive, Hololens est compatible avec Unity et le plug-in PiXYZ. Pour étendre le modèle de développement, Hololens s’appuie sur Azure grâce aux services dédiés à la réalité mixte dont les services d’IA, de machine learning, Azure Kinect DK, Spatial Anchors, Azure Remote Rendering (idéal pour les rendus complexes).
Hololens : côté muséal
Si nous prenons les musées, les monuments historiques, Hololens permet une autre expérience, une dimension totalement immersive dans laquelle le visiteur peut interagir, « naviguer », agrandir, accéder à des informations complémentaires telles que des médias supplémentaires. Bref, la réalité mixte apporte la « 4e dimension ».
Un Mont-Saint-Michel en réalité mixte avait été conçu pour le musée des plans-reliefs de Paris. Grâce à Hololens, le visiteur accédait à la chronologie du monument, les détails inaccessibles.
La réalité mixte peut aussi augmenter une visite d’un monument, par exemple, en créant des personnages historiques qui vont guider et interagir avec le visiteur et même recréer une ambiance sonore grâce à la spatialisation du son diffusé par le casque.
L’immersion peut être à plusieurs niveaux, car n’oublions pas que la réalité mixte est un mélange du monde réel et de la réalité virtuelle. Ainsi, on peut « calquer » le virtuel sur le réel, créer des scénarios, des visites inédites, utiliser et afficher des archives sans les endommager, etc. Hololens a l’avantage de pouvoir créer des réalités que l’on peut manipuler avec les mains, défiler dans le mouvement du corps, s’adapter là où les yeux regardent, etc. Le casque embarque tous les capteurs nécessaires pour créer ces interactions. On peut ainsi utiliser des immersions sensorielles, narratives et symboliques.
Bref, on change radicalement l’expérience que l’on peut avoir et c’est le cas dans les classes, la découverture des sciences ou encore dans le monde médical (de bons exemples sont visibles dans la série Good Doctor), par exemple, pour s’exercer à une opération ou encore modéliser dans la réalité mixte des résultats d’examens.
Pour étendre les possibilités, Microsoft a conçu des services Azure dédiés à la réalité mixte. Certains traitements, notamment dans les rendus 3D, le casque embarque un puissant processeur, l’usage du cloud comme back-end de traitement est alors nécessaire.
Il n’y a cependant pas de magie dernière. Pour créer ces usages, ces applications, il faut créer les projets, développer les applications, traiter parfois des milliers d’images et des centaines d’heures de modélisation pour générer l’application finale.
Quelques ressources
Mont-Saint-Michel, vidéo de présentation : https://youtu.be/kHvG23NAKSw
Libération de Paris : https://youtu.be/rLGN0V1o4JA
Les webinars pour comprendre l’usage d’Hololens
29 avril : how retailers from luxury goods and fashion industries are leveraging mixed reality to face their new business challenges
https://mktoevents.com/Microsoft+Event/265099/157-GQE-382?OCID=AID3031105_OLA_25617962_300571164_148968919
6 mai : de l’idée à l’adoption, le déploiement de la chirurgie augmentée par Wright Medical
https://mktoevents.com/Microsoft+Event/262994/157-GQE-382?OCID=AID3031105_OLA_25617962_300564273_148966150
12 mai : la réalité mixte au service de nouveaux défis de l’industrie
https://mktoevents.com/Microsoft+Event/266116/157-GQE-382?OCID=AID3031105_OLA_25617962_300717352_149045826
20 mai : La réalité mixte au service des nouveaux défis des musées
