La keynote de la WWDC a été très très riche en présentations et annonces. Beaucoup de nouvelles API pour les différents OS, des évolutions profondeurs sur la Watch et iOS. La partie macOS est celle qui évolue le moins, du moins en surface. Nous ne parlerons pas ici des nouveaux Mac Studio, Mac Pro utilisant le monstre M2 Ultra qui promet beaucoup. Nous allons nous focaliser sur deux choses : 

1 Vision Pro

2 Platforms State of Union et les principales nouveautés pour les dévs !

One more thing : le casque 

Apple a dévoilé son nouveau projet technologique : une plate-forme complète de réalité augmentée, Apple Vision Pro. Le design ne ressemble à rien de connu dans le domaine. Même le Hololens ne va aussi loin dans la design et la transparence de la vision. Apple le présente comme un véritable ordinateur sur la tête, ce qu’il est finalement. Il possède des caractéristiques matérielles assez impressionnantes notamment sur la partie affichage. Pour Cook, Vision Pro suit la rupture technologique du Macintosh et de l’iPhone. 

Les équipes ont beaucoup travaillé sur une interface totalement immersive et 3D. C’est un Graal pour tous les acteurs du secteur sans jamais vraiment y arriver. Là, Apple y croit beaucoup et veut mettre macOS sur les yeux pour retrouver les réflexes communs tout en étant dans un environnement spatial bien plus grand. Le tout dans une ambiance immersive à en croire les démos (simulées pour le moment). Il y a l’usage productivité, sport, zen et bien entendu détente avec les contenus et les jeux. Ces usages sont connus. A voir si Vision Pro pourra apporter le "plus". 

Vision Pro a l’ambition de retirer les contrôleurs : les contrôleurs sont les mains et les doigts ! C’est une nécessité absolument pour être réellement naturelle. La voix ajoute son rôle central. Nous retrouvons donc Siri. L’autre défi est de rester connecté avec les autres et l’environnement. C’est le rôle de EyeSight. Les personnes apparaissent naturellement dans le champ de vision. Le casque est toujours synchronisé avec son Mac ou son iPhone pour retrouver les données, les mails, les contacts, les onglets. Vision Pro peut être vue comme une extension naturelle.

Le contenu est le défi de tous les constructeurs. Apple l’a bien compris en mettant en avant les contenus, les usages (pas réellement inédits). Disney a présenté les possibilités du casque et des contenus que la compagnie produira. Une app dédiée sera proposée ainsi que des contenus exclusifs. Cela promet beaucoup. 

Côté matériel, de nombreux défis ont été relevés : comment créer un casque léger et ajusté à la tête. On dispose d’une molette comme sur la montre pour faciliter les interactions. L’électronique est intégrée sur la partie lunette, l’arrière étant uniquement un grand bandeau. Le refroidissement est assuré par des aérations. On comprend mieux la complexité d’assemblage d’un tel ensemble (processeurs, écrans, capteurs, etc.). L’attache du casque (entre l’avant et le bandeau tissu) est fait par des clips. Les lentilles peuvent être changées selon la vue. Une batterie externe est disponible et se connecte avec un connecteur MagSafe. Ce n'est pas forcément élégeant mais cela évite d'alourdir le casque et devrait offrir une meilleure autonomie (nous n'avons pas vu d'informations sur ce sujet). 

Quelques spécifications :

- lentilles par Zeiss avec attache magnétique

- écrans micro OLED

- 12 caméras, notamment pour la profondeur, 4 sont installées à l’intérieur du casque pour traquer le mouvement des yeux

- 5 capteurs et 6 microphones

- un ensemble LiDAR est installé en frontal

- intégration d’un puce M2 

- nouvelle puce R1 pour le temps réel et gérer directement les capteurs, latence de 12 ms annoncée

La disponibilité annoncée est début 2024 aux Etats-Unis uniquement pour 3 499 $. D’autres pays arriveront courant 2024. A noter que l’OS est en cours de finalisation ainsi que les API et SDK. 

Session Platforms State of Union

C’est LA session technique à ne pas manquer à la WWDC. C’est là que nous avons toutes les principaux annonces techniques pour les dévs. Les sujets ont été nombreux comme chaque années : Xcode, Swift, le cloud, les nouvelles API et un aperçu de VisionOS. Aujourd’hui, plus de 300 frameworks sont disponibles. Apple annonce Swift Macros. Il s’agit d’une nouvelle annotation de codes pour aller plus vite et implémenter rapidement de nouvelles API. Différentes Macros seront proposées par défaut.

Autre annonce, Swift va assurer une meilleure interopérabilité avec C++ pour assurer le support du code C++. Ce qui devrait simplifier pas mal de choses en bas niveau. SwiftUI continue d’évoluer et d’étendre ses capacités pour construire rapidement des interfaces à travers les différents OS. Apple pousse son adoption par les dévs. SwiftUI va intégrer nombreux nouveaux éléments : Data Flow, gestures personnalisées, transitions sur les défilements, nouveaux graphiques, API Inspector, etc. On a aussi eu droit une présentation de Swift Data pour gérer les données. 

Sur la partie matérielle, les dévs pourront utiliser les nouveautés hardwares notamment dans le jeu avec de nouvelles possibilités avec les Apple Silicon. Apple présente un outil pour porter les jeux : Game porcins toolkit.

1 on évalue le jeu existant

2 on convertit, on compile les shaders avec le tout nouveau Metal shader converter !

3 conversion et optimisation des codes graphiques pour utiliser nativement Metal, MetalFX, le ray cracking, etc. 

Apple veur créer une véritable toolchain de gaming pour faciliter les portages de jeux windows (et autres) sur les OS Apple. Est-ce suffisant pour attirer les éditeurs de jeux ? On peut en douter, hormis sur iOS. 

Concernant VisionOS, la session a permis d’en savoir un peu plus sur la partie système et technologiques. De nombreuses fonctions seront disponibles dès le lancement, d’autres le seront au fur et à mesure. Apple veut préparer dès maintenant les développeurs. Des sessions dédiées aborderont ce nouveau monde, dans les prochains jours.

L’ambition est de construire une plate-forme complète pour les années à venir. Il faudra que les développeurs apprennent à concevoir des apps et des interfaces dans l’espace et non plus sur un monde 2D. Des guidelines seront proposés pour comprendre les couches et les différentes vues. La présentation est très intéressante pour comprendre les défis à relever. Pour les équipes Vision Pro, il y a 3 notions fondamentales à comprendre : fenêtre, volume et espace. La base technique reste SwiftUI et UIKit. Ils sont encapsulés dans un nouvel ensemble : RealityKit pour la vidéo / audio spatiale, Core animation et Core graphics. Sans oublier un élément connu depuis plusieurs années : ARKit disponible sur iOS et désormais largement mature. Unity supportera aussi Vision Pro et les équipes travaillent ensemble pour être prêt. 

Les équipes ont aussi abordé Xcode Cloud qui fait peu parler de lui mais qui étend l’expérience Xcode en profitant des services cloud pour le build, le test. Cette année, Apple annonce une amélioration des performances des flux. Le linker tire encore mieux parti des Apple Silicon. Avec les nouveaux OS, Apple annonce Xcode 15 qui est disponible en bêta. L’IDE veut fluidifier Swift et SwiftUI, améliorer le debug.

De nombreuses sessions techniques auront lieu toute la semaine notamment sur les nouveautés de Swift, les nouveaux OS, VisionOS, etc.