Une des nouveautés de l'app Photos d'iOS 26 est la création d'une scène spatiale à partir d'une photo 2D. Cette technique est appelée SHARP par Apple. Le projet a été libéré sur GitHub. L'idée est de créer une scène 3D ou plutôt avec un vrai effet visuel de profondeur des objets et de tous les éléments de la photo. La fonction SCENE SPATIALE s'applique une simple photo prise sur un matériel iOS. 

SHARP utilise une technique particulière : la 3D gaussienne. Au lieu de s'appuyer sur un ensemble de polygones pour créer la 3D, SHARP utilise la gaussienne qui est constitué de petits volumes, de petits segments de la photo. SHARP doit alors traiter chaque segment pour créer cet effet "spatial" avec cohérence. La fonction est très rapide et ensuite il suffit de bouger son iPhone ou iPad pour voir le volume de la scène. Le tout avec une qualité photoréaliste.

SHARP s'appuie sur la GPU et le réseau neuronal du matériel.

Vous pouvez tester et créer des usages en installant SHARP en local. Il peut se coder en Python. Il est même possible de créer un rendu selon la trajectoire d'une caméra : --render. Cette possibilité est disponible uniquement en CUDA. 

GitHub : https://github.com/apple/ml-sharp

Une app web permet de tester SHARP : https://sharp-ml.vercel.app