AWS annonce S3 Files. "AWS place S3 au cœur des systèmes de données pour l'intelligence artificielle et les applications contemporaines. S3 Files intègre Amazon EFS à S3 et permet d'accéder à n'importe quelle donnée S3 existante via un système de fichiers réseau, sans migration ni copie préalable. Un bucket ou un préfixe S3 peut être monté dans une instance EC2, un conteneur ou une fonction Lambda ; les outils existants, à savoir pandas, pipelines ML, utilitaires Unix, peuvent ainsi interagir directement avec les données S3.

Comment comprendre S3 Files ? L'idée est d'accéder aux données S3, en utilisant un S3 bucket, comme s'il s'agissait d'un système de fichiers. Tout service AWS peut alors partager et utiliser les données. Files fonctionne comme un système de fichiers haute performance, accessible depuis tout service compute Linux. Files utile Amazon EFS. Files devrait avoir une faible latence. Les metadonnées et les données sont chargés progressivement. Si la taille de ces données ne dépasse la limite définie, la donnée est lue directement depuis S3 :

• Import de fichiers à la demande : à la connexion, les fichiers inférieurs à 128 Ko sont importés immédiatement ; au-delà, seules les métadonnées sont chargées, le contenu étant récupéré à la lecture. Un bucket de plusieurs millions d'objets est utilisable sans délai d'attente.

• Synchronisation bidirectionnelle : les modifications côté fichiers sont propagées vers S3 toutes les 60 secondes environ ; les changements côté objets se reflètent automatiquement dans la vue fichier. En cas de conflit, S3 fait office de source de vérité.

• Lecture haute performance : la fonction « read bypass » redirige les lectures séquentielles directement vers S3 via des requêtes GET parallèles, à raison de 3 Go/s par client.

S3 Files cible les usages IA et particulièrement les agents pour travailler avec les données stockées sur S3, interagir plus simplement avec les données stockées depuis un workload, une application. 

S3 Files s'inscrit dans une évolution plus large du service, après S3 Tables (format Iceberg, plus de 2 millions de tables) et S3 Vectors (index vectoriels élastiques, lancés pendant re:Invent 2024), vers une couche de stockage multi-modale.