Actualité par la rédaction de Programmez!

OpenZL, le framework de compression open source de Meta pour les données structurées, passe en version 0.3.0. Cette mise à jour, publiée le 29 septembre, apporte notamment un décodage Huffman optimisé pour les instructions SIMD et un système de sélection automatique des codecs.

Sur la configuration testée par Meta, niveau 1 et fenêtre de 64 Ko, le moteur LZ atteint un débit de décompression de 3 062 Mo/s, contre 1 254 Mo/s pour Zstandard à ratio de compression équivalent. Ces résultats correspondent aux mesures du projet.

Le Compression Transformer est un petit réseau de neurones qui choisit les codecs et construit le graphe de compression, sans entraînement spécifique aux données à traiter ni modification du décompresseur. Sur les 868 familles de flux numériques évaluées, le ratio de compression moyen progresse d'environ 35 % par rapport à zstd -19. Cette fonction intervient à partir du niveau 7 ; le niveau 6 par défaut reste inchangé.

Attention à la compatibilité : le format passe de la version 24 à la version 27. Pour produire des données lisibles par OpenZL 0.2.0, il faut fixer ZL_CParam_formatVersion à 24.

OpenZL est distribué sous licence BSD, indiquée dans le fichier LICENSE du dépôt.

GitHub : https://github.com/facebook/openzl/releases/tag/v0.3.0