Anthropic abandonne Git pour son dépôt principal. Dans un billet publié le 13 octobre, l’éditeur décrit Scion, un gestionnaire de versions conçu en interne, et explique pourquoi Git ne suivait plus.

« À mesure que notre monorepo s'agrandit, il devient de moins en moins adapté à cette conception. L'historique de notre branche principale à lui seul pèse près de 100 Go, et une copie de travail compressée dépasse les 25 Go. Nous effectuons environ 25 millions d'extractions de code par jour pour l'intégration continue, sans compter les environnements de développement, les bacs à sable des agents et les tâches de recherche. En simplifiant à l'extrême, cela représenterait plus de 600 pétaoctets de trafic Git par jour. » 

« Git propose des outils pour manipuler des portions de dépôt, comme les clones superficiels, les extractions partielles et les dépôts distants. Au-delà, il existe des solutions de contournement classiques pour les grands monorepos, telles que les miroirs Git internes et les instantanés de dépôt (seeds) stockés dans un stockage blob. Nous les avons tous utilisés ; à notre apogée, nous gérions plusieurs centaines de miroirs Git internes pour gérer la charge. Cela nous a permis de gagner du temps, mais leur gestion est devenue plus complexe à mesure que notre rythme de fusion augmentait. Les seeds s’éloignaient de plus en plus de la branche principale entre les actualisations, et il fallait redoubler de vigilance pour que les opérations dépendant de l’historique, comme `diff` et `blame`, fonctionnent correctement sur les clones partiels. » poursuit le post. 

Scion est une réflexion interne sur comment (mieux) gérer les branches et les codes. Anthropic ne fait que rejoindre ce que Meta et Google ont fait et s’en inspirer. 

Les principales :

-       Les clients sont toujours en ligne. Le protocole de Scion répond à la contrainte d’un serveur toujours accessible

-       Un client-serveur asymétrique : Avec Scion, le serveur répond aux questions sur l'historique et la gestion des modifications de fichiers, crée des commits, effectue des fusions et des rebasages, etc. Le client maintient un cache d'objets local limité, organise les fichiers de travail sur le disque, surveille les modifications du système de fichiers et offre aux utilisateurs une interface ergonomique pour interagir avec le serveur. Il a une capacité de calcul très limitée, mais en contrepartie, il nécessite beaucoup moins de données en local.

-       Les données des dépôts sont distribuées et chaque composant peut évoluer indépendamment. Il n’existe aucune copie physique du dépôt. Pas d’équivalent de packfiles, donc pas de maintenance du dépôt

-       Un commit doit être peu coûteux, non bloquant et incrémental. Chaque commit, rebase ou merge est fait côté serveur. Le client ne pousse rien. 

-       La copie de travail est optionnelle et réduite. Cela se justifie par l’ampleur du monorepo.

Dans Scion, l’unité de base est le changeset. Il s’agit d’un journal de log. Le changeset stocke la plupart des « éléments » que l’on attend d’un commit dans Git. Mais Changeset stocke la liste des fichiers modifiés ainsi que les pointeurs vers les contenus du fichier compressé présenté dans le stockage blob. Le changeset est créé côté serveur et est disponible tout de suite et partout. 

« Cette structure nous permet de traiter les ensembles de modifications à très haut débit, car elle ne nécessite ni fichiers pack, ni verrouillage, ni coordination inter-serveurs, ni déplacement de références. Scion prend techniquement en charge les références, mais comme ni la création ni la récupération des commits ne les impliquent, leur déplacement se résume à une comparaison et un échange sur une seule ligne Spanner, indépendamment de la création des ensembles de modifications. » explique le post. 

Notre avis : Anthropic continue à créer des outils sur mesure pour répondre aux contraintes internes. Git est un excellent outil mais il ne répond plus au volume de codes et au nombre de requêtes. Il s’agit de créer une plateforme capable de monter en charge et d’être la plus performante possible. 

Présentation complète de Scion : https://www.anthropic.com/engineering/redesigning-source-control