Facebook place fastText en open source

Par:
fredericmazue

mar, 23/08/2016 - 11:56

Au fil du temps, le réseau social s'est doté de nombreux outils d'intelligence artificielle, pour faire face à la masse de données qu'il traite, lutter contre le spam et... améliorer son ciblage publicitaire ;-)

Comprendre le sens des mots dans leur contexte est un des défis que l'intelligence de Facebook doit résoudre. Pour cela, Facebook a développé une librairie de représentation de texte : fastText. Une librairie, nous dit le réseau social, qui combine des concepts introduits avec succès dans le traitement du langage naturel et dans le machine learning. Une librairie dont Facebook vient d'ouvrir le code.

fastText, toujours selon Facebook, se révèle très efficace sur les gros ensembles de données comprenant un grand nombre de catégorie. fastText organise tout cela dans une structure hiérarchique (un arbre binaire), au lieu d'une structure plate, afin d'accélérer les traitements.

fastText représente les textes par des vecteurs de faible dimension qui sont la somme des vecteurs correspondant à chaque mot du texte.

La librairie est capable de travailler avec plusieurs langues (anglais, allemand, espagnol, français, tchèque).

fastText est écrit en C++ et le code utilise des fonctionnalités de C++11, ce qui implique que pour le compiler, il est nécessaire d'utiliser GCC4.6.3 ou supérieur, ou Clang 3.3 ou supérieur.

fastText est sur GitHub.