Router un ticket, modérer un message ou sélectionner une commande : c'est possible avec Jeff qui propose trois petits modèles destinés aux tâches de décision. Deux sont adaptés de Qwen3.5, avec 0,8 et 2 milliards de paramètres, et le troisième de Gemma 4 E2B.

Le fonctionnement consiste à décrire une situation et les réponses possibles en langage courant. Le modèle attribue une probabilité à chaque option en une seule passe, sans produire de texte à analyser ensuite. Le format de requête est compatible avec celui de Jev, le service de TypeSafe. Jeff est toutefois un projet indépendant, fondé sur la recette ouverte AutoJev.

Trois types de questions sont proposés : un choix parmi plusieurs options, une réponse oui/non exprimée en probabilité, ou une note sur une échelle décrite en mots. Depuis la version 1.1 du 29 septembre, les modèles Qwen acceptent jusqu'à 254 options, contre 26 pour le modèle Gemma.

Pour le modèle de 0,8 milliard de paramètres, les auteurs annoncent 22 ms par décision sur une RTX PRO 6000 et 28 ms sur un Mac M4 Max avec MLX. Ils précisent que ces modèles ne sont pas destinés aux tâches nécessitant du raisonnement.

Le projet traite uniquement du texte en anglais. 

GitHub : https://github.com/firelex/jeff