Exécuter Gemma 4 sur un portable 16GB est l’affaire d’un dimanche après-midi. Connaître sa performance est une conversation plus longue. Si vous avez basculé entre Ollama, LM Studio et llama.cpp pour la troisième fois et ne pouvez toujours pas répondre « quelle quantization est vraiment meilleure pour mon hardware ? », l’une de ces sept applications de benchmark LLM local vous sortira du jeu des devinettes.
Nous avons choisi des applications qui rapportent des chiffres reproductibles sur desktop pour une configuration LLM locale monoposte. Les benchmarks de vitesse (tokens par seconde sur votre hardware) vont de pair avec les benchmarks de qualité (précision sur des suites publiques), vous pouvez donc choisir un outil qui correspond à ce que vous demandez.
Ce qu'il faut chercher dans une application de benchmark LLM local
- Ce que vous mesurez vraiment. Débit, latence, empreinte VRAM, qualité sur un dataset connu, et qualité par tâche sur votre propre dataset sont cinq questions différentes.
- Un exécuteur local. L’outil doit atteindre le modèle où il vit. Cela signifie Ollama, llama.cpp, serveur compatible OpenAI de LM Studio, ou un callable Python direct.
- Un dataset connu. MMLU, TruthfulQA, HellaSwag et IFEval sont les noms fréquemment cités. S’il n’y en a aucun dans l’outil, ce n’est pas un benchmark.
- Sortie reproductible. Un rapport JSON ou CSV avec un hash du modèle et de la configuration, pas juste une capture d’écran.
- Visibilité des coûts. Même une exécution « locale » a un coût de temps réel. Les outils qui affichent le temps au premier token et le débit en régime permanent rendent les compromis évidents.
Comparaison rapide
| Application | Mieux pour | Plateformes | Gratuit | Point fort |
|---|---|---|---|---|
| lm-evaluation-harness | Reproduire les scores de qualité publiés | Windows, macOS, Linux | Gratuit, open-source | Implémentation de référence de MMLU, IFEval, etc. |
| llama-bench | Tests de débit et latence bruts | Windows, macOS, Linux | Gratuit | Livré avec llama.cpp, GGUF natif |
| MLPerf Client | Benchmark hardware indépendant du vendeur | Windows | Gratuit | AMD, Intel, Nvidia tous l’utilisent |
| DeepEval | Votre dataset, vos métriques | Windows, macOS, Linux | Niveau gratuit | Syntaxe de style pytest, LLM-as-judge |
| Promptfoo | Évaluation comparative entre modèles | Windows, macOS, Linux | Gratuit, open-source | Diffs de sortie côte à côte dans le navigateur |
| HELM | Benchmark académique complet | Windows, macOS, Linux | Gratuit, open-source | Référence pour la comparaison entre modèles |
| OpenAI Evals | Cas de test au niveau du prompt | Windows, macOS, Linux | Gratuit, open-source | Création facile, énorme catalogue communautaire |
Les applications
1. lm-evaluation-harness — Meilleur pour la reproductibilité des benchmarks connus
lm-evaluation-harness, d’EleutherAI, est l’implémentation de référence utilisée par la plupart des sorties de modèles pour publier MMLU, IFEval, HellaSwag, ARC, TruthfulQA et des dizaines d’autres. Pointez-le vers un modèle local et reproduisez les mêmes chiffres que cite le papier.
Où ça échoue : Les téléchargements de dataset sont volumineux. La configuration initiale sur un portable demande des dizaines de gigaoctets de cache.
Tarifs :
- Gratuit : Bibliothèque complète open-source
- Payant : Aucun
Plateformes : Windows, macOS, Linux (Python)
Télécharger : GitHub
Conclusion : Le choix quand l’objectif est « reproduire le score du papier sur mon hardware ».
2. llama-bench — Meilleur pour les tests de débit et latence
llama-bench est livré dans le répertoire llama.cpp et mesure les tokens bruts par seconde sur les quantizations GGUF, les longueurs de prompt et les configurations de backend. Il répond à « Q5_K_M sera-t-il vraiment plus rapide que Q4_K_S sur ce CPU ? » sans qu’un wrapper de chat ne gêne.
Où ça échoue : Vitesse uniquement. Ne dit rien sur la qualité de la sortie.
Tarifs :
- Gratuit : Fourni avec llama.cpp
- Payant : Aucun
Plateformes : Windows, macOS, Linux
Télécharger : GitHub
Conclusion : Le choix quand vous avez besoin de chiffres de débit pour comparer un modèle sur votre machine.
3. MLPerf Client — Meilleur pour le benchmark hardware indépendant du vendeur
MLPerf Client est le benchmark MLCommons que AMD, Intel et Nvidia citent tous pour les performances d’inférence LLM sur le matériel de l’utilisateur final. Les chiffres sont directement comparables entre les vendeurs car tout le monde exécute la même suite.
Où ça échoue : Windows d’abord. La liste des modèles est fixe et sélectionnée, donc ce n’est pas un outil de benchmark à usage général.
Tarifs :
- Gratuit : Suite complète
- Payant : Aucun
Plateformes : Windows
Télécharger : mlcommons.org
Conclusion : Le choix pour comparer un portable Ryzen AI avec un Core Ultra sans débattre de la méthodologie.
4. DeepEval — Meilleur pour votre propre dataset
DeepEval est un framework Python qui transforme l’évaluation en cas de test de style pytest. Les métriques incluent la notation LLM-as-judge, la détection des hallucinations, la précision contextuelle et la pertinence des réponses, et chaque test peut s’exécuter contre un modèle local.
Où ça échoue : Certaines métriques avancées appellent les modèles hébergés par défaut. Lire la configuration pour les pointer vers un juge local vaut une soirée.
Tarifs :
- Gratuit : Bibliothèque complète open-source
- Payant : Niveau d’observabilité géré
Plateformes : Windows, macOS, Linux
Télécharger : GitHub
Conclusion : Le choix quand le benchmark que vous voulez exécuter en est un que vous écrivez vous-même.
5. Promptfoo — Meilleur pour la comparaison côte à côte
Promptfoo exécute les mêmes prompts contre plusieurs modèles et produit une vue de diff basée sur navigateur. Il fonctionne également comme outil de red-teaming, mais pour un flux de travail de benchmark, la vue de comparaison est la raison de l’installer.
Où ça échoue : La vue de comparaison est plus forte que la vue des métriques brutes. Appairez-le avec lm-evaluation-harness ou DeepEval pour les scores de référence.
Tarifs :
- Gratuit : CLI complet open-source
- Payant : Niveau d’équipe géré
Plateformes : Windows, macOS, Linux (Node.js)
Télécharger : promptfoo.dev
Conclusion : Le choix quand la question est « le modèle A ou le modèle B répond-il mieux à mes dix prompts ? ».
6. HELM — Meilleure référence académique
HELM, du CRFM de Stanford, est le projet « Holistic Evaluation of Language Models ». Il publie un classement autorisé entre modèles utilisant un benchmark de scénarios larges, et le même code s’exécute localement contre votre propre modèle.
Où ça échoue : Lourd. Les exécutions complètes de HELM prennent des heures sur une station de travail. Ce n’est pas un outil portable pour une vérification rapide.
Tarifs :
- Gratuit : Projet complet open-source
- Payant : Aucun
Plateformes : Windows, macOS, Linux
Télécharger : GitHub
Conclusion : Le choix quand les chiffres doivent être défendables dans un papier ou un rapport technique.
7. OpenAI Evals — Meilleur pour les cas de test écrits par la communauté
OpenAI Evals est un framework pour écrire des cas de test au niveau du prompt (le catalogue communautaire inclut les mathématiques, les énigmes logiques, le code et le raisonnement) et les exécuter contre tout modèle derrière un endpoint compatible OpenAI.
Où ça échoue : La qualité du catalogue varie. Certaines évaluations sont plus fortes que d’autres.
Tarifs :
- Gratuit : Framework open-source
- Payant : Aucun
Plateformes : Windows, macOS, Linux
Télécharger : GitHub
Conclusion : Le choix quand le moyen le plus rapide de tester un modèle est de prendre une évaluation communautaire, de la pointer vers votre endpoint local et de lire les résultats.
Comment choisir la bonne
Si vous voulez reproduire les scores de qualité publiés : lm-evaluation-harness. Réservez de l’espace disque et du café.
Si vous voulez comparer le débit sur votre hardware : llama-bench. C’est le moyen le plus rapide de répondre à une question de quant-vs-quant.
Si vous comparez des portables ou des GPU : MLPerf Client. Indépendant du vendeur, comparaison directe.
Si votre benchmark est votre propre dataset : DeepEval. Tests de style pytest pour LLM.
Si l’objectif est une vue côte à côte de deux modèles sur vos prompts : Promptfoo.
Si les chiffres ont besoin de crédibilité académique : HELM. Acceptez l’exécution longue.
Si les tests écrits par la communauté suffisent : OpenAI Evals. Prenez un répertoire, pointez vers votre modèle, exécutez.
FAQ
Quel benchmark LLM local est le meilleur dans l’ensemble ? lm-evaluation-harness pour la reproductibilité de la qualité. llama-bench pour la vitesse sur votre hardware.
Puis-je benchmarker un modèle s’exécutant dans Ollama ou LM Studio ? Oui. Chaque outil de cette liste supporte un endpoint compatible OpenAI, et Ollama, LM Studio et Jan les exposent tous.
Qu’est-ce que MMLU et pourquoi tout le monde le cite-t-il ? MMLU est un benchmark à choix multiples sur de nombreux sujets académiques. Il est cité parce que beaucoup de modèles publient leur score et les comparaisons sont faciles à faire.
Une application de benchmark est-elle la même qu’une application de red-teaming ? Non. Le benchmark mesure la capacité et la vitesse. Le red teaming teste la sécurité. Promptfoo peut faire les deux; lm-evaluation-harness fait seulement le premier.
Ai-je besoin d’une GPU pour exécuter ces benchmarks ? Non. lm-evaluation-harness et llama-bench s’exécutent sur CPU. Les benchmarks de vitesse sont où la GPU fait la plus grande différence visible.
Tous ces outils sont-ils gratuits ? Chaque outil de cette liste a un niveau gratuit. Seuls DeepEval et Promptfoo vendent l’observabilité gérée en plus.
