Qu'est-ce que AI Benchmarks ?

Définition

Ce sont des suites de tests qui évaluent les capacités des modèles d'intelligence artificielle, telles que le raisonnement, la génération de code, la compréhension du langage ou la résolution de problèmes mathématiques, sur des ensembles de données neutres et standardisés. Ils permettent aux développeurs et aux chercheurs de comparer les forces et les faiblesses des différents modèles. Ils jouent un rôle essentiel pour suivre si les mises à jour des modèles apportent des progrès ou des régressions.

Comment ça marche

Des collections de questions prédéterminées dont les réponses sont connues sont soumises au modèle. Les réponses générées par le modèle sont notées en fonction de leurs taux de réussite, de leurs temps de latence et de leur consommation de jetons (tokens). Les scores ainsi obtenus sont listés dans des tableaux de classement généraux et mis à disposition pour comparaison.

Où est-ce utilisé

Lorsqu'un nouveau modèle de base est publié, il est utilisé dans les rapports techniques, dans les tableaux de classement Hugging Face où sont classés les modèles open source, et dans les processus de sélection des modèles d'entreprise.

Souvent confondu avec

Il ne faut pas le confondre avec les tests de matériel généraux (benchmarks). Alors que les tests classiques mesurent la vitesse du processeur et de la mémoire, les tests de référence en intelligence artificielle mesurent la qualité de compréhension et de raisonnement du modèle.

Questions et réponses

Termes liés