O que é AI Benchmarks?
São testes de desempenho que medem as habilidades de raciocínio, velocidade e precisão de sistemas de inteligência artificial com escalas padrão.
Definição
São conjuntos de testes que testam as habilidades dos modelos de inteligência artificial, como raciocínio, geração de código, compreensão de linguagem ou resolução matemática, em conjuntos de dados imparciais e padronizados. Ele permite que desenvolvedores e pesquisadores comparem os pontos fracos e fortes de diferentes modelos. Desempenha um papel crítico no acompanhamento se as atualizações do modelo trazem progresso ou regressão.
Como funciona
Coleções de perguntas predeterminadas com respostas conhecidas são apresentadas ao modelo. As respostas produzidas pelo modelo são pontuadas de acordo com suas taxas de precisão, latência e consumo de tokens. As pontuações obtidas são listadas nas tabelas de classificação geral e apresentadas para comparação.
Onde é usado
Ele é usado em relatórios técnicos quando um novo modelo básico é lançado, em tabelas de classificação do Hugging Face que classificam modelos de código aberto e em processos de seleção de modelos empresariais.
Costuma ser confundido com
Não deve ser confundido com testes gerais de hardware (benchmarks). Enquanto os testes clássicos medem a velocidade do processador e da memória, os benchmarks de inteligência artificial medem a qualidade da compreensão e do raciocínio do modelo.
Perguntas e respostas
Os modelos podem memorizar as perguntas do teste?
Sim. Essa situação, chamada de vazamento de dados, pode fazer com que a pontuação do modelo seja artificialmente alta porque ele já viu as questões do teste nos dados de treinamento antes.
Que exemplos de testes populares de inteligência artificial podem ser dados?
MMLU é frequentemente usado para raciocínio, HumanEval para codificação e SWE-bench para a capacidade de resolver erros de software do mundo real.
Termos relacionados
Esta explicação foi escrita em linguagem simples para a TreScout com IA e traduzida automaticamente do original em turco · a versão turca é a que vale. Se algo parecer errado ou faltando, escreva para hello@trescout.com. Ler em turco →