# O que é Continuous Batching?

É um método de otimização que permite que modelos de inteligência artificial processem solicitações recebidas de forma contínua e fluente, sem espera.

## Definição
Normalmente, os modelos de IA processam solicitações em lotes e aguardam a conclusão de um lote. O método de agrupamento contínuo permite que o sistema inclua novas solicitações recebidas no processo antes que o processo atual seja concluído. Dessa forma, os usuários recebem respostas com mais rapidez e sem espera.

## Como funciona
Assim que a capacidade de processamento do modelo fica vazia, novas solicitações que aguardam na fila são imediatamente injetadas no sistema. Isso garante que os recursos de hardware operem sempre com eficiência total.

## Onde é usado
Ele é usado em segundo plano em chatbots como ChatGPT e em serviços de inteligência artificial de alto tráfego.

## Costuma ser confundido com
Pode ser confundido apenas com velocidade de processamento, mas este método trata especificamente de eficiência.

## Perguntas frequentes
**Por que isso é importante?**
Reduz o tempo de espera dos usuários e reduz os custos do servidor.

**Está disponível em todos os modelos?**
Não, isso geralmente é um recurso de mecanismos de inferência avançados.


## Termos relacionados
- [Inference Engine](/pt/dictionary/inference-engine/)
- [LLM](/pt/dictionary/llm/)
- [Inference](/pt/dictionary/inference/)

## Ferramentas relacionadas
- [Omlx](/pt/discover/omlx/)

---
Fonte: TreScout Glossário · https://trescout.com/pt/dictionary/continuous-batching/