Modelo de linguagem de 64M de parâmetros treinado do zero em duas horas

O que você ganha

• Treinamento em 2 horas em hardware de consumo: Arquitetura compacta que pode ser treinada do zero em aproximadamente 2 horas em uma única placa de vídeo NVIDIA RTX 3090/4090.
• Ciclo de vida completo de treinamento de LLM: tokenização BPE, pré-treinamento, ajuste fino supervisionado (SFT), adaptação LoRA e pipeline de alinhamento DPO.
• Base de código minimalista e legível: blocos Transformer transparentes escritos em PyTorch puro, sem abstrações complexas de terceiros.
• Suporte a MoE (Mixture of Experts): Possibilidade de experimentar e executar a arquitetura 8x MoE do zero, além de modelos densos.
• Um excelente recurso educacional e pedagógico: o guia ideal para pesquisadores que desejam compreender experimentalmente o funcionamento interno dos grandes modelos de linguagem.

Instalação

git clone https://github.com/jingyaogong/minimind.git
cd minimind
pip install -r requirements.txt

Execução

python 1-pretrain.py
# Eğitilen modelle test çıkarımı:
python 5-eval.py

Arquitetura técnica e princípio de funcionamento

• Ativações RoPE e SwiGLU: Padrões de arquitetura modernos com embeddings posicionais rotacionais (Rotary Position Embeddings) e funções de ativação SwiGLU.
• Fluxo de Gradiente Estável com RMSNorm: Uso da normalização de camada RMSNorm, que é mais rápida e estável do que a LayerNorm tradicional.
• Integração do Flash Attention: Otimização do Flash Attention v2 para calcular rapidamente grandes matrizes de atenção na memória da GPU.

Fases de treinamento: Pré-treinamento, SFT e DPO

• Etapa 1 - Pré-treinamento (1-pretrain.py): Aprende gramática e conhecimentos gerais de mundo com a lógica de predição do próximo token em textos brutos.
• Etapa 2 - Ajuste Fino Supervisionado (2-sft.py): Transforma o modelo em um assistente que obedece a comandos do usuário usando conjuntos de dados de perguntas e respostas e instruções.
• Etapa 3 - Alinhamento DPO (4-dpo.py): Otimiza o modelo diretamente de acordo com as preferências do usuário por meio de pares de respostas boas e ruins.

Se você não programa

Perguntas frequentes

• Quanto VRAM é necessário para treinar o MiniMind? O modelo de 64M de parâmetros pode ser treinado confortavelmente com uma VRAM entre 6GB e 12GB, dependendo da configuração do tamanho do lote (batch size); até mesmo uma RTX 3060 ou RTX 4060 é suficiente.
• Funciona no Apple Silicon (série M do Mac)? Sim. O treinamento e a inferência também podem ser realizados em computadores Mac com a aceleração PyTorch MPS (Metal Performance Shaders).
• As saídas do modelo são suficientes para uma conversa casual? O 64M é um modelo pequeno; ele foi otimizado para demonstrar a estrutura da linguagem, responder a perguntas básicas e realizar a conclusão de texto, em vez de raciocínio lógico complexo.
• Quais conjuntos de dados vêm prontos? O repositório oferece comandos de download automático para conjuntos de dados abertos filtrados para pré-treinamento e SFT em chinês e inglês.

Termos relacionados do glossário

Links

• Repositório no GitHub →
• Ler em turco →