Plataforma de desarrollo abierta para investigación de modelos base

Instalación

git clone https://github.com/marin-community/marin.git

uv venv --python 3.12

uv sync --all-packages

Ejecución

wandb offline
uv run python experiments/tutorials/train_tiny_model.py --device cpu --dataset tinystories --version dev --run

¿Qué hace esta herramienta?

Ejecuta experimentos como pasos dependientes en orden topológico. El primer experimento oficial demuestra la tokenización de TinyStories y el entrenamiento de un modelo de lenguaje pequeño; el enfoque de desarrollo abierto también documenta el código, los datos, las decisiones y los experimentos fallidos.

¿Para quién es?

Equipos que investigan curación, transformación y filtrado de datos, tokenización, entrenamiento de modelos y evaluación.

Qué no esperar

Tareas de desarrollo de aplicaciones simples que no forman parte de la investigación de modelos base, o quienes no quieran configurar el entorno de Python y las herramientas de desarrollo necesarias.

Aspectos destacados

• Cobertura de investigación desde el procesamiento de datos hasta el preentrenamiento, fine-tuning y evaluación
• Flujo de experimentos que ejecuta pasos dependientes en orden topológico
• Documentación abierta que incluye experimentos fallidos y decisiones de desarrollo

Primer flujo de uso

1. Clona el repositorio oficial y crea un entorno virtual con Python 3.12 o superior
2. Sincroniza las dependencias con uv
3. Configura la variable de entorno MARIN_PREFIX
4. Ejecuta la prueba smoke offline de TinyStories en CPU

Inicio seguro

Primer prompt

Términos relacionados del glosario

Enlaces

• Repositorio en GitHub →
• Documentación de instalación →
• Primer experimento →
• README oficial →
• Leer en turco →