# ¿Qué es Tokenizer?

Es una herramienta que divide textos en pequeñas partes numéricas que la inteligencia artificial puede entender.

## Definición
Tokenizer es una herramienta básica que convierte textos en piezas numéricas que la IA puede procesar. La inteligencia artificial entiende las palabras no como un todo, sino a través de los equivalentes numéricos de estas partes.

## Cómo funciona
Cuando se ingresa texto, el tokenizador lo divide en partes llamadas "tokens". Estos tokens luego se convierten en vectores que la IA puede procesar digitalmente.

## Dónde se usa
Es la puerta de entrada a todos los principales modelos lingüísticos. Una vez que comienzas a hablar con un chatbot, el tokenizador procesa primero todo lo que escribes.

## Suele confundirse con
Simplemente se confunde con la palabra rompedor; mientras que el tokenizador a veces puede dividir una palabra en varias partes y, a veces, dividir varias palabras en un solo token.

## Preguntas frecuentes
**¿Qué es una ficha?**
Es la unidad de procesamiento del modelo; Suele ser parte de una palabra o un signo de puntuación.

**¿Por qué no utilizamos palabras directas?**
Porque procesar datos numéricos es mucho más rápido y eficiente que lidiar con la compleja estructura de las palabras.


## Términos relacionados
- [Token](/es/dictionary/token/)
- [NLP](/es/dictionary/nlp/)
- [Tokenizer-free](/es/dictionary/tokenizer-free/)

## Herramientas relacionadas
- [AI Engineering from Scratch](/es/discover/ai-engineering-from-scratch/)

---
Fuente: TreScout Glosario · https://trescout.com/es/dictionary/tokenizer/