¿Qué es Token?
Es la unidad de significado más pequeña que utiliza la inteligencia artificial para procesar textos.
Definición
Son las partículas más básicas que utiliza la inteligencia artificial para procesar el lenguaje. Una palabra, sílaba o signo de puntuación corresponde a un código numérico en el mundo del modelo.
Cómo funciona
Antes de leer el texto, el modelo lo divide en pequeños pedazos. Gracias a estas partes, la inteligencia artificial puede calcular matemáticamente la estructura del lenguaje y las relaciones entre las palabras.
Dónde se usa
Se utiliza en cálculos de costos y mediciones de velocidad de modelos de inteligencia artificial. La cantidad de texto que puede procesar un modelo o la rapidez con la que responde está determinada por la cantidad de tokens.
Suele confundirse con
Se confunde con el recuento de palabras, pero a veces los tokens pueden ser parte de una palabra o simplemente un espacio.
Preguntas frecuentes
¿Aproximadamente cuantas palabras son 1000 fichas?
Generalmente, en los textos en inglés, 1000 fichas corresponden a aproximadamente 750 palabras.
¿Por qué utilizamos tokens?
Dado que las computadoras entienden números, no palabras, necesitamos convertir el texto a un formato matemático.
Términos relacionados
Herramientas relacionadas
Esta explicación se redactó en lenguaje sencillo para TreScout y se tradujo automáticamente del original en turco · prevalece la versión turca. Si algo le parece erróneo o incompleto, escriba a hello@trescout.com. Leer en turco →