Cómo usar el estimador de tokens
- Escribe el texto cuyo número de tokens quieres saber.
- El número estimado de tokens y su rango aparecen al instante.
- Introduce un precio por 1 millón de tokens para obtener también un coste aproximado.
Cómo funciona el estimador de tokens
Los modelos de IA procesan el texto dividiéndolo en trozos llamados tokens. En inglés, unos cuatro caracteres forman de media un token, mientras que el coreano suele dividirse en alrededor de un token por carácter. Cada modelo tiene un tokenizador distinto, así que el mismo texto da recuentos de tokens diferentes, y algunos modelos no tienen un tokenizador público para usar sin conexión. Por eso esta herramienta usa una estimación que multiplica el número de caracteres coreanos, latinos, dígitos, espacios y otros por coeficientes según el tipo y los suma, y muestra un rango con mínimo y máximo. Sirve para hacerse una idea de la escala aproximada, no para obtener valores exactos, y tu texto nunca se envía a un servidor.
Tokens y coste
La mayoría de los servicios de IA cobran según el número de tokens de entrada y de salida, normalmente con un precio por 1 millón de tokens. Por ejemplo, a 3 dólares por millón de tokens, 2000 tokens de entrada cuestan unos 0,006 dólares. Esta herramienta estima solo los tokens de tu texto de entrada, así que los tokens que genera el modelo en su respuesta hay que considerarlos aparte.
Consejos
- Úsala para comprobar de forma aproximada si un prompt cabe dentro del límite de entrada de un modelo.
- Introduce un precio para comparar y estimar de antemano los costes de la API.
- El mismo contenido en inglés tiende a usar menos tokens, lo cual es útil cuando quieres acortar la longitud.
- Si un límite exacto es importante, consulta la función oficial de recuento de tokens que ofrece el servicio.
Notas y limitaciones
Los valores de esta herramienta son estimaciones y pueden diferir del recuento real de tokens de un modelo concreto. Cuando necesites verificar con exactitud los precios o los límites, consulta la herramienta oficial y la lista de precios del proveedor.
Preguntas frecuentes
¿Cuánto se aleja del recuento real de tokens?
Depende del modelo y del texto, y el texto en coreano en particular puede variar mucho, por eso se muestra un rango de mínimo a máximo.
¿Dónde puedo obtener un recuento exacto?
Usa el tokenizador oficial que ofrece cada servicio de IA o la función de recuento de tokens de su API.
¿Por qué el inglés y el coreano dan recuentos de tokens distintos?
Los tokenizadores suelen estar optimizados para fragmentos de palabras en inglés, así que el coreano tiende a dividirse en piezas más pequeñas.