Qué es un token en IA: el mismo texto, 47 % más en español

¿Cuánto más, de verdad? Lo medimos en el tokenizador oficial de OpenAI y en Claude, con los precios oficiales.

Qué pasó

• El artículo 1 de la Declaración Universal, versión oficial en español, y en inglés.
• En inglés, el mismo artículo son 33 tokens y 170 caracteres; de sus 30 palabras, solo «brotherhood» se parte (brother · hood).
• Cada token es un número de un vocabulario fijo; los modelos ven números.
• La definición de Anthropic, en su versión oficial en español.
• OpenAI: un conteo de tokens no es un conteo de palabras.
• Google: en Gemini, un token son unos 4 caracteres, y 100 tokens, de 60 a 80 palabras en inglés.
• Las APIs cobran por millón de tokens, la entrada y la salida por separado.
• El tokenizador de OpenAI corta el texto con una expresión regular (letras con el carácter que las antecede, números de hasta 3 cifras, signos aparte), para que no haya uniones entre categorías.
• Trabaja sobre bytes UTF-8 («a nivel de bytes»); una «á» (U+00E1) ocupa 2 bytes.
• Al entrenarse, BPE junta una y otra vez la pareja más frecuente; al codificar, aplica las uniones por rango.
• El vocabulario de GPT-5.x (o200k_base) tiene 199.998 piezas; el de GPT-4, 100.256; el de GPT-3, 50.256.
• En marzo de 2026, la ayuda de OpenAI decía que «Cómo estás» eran 5 tokens; con el tokenizador de GPT-3 son 5, con el de GPT-4, 3, y con el de GPT-5.x, 2.

En este video

• Qué es un token, según OpenAI, Anthropic y Google
• Cómo se parte tu texto antes de que el modelo lo lea
• El mismo texto en español e inglés: 25 % más en GPT-5.x y 47 % más en Claude
• Cuánto cuesta de verdad y qué es la ventana de contexto
• Cuatro formas de gastar menos y tu ejercicio de hoy