¿Qué estoy viendo?

El modelo no lee letras ni palabras completas: lee tokens, pedazos de palabra. "Extraordinario" puede partirse en "extra · ordina · rio". Cada token hace el viaje completo por el modelo, de la primera capa a la última. Cuando en este sitio decimos "por token", significa "por cada pedacito de texto que entra".

Imagina una perilla que se puede girar. Durante el entrenamiento, el modelo giró billones de perillas, millones de veces, hasta que sus respuestas empezaron a parecer inteligentes. Al usarlo, las perillas quedan congeladas, y eso es literalmente lo que se descarga: un archivo de 1,56 TB que contiene estos 2,8 billones de números y nada más. No hay reglas escritas, ni base de datos, ni textos guardados adentro. Solo números.
¿Cómo caben 2,8 billones de números en 1,56 TB? Porque casi ninguno se guarda completo. Los expertos usan un formato de 4 bits por número, agrupados en bloques de 32 que comparten una escala. Medio byte por parámetro en vez de los 2 bytes con que se publican casi todos los modelos abiertos: cuatro veces más liviano. La atención y los expertos compartidos sí van en precisión alta.
Nota bilingüe: el billón español (10¹²) es el trillion inglés. No confundir con el trillón español, que es un millón de veces más grande.

Un peso hace dos cosas a la vez, y el color muestra las dos. Su signo dice en qué dirección empuja: positivo (ámbar) refuerza la señal que le llega, negativo (rojo) la empuja al revés. Su tamaño dice con cuánta fuerza, y eso es el brillo: mientras más apagado el color, más cerca de cero está el peso y menos influye. Un peso en cero, pintado del color del fondo, es como si no existiera.
A esto se le llama escala divergente: dos colores opuestos que se encuentran en un centro neutro. La misma idea de los mapas de temperatura, donde el azul y el rojo se juntan en un gris que no dice nada.

Bajamos pesos reales del checkpoint y los contamos, uno por uno. Una matriz de experto tiene 11.010.048 pesos, y en la capa típica esos millones se escriben con apenas 21 valores distintos, repetidos. En 55 de las 92 capas son exactamente 21; las primeras capas llegan hasta 53. Es la consecuencia del formato de 4 bits: 8 magnitudes, 2 signos y unas pocas escalas por bloque. La inteligencia no está en la riqueza de los números individuales; está en su arreglo.

Kimi K3 tiene 93 capas apiladas. Cada token entra por la capa 1 y sale por la 93, y en cada estación su representación se transforma un poco: las primeras capas suelen captar cosas simples (ortografía, gramática) y las profundas, cosas abstractas (ironía, intención, lógica). Nadie programó qué hace cada capa; eso emergió solo del entrenamiento.

En "me senté en el banco de la plaza", ¿"banco" es un mueble o una institución financiera? Para decidirlo, el token "banco" mira las demás palabras y pesa cuáles importan ("senté", "plaza" → mueble). Ese mecanismo, cada palabra prestando atención a las relevantes, es la idea central de los modelos modernos. K3 usa dos variantes: KDA y MLA.

La atención clásica re-examina todo lo anterior por cada token nuevo, y eso resulta carísimo cuando el contexto llega al millón de tokens. KDA mantiene un resumen compacto que va actualizando con lo nuevo que aparece (de ahí "delta": el cambio). Es como tomar apuntes mientras lees, en vez de releer el libro entero en cada página. Invento de Moonshot, y la razón de que K3 maneje contextos enormes a bajo costo.

MLA sí mira todo el contexto, pero guarda lo que recuerda en forma comprimida ("latente") para que la memoria no explote. Lo de "gated" (con compuerta) significa que además regula cuánta de esa información deja pasar. Es la relectura cuidadosa: más cara que KDA, más precisa.

Las capas siguen el patrón KDA, KDA, KDA, MLA, repetido de principio a fin. Tres pasadas rápidas, una minuciosa. Así el modelo es veloz casi siempre y se corrige con atención completa a intervalos regulares. Ese ritmo 3:1 es una decisión de diseño humana, de las pocas cosas elegidas a mano en medio de tanto aprendizaje automático.

Cada capa tiene dos partes: la atención (decidir qué mirar) y una red que procesa lo que se miró. En K3 esa segunda parte es un Mixture of Experts (mezcla de expertos) con 898 expertos por capa. Ahí vive la gran mayoría de los parámetros del modelo: 2,73 de los 2,78 billones contados, el 98%. Por eso en el atlas ese bloque se dibuja más grande que el de la atención.
Con una excepción: la capa 1 no tiene expertos. Usa una sola red densa de 727 millones de parámetros que trabaja siempre. El config del modelo lo declara así, first_k_dense_replace: 1, y por eso las capas con expertos son 92 y no 93.

Cada experto es una mini-red neuronal completa de 33,03 millones de parámetros, repartidos en 3 matrices de 11.010.048 números cada una. En todo el modelo hay 82.432. Una advertencia honesta: sus especialidades emergen solas del entrenamiento y casi nunca coinciden con categorías humanas: no existe "el experto en historia de Chile". Existen patrones estadísticos que ningún humano etiquetó y que apenas empezamos a saber leer.

Medimos varios expertos de una misma capa y sus estadísticas son casi idénticas: misma proporción de ceros, misma magnitud promedio, diferencias menores al 3%. Y sin embargo no son intercambiables. La similitud de coseno entre dos expertos vecinos va de 0,000 a 0,002 (medida en las capas 2, 47 y 92). Tienen los mismos ladrillos, apuntando a direcciones sin relación alguna en un espacio de 3.584 dimensiones. Dos bibliotecas con los mismos libros, ordenadas tan distinto que responden preguntas diferentes.

Un circuito pequeño, el router o recepcionista, decide para cada token y en cada capa, cuáles 16 de los 896 expertos van a trabajar (más los 2 compartidos, que atienden siempre). El resto duerme. Por eso, de los 2,8 billones de parámetros, cada token usa solo 104 mil millones: el 3,7%. Es una biblioteca donde nunca lees todo: sacas 16 folletos por estante, y hay 92 estantes con expertos.

Ningún parámetro guarda un hecho. "Santiago es la capital de Chile" no vive en una celda que puedas señalar: vive repartido como patrón entre miles de millones de números, igual que ninguna neurona de tu cerebro guarda, por sí sola, un recuerdo completo. Por eso este atlas muestra escala y estructura, no "hechos": es un escáner del tejido, no una lectura de la mente.