El debate entre memorización y generalización en los LLM (modelos de lenguaje extensos, por sus siglas en inglés) no es nuevo. Pero pocas veces se aborda con la precisión casi quirúrgica con la que lo han hecho un grupo de investigadores de Meta, Google DeepMind, NVIDIA y la Universidad de Cornell. ¿Cuánto puede recordar un LLM de sus datos de entrenamiento? ¿Cuándo deja de memorizar hechos concretos y empieza a aprender patrones? Estas preguntas, en apariencia filosóficas, son en realidad cuantificables. Y eso es justo lo que se ha logrado en este nuevo estudio: medir, con exactitud, cuántos bits puede almacenar un modelo.
La frontera entre lo memorizado y lo aprendido en los LLM no solo es difusa: es invisible a simple vista. A menudo, una respuesta correcta no significa necesariamente que el modelo haya comprendido el concepto, sino que podría haberlo almacenado palabra por palabra. El trabajo de estos investigadores busca precisamente trazar una línea entre ambos fenómenos. Para ello, recurrieron a una estrategia meticulosa: entrenar cientos de modelos de lenguaje desde cero, utilizando datasets tanto sintéticos como reales, cuidadosamente deduplicados para evitar repeticiones involuntarias. Los tamaños de los modelos oscilaban entre los 500.000 y los 1.500 millones de parámetros, con arquitecturas similares a las de GPT.
La innovación más llamativa del estudio es una métrica llamada HK, basada en la complejidad de Kolmogorov, que permite estimar cuánta información original y específica ha sido realmente almacenada por el modelo. Y con esta herramienta, el equipo obtuvo un dato clave: un LLM memoriza, de media, entre 3.5 y 3.6 bits por cada uno de sus parámetros. Esa es la capacidad máxima antes de que el modelo “sature” su espacio y comience a generalizar, abandonando la repetición literal para abrazar patrones estadísticos más amplios.
Esta transición no es simplemente teórica: se manifiesta en la forma de una doble caída en el error de validación, el conocido fenómeno del double descent, que marca el momento en que el modelo empieza a comportarse de forma más generalizada. Al alcanzar el umbral de saturación, los datos memorizados dejan de aportar valor adicional y el modelo reorganiza su “memoria” interna para optimizar el aprendizaje.
Otra observación relevante es que el tipo de precisión con la que se entrena el modelo —como bfloat16 frente a fp32— tiene un efecto mínimo en esta capacidad de memorización. En cambio, los investigadores encontraron que los ejemplos más propensos a ser memorizados eran aquellos con tokens poco frecuentes, secuencias sintácticamente raras o frases en idiomas minoritarios. Es decir, el modelo tiende a almacenar lo inusual, lo que se aleja del patrón dominante.
Este tipo de memorización no solo tiene implicaciones técnicas. También plantea cuestiones sobre privacidad, auditoría y trazabilidad. Si un modelo memoriza ejemplos raros que contienen información sensible, podría reproducirlos sin que sus diseñadores lo sepan. Comprender este límite cuantitativo se vuelve, entonces, una herramienta crítica para evaluar el comportamiento real de los LLM.
El estudio no pretende reducir el tamaño de los modelos ni mejorar directamente su eficiencia computacional. Su aportación está en otro plano: comprender mejor cómo y cuánto puede “recordar” un modelo. Una aportación que, además, sienta las bases para investigaciones futuras sobre cómo controlar, limitar o incluso auditar ese proceso de memorización.
Quizás lo más valioso de este trabajo sea que, al medir lo que parecía inmedible, consigue devolver algo de transparencia a un terreno a menudo tratado como una caja negra. En un momento en que los LLM ya son parte de la infraestructura de nuestra vida digital, saber cuánto recuerdan no es una curiosidad académica, sino una necesidad urgente. Porque solo entendiendo qué hay dentro de un modelo, podremos confiar en lo que sale de él.
La entrada ¿Cuánta información memoriza realmente un LLM? se publicó primero en MuyComputer.