Learn2Play Bench: guardar la conversación cruda aprende más que resumir en reglas — y cambiar de harness mueve 17,3 puntos con el mismo modelo

TL;DR

Verificado (abstract y §4.2, Tabla 1): Learn2Play Bench (arXiv 2610.08215, National University of Singapore) mide si un agente LLM aprende de la experiencia en 20 juegos de texto diseñados a medida, con reglas ocultas y contraintuitivas que no están en el preentrenamiento. No se tocan los pesos: lo que se evalúa es si el agente mejora entre episodios.
Verificado (§4.2, Tabla 1): con el mismo backbone, retener los registros crudos de la conversación (Memory) es el mejor método de seis con Kimi K3 (63,3 Max). Con Claude Opus 5 se invierte: gana EvoTest (66,1) y Memory cae a tercera (60,9). El abstract proclama la primera mitad y esconde la segunda.
Verificado (§4.4): el mejor humano (84,3 Max, entre 21-30 estudiantes por juego) supera a la mejor configuración agente (Opus 5.5 con OpenCode, 80,1). Pero el humano medio queda en 43,6: contra la media, ganan todos los agentes decentes.
Verificado (§4.3): con modelo y protocolo idénticos, cambiar de harness mueve +7,3 puntos Max (Opus 5: Claude Code 81,8 vs OpenCode 74,5) y +17,3 (GPT-5.6-SOL: Codex 74,3 vs OpenCode 57,0). Más que la distancia entre muchos modelos consecutivos de la tabla.
Claim de los autores: que los modelos rinden mejor en sus harnesses nativos porque “models are trained on their harnesses”. Es plausible y citan anuncios oficiales, pero el paper no lo demuestra como variable aislada.

Qué es y cómo mide

La idea de partida es un problema real de evaluación: en benchmarks habituales, las reglas de la tarea vienen en las instrucciones o el modelo ya las sabe del preentrenamiento. Ahí es imposible distinguir aprender interactuando de razonar con conocimiento previo. Learn2Play Bench ataca eso con 20 plantillas de juegos nuevos, con reglas que no existen en ningún juego conocido y algunas deliberadamente contraintuitivas. Ejemplo del paper (§3): en una oficina, robarle la comida a un compañero ayuda a ser promovido — exactamente lo contrario de lo que el modelo espera de un entorno laboral. El agente tiene que descubrir qué acciones producen ascensos a partir del feedback del juego, no de sus expectativas.

El protocolo (§3, §4.1):

20 plantillas en dos mitades: 10 juegos fixed (misma instancia en todos los episodios) y 10 re-shuffled (la instancia visible cambia en cada episodio, la regla de fondo no).
5 juegos challenge (Catnip, DreamGarden, Mola Tea, RedEye, Roadside Observatory) con ventana de 10 episodios en vez de 5, y peso 3 en la media global en vez de 1. Resultado: los 5 challenge y los 15 normales valen cada uno el 50% del total.
1 seed por juego × 3 trials independientes, cada trial arranca sin memoria de los anteriores. Black-box: el agente emite acciones y lee feedback textual, sin acceso al código del juego.
Cuatro métricas normalizadas: Max (el pico), Mean (la constancia), LG (ganancia neta entre el inicio y el final) y LS (pendiente de la curva).

Matiz de lectura antes de los números: con 3 trials por celda, esto son estimaciones puntuales agregadas. El propio sitio avisa: “These are aggregate point estimates, not significance rankings”.

Si quieres meter las manos: el repo oficial trae las 20 plantillas jugables con Python estándar, sin dependencias:

python play.py poisoner --seed 2 --episode 1 --lang en

No hay dataset en Hugging Face ni registros de los jugadores humanos en el repo — es el snapshot de código para la revisión por pares.

Los números, verificados

Dato	Valor	Dónde
Mejor agente (Opus 5.5, OpenCode)	Max 80,1 · Mean 61,0 · LG +23,0	§4.2, Tabla 1
Mejor humano vs humano medio	Max 84,3 vs 43,6	§4.4, Ap. B.3
Mejor método con Kimi K3	Memory (cruda) 63,3, la mejor de 6	§4.2
Mejor método con Opus 5	EvoTest 66,1; Memory 60,9 (3ª de 6)	§4.2
Harness, mismo modelo: Opus 5	OpenCode 74,5 → Claude Code 81,8 (+7,3)	§4.3
Harness, mismo modelo: GPT-5.6-SOL	OpenCode 57,0 → Codex 74,3 (+17,3)	§4.3
Cola de la tabla	GPT-5 Mini, Max 34,0	§4.2
Único con LG negativo	Naive (sin memoria) en Opus 5: LG −5,1	§4.2

Hallazgo 1: retener el registro crudo gana a resumir… con un asterisco

Con Kimi K3, la jerarquía de los seis métodos de memoria es (§4.2): Memory 63,3 > EvoTest 62,4 > Reflexion 61,6 > ReasoningBank 59,9 > AWM 56,1 > Naive 54,7. Memory — acumular en el prompt los historiales completos y sin modificar de los episodios anteriores, recortando solo cuando se agota el contexto — lidera las cuatro métricas. Sin reflexión, sin extracción de reglas, sin workflows.

Con Opus 5, la tabla se invierte: EvoTest 66,1 > Reflexion 64,8 > Memory 60,9 > ReasoningBank 60,2 > Naive 53,4 > AWM 50,7. El titular del abstract solo se cumple en uno de los dos backbones donde se probó.

La explicación de los autores es lo interesante. Resumir puede ser una compresión prematura de la evidencia: cuando el entendimiento todavía está incompleto, destilar reglas congela una interpretación equivocada y los episodios siguientes obedecen esa regla. Su caso de GemForge (§4.2.2): un run de EvoTest-Opus 5 prueba una combinación de ingredientes, falla, y su prompt pasa a prohibir muchísimas otras combinaciones — incluida una que habría funcionado. El registro crudo, en cambio, mantiene la evidencia original disponible para revisarla cuando llega feedback nuevo.

Lo robusto en ambos backbones: Naive, que no retiene nada entre episodios, es lo peor de la tabla y el único con LG negativo (−5,1 en Opus 5). Sin memoria no hay aprendizaje; la pregunta es qué formato de memoria.

Y un dato más que el abstract no cuenta: el harness genérico (OpenCode) con Opus 5 saca 74,5 — por delante de los seis métodos de auto-mejora con el mismo backbone. El bucle flexible, donde el modelo decide cuándo revisar feedback o recalcular antes de actuar, rinde más que los bucles prefijados de los métodos de memoria. Lo que almacenas importa, pero también el loop donde lo usas.

Esto conecta con lo que contamos de la memoria como el nuevo cuello de botella de los agentes: el patrón prompt-summary que se está volviendo estándar acaba de recibir su primer test de estrés serio, y el resultado es “depende del modelo”, que es exactamente el tipo de respuesta que molesta pero que los datos sostienen.

Hallazgo 2: humanos — el Top-1 gana, la media pierde

El estudio humano (§4.4) reclutó estudiantes universitarios: 21-30 por juego, misma interfaz que los agentes, sin herramientas de IA ni código, pagados por participar con premios extra por las mejores puntuaciones.

Human Top-1: Max 84,3 (LS +7,33) — por encima de cualquier configuración agente, incluida Opus 5.5 (80,1).
Human Top-3: 79,1. Top-5: 75,1. Ya por debajo del mejor agente.
Humano medio (todos los participantes elegibles): Max 43,6, Mean 31,2. Pierde contra 10 de los 11 backbones con OpenCode — solo GPT-5 Mini (34,0) queda por debajo — y contra los 12 métodos de memoria probados con Kimi K3 y Opus 5. La lectura honesta no es “los humanos somos mejores”: es que el mejor humano explora mejor que el mejor agente, y el humano medio no compite con ningún agente serio.

Los datos de comportamiento (Ap. B.3) apuntan a por qué: en juegos fixed, la similitud media entre secuencias de acciones de episodios consecutivos es 0,54 en humanos vs 0,66 en agentes — los agentes repiten más. Tras un episodio por debajo de su marca, el humano consigue un nuevo récord en el siguiente el 33% de las veces; el agente, el 22%.

Dónde gana cada uno también importa: los humanos top puntúan más en GemForge y Grapevine, juegos donde el éxito exige encontrar estrategias nuevas; los agentes ganan en RedEye y Model Auditor, donde lo que hace falta es ejecutar secuencias largas y cálculos precisos. Un buen agente es un executor excelente y un explorador mediocre. Ojo con el caveat del Apéndice C: los grupos Top-k se seleccionan por Max, no son trials independientes, y el paper dice explícitamente que no se les debe leer incertidumbre poblacional.

Hallazgo 3: el harness mueve hasta 17,3 puntos — y también recorta coste

La comparación limpia (§4.3), mismo backbone, mismo protocolo de evaluación:

Opus 5: OpenCode 74,5/53,8/LG +21,3 → Claude Code 81,8/62,3/LG +27,1. +7,3 Max, +8,5 Mean.
GPT-5.6-SOL: OpenCode 57,0/41,1/LG +14,5 → Codex 74,3/54,8/LG +22,2. +17,3 Max, +13,7 Mean.

GPT-5.6-SOL con OpenCode es octavo de la tabla — de once backbones, por delante solo de Claude Sonnet 5 (55,9), DeepSeek V4 Pro (54,2) y GPT-5 Mini (34,0) —; el mismo modelo con Codex (74,3) se cuela entre Opus 5 (74,5) y Qwen 3.8 Max (72,5). La atribución de los autores: los modelos se entrenan contra sus propios harnesses y estos están adaptados a sus capacidades. Coherente, pero es la explicación de los fabricantes, no un experimento controlado del paper.

Hay dos capas distintas en este hallazgo y conviene no mezclarlas: el harness genérico flexible ya vence a los métodos de memoria prefijados (§4.2.2), y el harness nativo vence al genérico (§4.3). No es lo mismo “el bucle abierto funciona mejor” que “el modelo está entrenado en ese cliente concreto”. El titular agregado — el harness pesa más que el modelo — se sostiene en los datos, pero por dos mecanismos diferentes.

El coste acompaña (§4.6): Kimi K3 con OpenCode usa un 56% menos de input tokens que Memory y un 71%/41% menos de tokens generados que EvoTest y ReasoningBank, respectivamente, a la vez que rinde más. En total, 0,56M de tokens por episodio frente a 0,73M de Claude Sonnet 5, al que supera en Max pese a tener precios unitarios más altos. Frase textual: “Higher token prices therefore do not imply higher overall cost”. Y una nota de honestidad contable: la única configuración con factura real confirmada es GPT-6 Astra — $150 facturados por 600 replays terminales, ≈$0,25 por episodio según el sitio del proyecto; el resto son estimaciones a precio estándar. Es la misma lección que ya vimos en pi-harness: los modelos locales superan a Claude Code en su propio harness, pero con el signo invertido — allí el harness bien elegido levantaba modelos pequeños; aquí el harness nativo levanta al modelo cerrado de su propia casa. La variable de decisión es el par modelo-harness, nunca el modelo solo. Para el estado de esa industria, radar de harnesses.

Qué pasa cuando el escenario cambia (RQ4)

En los 10 juegos re-shuffled, donde la instancia visible cambia cada episodio pero la regla no, la capacidad de transferir lo aprendido se reparte así (§4.5, Tabla 3, caída de LS): Opus 5 aguanta (0,59), Kimi K3 también (0,88), Claude Code con Opus 5 mejor aún (0,52). En el lado que se cae: Sonnet 5 (2,67), Gemini 3.7 Flash (2,15), GPT-5.6-SOL (1,94), Gemini 3.5 Flash (1,73).

La frase que resume el fallo: “Past success can mislead transfer when an agent remembers what worked but not why it worked”. Su ejemplo concreto: agentes que siguen eligiendo la posición de un plato en el menú cuando el menú ya cambió. Retener la evidencia cruda ayuda a revisar interpretaciones, pero no garantiza generalizar — separar la regla invariante de los detalles de la instancia es otro problema, y los métodos de memoria actuales no lo resuelven.

Limitaciones

Preprint v2 (08-oct-2026), sin revisión por pares. Todas las cifras son autoreportadas sobre APIs cerradas. Es una foto, no una propiedad estable del ecosistema.
1 seed por juego × 3 trials. El sitio avisa que son “aggregate point estimates, not significance rankings”, y el Apéndice C reconoce que el número reducido de trials limita la precisión de las desviaciones. Los órdenes de magnitud sí son consistentes entre tabla, sitio y apéndices (620 celdas completas, sin imputaciones), pero las diferencias de 1-2 puntos entre métodos no las trataría como señal.
Costes = estimación a precio estándar, salvo GPT-6 Astra, cuya factura de $150 está confirmada por el responsable del experimento.
Opus 5 + Claude Code y GPT-5.6-SOL + Codex son pares de la misma familia. La explicación “entrenado en su harness” es plausible, pero el paper no puede aislarla de otras diferencias entre harnesses (herramientas, formato de prompt, gestión de contexto).
Los humanos son estudiantes con incentivos y los Top-k están seleccionados por Max. El 84,3 es el mejor registro de 21-30 personas por juego, no una media poblacional; el paper lo dice explícitamente y conviene no olvidarlo al citar el 84,3.

Qué haría yo

Antes de pagar un framework de memoria, haz un A/B contra la opción tonta. Historial completo en contexto vs el método de turno, sobre tus tareas reales. En este benchmark la opción cruda gana con un modelo y pierde con otro: nadie te puede vender “resumir en reglas” o “retener todo” como universal. Dos días de prueba dicen más que cualquier tabla.
Evalúa pares modelo-harness, no modelos. Con ±17 puntos en juego por el lado del harness, cualquier decisión de stack basada en rankings de modelos está midiendo mal. Y si tu modelo tiene harness nativo, pruébalo antes de dar por bueno un harness genérico “porque es más flexible”.
Si tu agente destila reglas, obliga a que cada regla enlace con la evidencia que la produjo. Es la dirección futura que proponen los propios autores: poder volver al registro original y revisar la regla cuando llega feedback nuevo. Sin eso, tu memoria de agente es una primera impresión congelada.
Usa Naive como suelo de diagnóstico. Si tu agente con memoria no mejora entre episodios (LG ≤ 0), el problema no es cuánta memoria tiene: es cómo usa el feedback. Los modos de fallo del §4.2.3 son reconocibles — repetir la estrategia que “más o menos funciona” en vez de explorar, y conocer la regla pero no planificar dos pasos.
Presupuesta por episodio y verifica con facturas reales. El único coste confirmado del paper sale a ≈$0,25/episodio; el resto son estimaciones. En tu entorno, una semana de billing real vale más que la columna de coste estimado de cualquier leaderboard.

Fuentes: paper (arXiv 2610.08215) · HTML v2 completo · sitio del proyecto con leaderboard · código jugable (GitHub). Cifras verificadas contra el HTML v2 y el sitio del proyecto el 10-oct-2026.