Self-Retrospection Distillation: aprender de los rollouts que GRPO tira a la basura (0,0% → 60,6% en 2B, con matiz)

TL;DR

Verificado (abstract y tablas del preprint, arXiv 2610.08077 v2): cuando todos los rollouts de un grupo reciben la misma recompensa —todos fallan o todos aciertan—, el objetivo tipo GRPO produce gradiente cero, aunque las trayectorias muestren exactamente cómo falló el agente. En los runs del paper eso ocurre en el 37–98% de los grupos según la escala del modelo.
SRD (Self-Retrospection Distillation, de Salesforce AI Research con UC San Diego, Texas A&M y Stanford) convierte esa experiencia descartada en señal: destila hindsight privilegiado —lo que se sabe tras ver la trayectoria completa— en foresight de la misma política a ciegas, mediante una loss auxiliar ligera (λ = 0,01) que no añade nada en inferencia.
El titular, con su matiz: en el setting 2B, con el 98% de los grupos en fallo total, el entrenamiento RLVR acaba en 0,0% de éxito y añadiendo SRD se llega al 60,6% con el mismo presupuesto de rollouts. Atención: el 60,6% es éxito de entrenamiento, no de evaluación held-out; el pico del baseline fue 1,6%.
Fuera del caso extremo: +10,03 / +8,33 / +8,05 pp en las medias de Math, Code y Search con GRPO sobre Qwen3.5-4B; +17,22 pp en Math con OPSD 9B (39,70% → 56,92%); mejoras también en evaluaciones held-out (ALFWorld unseen, BrowseComp-Plus con horizonte 10×). La única regresión a nivel de categoría en todo el estudio: WebShop bajo OPSD 9B (−3,61 pp).
Hay código: github.com/SalesforceAIResearch/SRD, un repo real con examples/, docker/ y docs/, no un placeholder de paper.

El hueco donde se muere el gradiente

GRPO y familia RLVR entrenan con recompensa verificable y comparación dentro de grupo: cada rollout se puntúa contra sus hermanos del mismo prompt. Si las recompensas del grupo son distintas, la ventaja relativa empuja al modelo hacia lo que funcionó. Si todas son iguales, la ventaja es cero para cada rollout — y con ella la contribución al gradiente. El grupo entero se tira.

¿Con qué frecuencia pasa esto? Los autores lo cuantifican: entre el 37% y el 98% de los grupos son reward-uniform según la escala del modelo. No es un caso raro de cola: es la situación por defecto en los dos extremos. Como resume el primer autor en la página de Hugging Face:

“In our runs, that is 37–98% of groups depending on model scale. Weak models fail everything and strong models solve everything, so the trajectories get thrown away (by dynamic sampling like DAPO), even though they show exactly how the agent failed or what it needed to know.”

Dos detalles dentro de la cita: el descarte, en la práctica, lo ejecuta el dynamic sampling tipo DAPO; y las trayectorias tiradas contienen dos cosas — cómo falló el agente y qué necesitaba saber. Son exactamente los dos canales que SRD destila (pitfalls y knowledge, en la siguiente sección).

Un ejemplo con números redondos: si tu política acierta el 5% de las veces y generas grupos de 12 rollouts, la probabilidad de que los 12 fallen es 0,95¹² ≈ 54%. Más de la mitad de tus grupos no aportan nada. Con grupos de 8, casi dos tercios. Cuanto más débil el modelo o más dura la tarea, más presupuesto de rollouts se quema en grupos de gradiente nulo — justo donde las trayectorias contienen la información más valiosa: el modo exacto de fallo.

Qué hace SRD

La idea del paper, en una frase: una trayectoria completada revela conocimiento que habría sido útil y trampas que habría que evitar; SRD destila ese hindsight privilegiado en foresight —la anticipación que la política podría haber formado antes de actuar— de la misma política, sin ver la trayectoria.

El mecanismo, sin ceremonia:

Dos canales de supervisión. Del grupo fallido se construye un resumen estructurado de knowledge (qué exigía la tarea) y pitfall (qué trampas mataron los rollouts). Un profesor condicionado al hindsight del grupo supervisa las predicciones anticipadas del alumno, que solo ve el enunciado. De hecho, los resultados principales de la Tabla 1 destilan solo el canal pitfall.
Se aplica a todos los grupos. Al comparar cada trayectoria contra su propia prospección en vez de contra sus hermanas, SRD no necesita varianza de recompensa dentro del grupo: funciona también en los all-fail y en los all-success.
Loss auxiliar, no sustituto. L = L_B + λ·L_SRD sobre la base que quieras — el paper lo enchufa a GRPO, a OPSD (destilación on-policy del modelo sobre sí mismo) y a RLSD (híbrido), con λ = 0,01. Si el mecanismo te suena, es la misma familia que la destilación on-policy que ya analizamos: el alumno genera, el profesor puntúa en la distribución del alumno.
Cero coste en inferencia. El foresight es solo objetivo de entrenamiento: “need not be explicitly generated at inference time”, dice el abstract. El despliegue no cambia.

La parte incómoda de mirar: ese 98% de grupos all-fail del setting 2B significa que el baseline literalmente no arranca. No es que SRD acelere un entrenamiento que ya funcionaba; es que rescata uno que estaba muerto sobre el papel.

Los números, con su letra pequeña

Todos los valores de esta tabla están verificados contra las tablas del preprint (v2, 08-oct-2026), reportadas como avg@8 por los autores — cifras del vendor, no réplicas mías:

Setting	Base	Con SRD	Δ
2B code-only, éxito en entrenamiento	0,0% final (pico 1,6%)	60,6%	—
4B GRPO · media Math	—	—	+10,03 pp
4B GRPO · media Code	—	—	+8,33 pp (OJBench +8,12)
4B GRPO · media Search	—	—	+8,05 pp
4B GRPO · ALFWorld	—	—	+3,25 pp
4B GRPO · WebShop	—	—	+5,92 pp
9B OPSD · media Math	39,70%	56,92%	+17,22 pp
9B OPSD · media Search	—	—	+10,31 pp
9B RLSD · ALFWorld	66,25%	77,25%	+11,00 pp
9B OPSD · WebShop	—	—	−3,61 pp

Tres precisiones que el titular del abstract no cuenta:

El “0,0% → 60,6%” del abstract compara el éxito final del baseline con el éxito de entrenamiento con SRD. La frase exacta de la sección RQ3: con el 98% de grupos uniformes, la recompensa del baseline “never gets off the ground (1.6% peak training success, 0.0% final), whereas the same budget with SRD reaches 60.6% in training”. Es una cifra de curva de entrenamiento, no de evaluación held-out.
El “+24,2 pp” del abstract es el máximo puntual de toda la tabla (AIME26 bajo OPSD 9B: +24,16 pp), no una media.
“Solo una regresión” es cierto a nivel de categoría; a nivel de benchmark suelto asoman matices menores sin importancia estadística, como BrowseComp-Plus −0,84 pp (9B OPSD) o HotpotQA −0,51 pp (9B GRPO).

Qué pasa fuera de las condiciones de entrenamiento

Lo más interesante del estudio no son las medias en train, sino que las ganancias aguantan cuando la evaluación se desvía del régimen de interacción entrenado:

Cambio de formato en código. Entrenan con problemas stdin de LiveCodeBench (2.000 prompts) y evalúan en formato funcional de LCB-v6 más OJBench: +8,33 pp de media en Code con GRPO 4B, incluido +8,12 pp en OJBench.
ALFWorld unseen. 100 juegos con distribuciones de habitaciones y objetos no vistas: mejoras de 1,12 a 13,74 pp en todas las combinaciones base × escala. Ninguna combinación empeora.
Horizonte más largo. BrowseComp-Plus exige 10× o más llamadas a herramientas que los rollouts de entrenamiento: mejora en 5 de 6 settings, hasta +9,52 pp.

Que un objetivo auxiliar entrenado en un régimen transfiera a horizontes y formatos distintos es la parte que yo tomaría como señal seria — más que cualquier media en la distribución de entrenamiento.

El apéndice que da confianza

Los papers de benchmarks suelen esconder los apéndices; este merece leerlos. Dos piezas:

E.6, “A Statistic We Retracted”. Los autores detectaron que una estadística que habían analizado —la correlación entre la dirección de update de SRD y la de RL— era matemáticamente imposible que saliera positiva por construcción (los vectores comparten un término). El −0,36 medido “back-solves” a una alineación real del 74%: lo contrario de lo que parecían haber medido. Lo reanalizaron todo desde una base común para que el artefacto no pueda repetirse. Es difícil no leer esta autocorrección como señal de rigor: auditarse el propio apéndice es más de lo que hace la mayoría.
F, el caso de estudio, elegido por regla pre-registrada. El ejemplo central del paper (código, 2B, LiveCodeBench stdin) no lo eligieron a mano: lo devolvió una regla pre-registrada sobre 109 grupos candidatos del estrato código × all-fail × temprano. En el paso mostrado, 31 de 32 grupos son all-fail y la recompensa media es 0,012. Ahora bien, los propios autores reconocen que no corrieron anotación humana a ciegas del material destilado. El caso es ilustrativo, no una tasa de “consejo accionable correcto”.

Dónde mirar con sospecha

Train no es eval. Repito el matiz porque es el que se perderá cuando la cifra circule: 60,6% es éxito de entrenamiento. Las ganancias held-out del estudio son las de la sección anterior y son menores.
Todo es vendor-reported. Salesforce mide, Salesforce reporta: avg@8 sobre sus propios pipelines, con un LLM-as-judge (gpt-5.6-luna) como grader primario en BrowseComp-Plus. Nadie externo ha replicado todavía.
Una familia de modelos. Todo el estudio es Qwen3.5 (2B/4B/9B, con y sin Thinking). Que el efecto transfiera a otras familias es una pregunta abierta.
λ = 0,01 es su valor. Existe un ablation de λ en el Apéndice D.1; no lo he auditado y el paper no promete que 0,01 sea universal.

Qué haría yo

Si entrenas con RLVR y tu curva de reward está plana: antes de culpar al learning rate o al template, mide qué fracción de tus grupos sale reward-uniforme. Si es alta, tu problema no es de optimización sino de contraste de recompensa — y hay métodos que explotan exactamente ese material.
Si el diagnóstico te cuadra: SRD es barato de probar. Una loss auxiliar con peso 0,01, código público con examples/ y recetas docker, y ningún cambio en inferencia. El riesgo de tiempo es bajo; el de mentirse a uno mismo, alto: mide en held-out, no en tu curva de train.
Si no entrenas modelos: te sigue importando de rebote. Los agentes que consumirás por API se entrenan con estas técnicas — y la diferencia entre un modelo que aprende de sus fallos y uno que los tira es parte de por qué los agentes apenas retienen experiencia y por qué los entornos de entrenamiento se han vuelto el cuello de botella real.
Lo que no haría: citar el 60,6% en una propuesta interna como “éxito del 60% en benchmarks”. La cifra real, con todas sus letras, ya es buena historia.

Fuentes: arXiv 2610.08077 — Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight (preprint, v2 08-oct-2026) · HTML v2 del paper (abstract, §5/RQ3, Tabla 1, Apéndices A, E.6 y F) · Hugging Face Papers: discusión (comentarios de los autores, 10-oct-2026) · Repositorio SRD en GitHub (SalesforceAIResearch). Cifras del paper verificadas verbatim contra el HTML v2 el 10-oct-2026.