ReaLVR: el razonamiento visual latente casi no mira la imagen
ReaLVR: el razonamiento visual latente casi no mira la imagen — y cómo arreglarlo
TL;DR
- Verificado verbatim contra el abstract y el HTML v1 del paper (arXiv 2609.34563, publicado el 28/09/2026; organización Amazon en Hugging Face, 13 autores con Xi Xiao de primero): ReaLVR entrena los tokens latentes del razonamiento visual para conservar la evidencia relevante de la imagen, “sin cambio alguno en la arquitectura del modelo ni en el procedimiento de inferencia” (§1, traducción nuestra).
- Lo nuevo no es el método, es el diagnóstico: los autores bautizan el latent evidence-credit gap. En su suite contrafáctica, la respuesta correcta cambia en el 81.45–86.33% de las imágenes editadas y el modelo con LVR solo cambia su predicción en el 5.66–13.09%. Es un diagnóstico construido por los propios autores, sin réplica externa a fecha de hoy.
- El titular es real pero no es barrida: 63.7% de media en 5 benchmarks con Qwen2.5-VL-7B, la media más alta evaluada (+0.8 sobre ILVR-Stage2). En esa misma Tabla 1, ILVR gana BLINK (56.8 vs 55.8) y HR-8K (66.9 vs 66.6). La ventaja está en la media, no en tarea tras tarea.
- El escalado a 235B lleva asterisco: es claim de los autores (“to our knowledge”), cubre solo 3 de los 5 benchmarks, sin media de 5 tareas, con deltas de +0.6 a +1.9 puntos y entrenado en 800 AMD MI250X. Impresiona menos leído completo que en el abstract.
- Lo que el paper no demuestra: ahorro de coste. El gancho de “8 tokens latentes en vez de cientos de tokens de razonamiento” es la promesa de LVR en general; ReaLVR aporta precisión sobre esa base y no publica ningún análisis de coste ni latencia de inferencia. El repo es CC BY-NC 4.0: investigación sí, producto comercial no.
Qué es LVR y por qué promete
El razonamiento visual latente (LVR, latent visual reasoning) propone hacer el cómputo intermedio de un modelo multimodal en tokens continuos en vez de escribir cada paso en texto. En lugar de generar cientos de tokens de cadena de razonamiento (“el objeto está a la izquierda de…, luego…”), el modelo inserta un puñado de vectores latentes que “piensan” en el espacio continuo y responde después. En el setup de este paper, son K=8 tokens latentes.
El gancho es doble. Económico: 8 vectores continuos frente a cientos de tokens generados — esa promesa de coste es de LVR, no de ReaLVR, y conviene separarlas desde ya. Y expresivo: hay relaciones espaciales y detalles finos que un modelo verbaliza mal pero podría manipular en espacio continuo.
La contrapartida la dice el propio abstract: al contrario que una cadena de texto, el razonamiento latente no es observable, así que nadie supervisa lo que esos tokens aprenden a conservar. Durante el RL con GRPO, la recompensa solo mira el texto final; la trayectoria latente —que el modelo genera libremente en inferencia— no recibe señal de qué evidencia visual merece la pena conservar ni en qué posiciones. De ese hueco sale el problema que este paper pone números.
El diagnóstico: cambias la imagen y el modelo no se entera
La sección 5.3 es la parte que justifica el paper. Los autores construyen pares original/editada —512 por cada uno de 4 tipos de perturbación— donde la edición altera el dato que decide la respuesta. Los resultados, verificados en el HTML v1:
- La respuesta correcta cambia en el 81.45–86.33% de los pares (según tipo de edición).
- El modelo entrenado con LVR base cambia su predicción solo en el 5.66–13.09%.
- Gap: 68.36–80.67 puntos porcentuales entre “el dato decisivo cambió” y “el modelo se dio cuenta”.
Las pruebas de mecanismo remachan el diagnóstico. La distancia coseno entre la trayectoria latente generada con la imagen original y la generada con la editada es menor de 0.0005 en LVR, frente a 0.13–0.34 en ReaLVR (Fig. 4b): la trayectoria del modelo base está prácticamente congelada ante ediciones que deberían moverla. La tabla G.2 lo generaliza: con una máscara de fuerza 0.30, la similitud coseno media entre trayectorias (su métrica RCS) se queda en 0.99974626, y ninguna perturbación de la tabla baja de 0.99917. Y los tokens latentes tienen una dimensionalidad efectiva bajísima: rango efectivo Rank90 de 4 frente a 428 de los embeddings visuales en BLINK (3,584 dimensiones).
Hay también una prueba causal legible (Fig. 1c): sustituir los 8 tokens latentes que más atiende la respuesta, con el resto de estados fijos, hunde la probabilidad de acierto en 4 puntos en LVR y en 11 en ReaLVR. Cuanto más cae, más depende la respuesta de esos tokens — y en el modelo base, casi nada.
Mi lectura: esto es lo más valioso del paper, y es también la parte que hay que tomar con más cautela. El diagnóstico entero está construido con las herramientas de los autores sobre los modelos que ellos entrenaron. Nadie externo ha replicado todavía ni el gap ni las pruebas de mecanismo. La hipótesis causal —que GRPO solo recompensa el texto final y la trayectoria libre no recibe crédito de evidencia— es plausible y consistente con los datos, pero sigue siendo interpretación de los autores.
La receta ReaLVR: supervisar el dónde y el qué, solo al entrenar
El Apéndice B separa tres preguntas sobre cada token latente generado: readout (si el decodificador de la respuesta lo atiende), grounding (si representa evidencia relevante del par imagen-pregunta y no otra) y utility (si intervenir sobre él cambia la respuesta). La receta de ReaLVR actúa sobre las dos primeras, con dos contrastes:
- Dónde supervisar (contraste de resultado): regenerar la trayectoria con el modelo actual reteniendo gradientes y comparar cómo atienden a cada token latente la respuesta correcta y respuestas erróneas muestreadas del propio modelo. Los tokens donde la respuesta buena y la mala se separan son los que necesitan supervisión más fuerte. Que la trayectoria sea on-policy importa: en la ablation, usar objetivos off-policy cae a 61.9 de media.
- Qué conservar (contraste visual): contrastar evidencia visual relevante para la respuesta contra evidencia no coincidente, y empujar los tokens supervisados hacia las regiones que importan.
Y una decisión de diseño que hace el resto: la supervisión es selectiva. En la ablation (§5.2), enrutar la supervisión por igual a todos los tokens da 62.4 de media; seleccionar dónde actuar, 63.2; la receta completa, 63.7.
Nada de esto toca la arquitectura ni la inferencia: es una receta de entrenamiento sobre LVR estándar. Es lo que la hace exportable a cualquier modelo estilo LVR — y también lo que la deja fuera de cualquier conversación sobre coste de inferencia, que es de donde venía el interés comercial por los tokens latentes.
Los números, con la letra pequeña delante
Tabla 1 del paper, Qwen2.5-VL-7B, media de 5 benchmarks (MMVP, BLINK, HRBench-4K, HRBench-8K, MME-RealWorld), media ± desviación de 3 semillas — la única tabla del paper que reporta semillas:
| Método | MMVP | BLINK | HR-4K | HR-8K | MME-RW | Media |
|---|---|---|---|---|---|---|
| Vision-R1 (ICLR’26) | 51.5 | 52.7 | 62.9 | 58.6 | 44.2 | 54.0 |
| LVR-SFT (ICLR’26) | 63.6 | 53.2 | 69.0 | 63.3 | 49.5 | 59.7 |
| LVR-RL (ICLR’26) | 64.2 | 53.6 | 69.6 | 64.4 | 50.1 | 60.4 |
| Pixel Reasoner (NeurIPS’25) | 66.8 | 53.3 | 69.8 | 64.1 | 49.7 | 60.7 |
| Monet-RL (CVPR’26) | 69.9 | 52.4 | 71.3 | 66.0 | 51.5 | 62.2 |
| ILVR-Stage2 (ACL’26) | 69.4 | 56.8 | 71.0 | 66.9 | 50.3 | 62.9 |
| ReaLVR | 72.0 | 55.8 | 71.8 | 66.6 | 52.2 | 63.7 ± 0.2 |
Léelo bien: ILVR-Stage2 gana BLINK y HR-8K a ReaLVR en esta misma tabla. La ventaja de ReaLVR es la media de 5 tareas (+0.8 sobre el mejor rival), no una victoria tarea a tarea. Sobre LVR-SFT sí gana las 5 tareas, con MMVP como mayor salto (+8.4).
En el resto de backbones (Tabla 2, números sin desviación): Qwen3-VL-8B 61.2 —donde Monet gana BLINK (55.1) y LVR-RL gana MME-RW (49.7 vs 49.3)—; Qwen3-VL-30B 65.2, la única barrida limpia: gana las 5 tareas a LVR (+1.1 de media); InternVL3-8B 58.1 (+3.1 sobre LVR-RL); Gemma-3-12B 41.6 (+2.6). La transferencia a otras familias existe y es la mayor en InternVL3, un detalle que dice que el problema del gap no es exclusivo de Qwen.
| Claim | Qué hay detrás (consultado 02/10/2026) | Naturaleza |
|---|---|---|
| Los tokens latentes casi no reaccionan a ediciones que cambian la respuesta | Abstract verbatim + §5.3 (5.66–13.09% vs 81.45–86.33%) + Tabla G.2 (RCS 0.99974626) | Verificado en el paper; diagnóstico de los autores, sin réplica externa |
| 63.7% de media en 5 tareas, la más alta en Qwen2.5-VL-7B | Tabla 1 verbatim (63.7 ± 0.2, 3 semillas) | Verificado; vendor-reported |
| ReaLVR gana en todo | Falso en general: ILVR gana BLINK y HR-8K en 7B; Monet gana BLINK y LVR-RL gana MME-RW en 8B | Corregido; la ventaja es la media |
| Primero en escalar razonamiento visual latente hasta 235B | Abstract y §1, con “to our knowledge” | Claim de los autores |
| 235B mejora en lo evaluado | Tabla 2 verbatim: 81.9/75.4/71.0 vs LVR-SFT 80.9/74.2/70.4 | Verificado; solo 3 de 5 tareas, sin media |
| 61.2 (8B), 65.2 (30B), 58.1 (InternVL3-8B), 41.6 (Gemma-3-12B) | Tabla 2 verbatim, sin desviaciones | Verificado; vendor-reported |
| K=8 es el mejor presupuesto; spans cortos capturan gran parte del beneficio | Ap. F verbatim: K=2 captura 4.0 de 6.3 del máximo gain en BLINK; oráculo por tarea solo +1.1 sobre K=8 | Verificado |
| Entrenar 235B costó 800 MI250X | §5 y Ap. A verbatim: 200 nodos, 1,600 GCDs de 64 GB, ZeRO-3 | Verificado |
| No añade coste de inferencia | §1: “requires no change to the model architecture or inference procedure” | Verificado como diseño; el paper no publica benchmark de coste |
| ”Amazon” | Organización Amazon en HF; 13 autores, primer autor Xi Xiao | Verificado, con corrección de atribución |
| Código disponible | Repo xixiaouab/ReaLVR-code, 16 stars, creado 28/09; LICENSE leído: CC BY-NC 4.0; README: pesos “coming soon” | Verificado; GitHub marca la licencia NOASSERTION, pero el texto es el estándar CC |
El escalado a 235B y su asterisco
El abstract presume de ser “the first to scale visual reasoning in latent space… up to 235B”. Dos precisiones del propio paper que conviene leer antes de repetir el titular. La primera: es un claim con “to our knowledge”, en abstract y §1. La segunda: a 235B solo se evaluaron 3 de los 5 benchmarks (MMVP, BLINK y MME-RealWorld; HRBench no se ejecutó), y la propia Tabla 2 avisa de que la media de 5 tareas solo se reporta con las cinco puntuaciones disponibles. No hay media de cinco tareas que mirar.
Los deltas, encima, son modestos. En MMVP: decoding directo 80.0, LVR-SFT 80.9, ReaLVR 81.9. Es decir, +1.9 sobre no usar razonamiento latente y +1.0 sobre la versión SFT. En BLINK, +1.9 sobre directo; en MME-RW, +1.2. No es ruido necesariamente — la dirección es consistente en las tres tareas —, pero en un modelo que ya acierta entre el 70 y el 80% según la tarea, el margen que deja el razonamiento latente se estrecha. La parte honesta: la Tabla 2 de 235B no reporta semillas ni desviación, así que ni siquiera podemos estimar si esos +1.0 son estables.
El coste de entrenar eso tampoco está a tu alcance ni al mío: 200 nodos con 800 aceleradores AMD MI250X (1,600 GCDs de 64 GB, 128 GB por acelerador) con DeepSpeed ZeRO-3, y 256 MI250X para los modelos de hasta 30B. Es capacidad de hyperscaler. El claim de escala es real como hito de laboratorio y irrelevante como opción para tu stack.
Qué significa para devs y para costes: precisión, no ahorro
Aquí está la confusión que este paper va a generar en los próximos meses: “tokens latentes” suena a ahorro, y ReaLVR apareció en portadas de Hugging Face (209 upvotes a 02/10/2026) pegada a esa idea. Los hechos: ReaLVR es un método de entrenamiento que no cambia la inferencia; el ahorro de tokens frente a CoT textual es la promesa de LVR en general; y el paper no incluye ni un benchmark de coste ni de latencia. Si buscas recortar la factura de razonamiento hoy, las palancas siguen siendo otras: cómo reducir el coste de tokens un 30% o el marco de costes por token y routing entre proveedores.
Lo que sí deja el paper es una pista de diseño interesante en el Apéndice F: barriendo K de 0 a 20, K=8 da la mejor media, pero K=2 ya captura 4.0 de los 6.3 puntos de mejora máxima en BLINK, y un oráculo que eligiera K por tarea solo añadiría 1.1 puntos sobre K=8 fijo. Los spans cortos capturan gran parte del beneficio. Si algún día hay números de inferencia, el presupuesto latente es pequeño y resistente a recortes — que es exactamente el perfil que interesa para razonamiento barato.
Y para quien evalúe modelos multimodales con razonamiento visual en producción, el hallazgo exportable no es ReaLVR: es la suite contrafáctica. Si un proveedor te vende “razonamiento visual”, pide esta prueba: edita el dato decisivo de la imagen y mira si el modelo cambia de respuesta. Si no cambia, no está razonando sobre la imagen, está decorando con ella. La idea de que el cuello de botella está en decidir dónde mirar —no en computar más— es la misma que recorrimos en MALA, la atención que asigna su propio cómputo, allí a nivel de kernel de atención y aquí a nivel de tokens latentes.
Qué NO sabemos
- Sin reproducción independiente. El v1 tiene cinco días de vida (al 02/10/2026) y todo lo anterior es lo que reportan los autores sobre sus propios entrenamientos.
- El diagnóstico de mecanismo es suyo. Las pruebas de Fig. 1c, §5.3 y G.2 están diseñadas por los mismos autores que proponen la cura. Coherentes, sí; independientes, no.
- Generalización desconocida. Cinco benchmarks, tres familias de modelos, cero tareas posteriores (documentos, UIs, robótica). Que el gap y la cura se traduzcan a tu dominio es una hipótesis.
- Sin números de coste de inferencia. Ni latencia ni tokens por respuesta frente a CoT textual. La mitad económica de la historia LVR sigue sin medir en este paper.
- 235B con menos evidencia de la que parece. Tres tareas, sin semillas, deltas de ~1 punto, hardware no replicable.
- Licencia del repo. El LICENSE es CC BY-NC 4.0 (GitHub lo muestra como NOASSERTION porque no la clasifica, pero el texto es el estándar de Creative Commons): puedes reproducir e investigar, no meterlo en producto comercial.
Qué haría yo
Si llevas visión + razonamiento en producción: añade evals contrafácticas tipo §5.3 a tu batería de proveedores. Es una prueba barata, agnóstica del modelo, y separa modelos que miran de modelos que recitan. No compraría (ni descartaría) nada por el titular del 235B: el resultado accionable está en 7B-30B, que es donde hay semillas, desviaciones y ablations.
Si quieres tocar el código: el repo existe (16 stars, 1 issue abierta, creado el mismo día del paper) con Quick Start real —Python 3.11, PyTorch 2.6, scripts por defecto a 8 GPUs—, pero sin pesos: los checkpoints entrenados aún no están publicados (“coming soon” en el README), así que tocarlo significa entrenar desde el base. La licencia NC lo deja fuera de producto. Y si tu interés era el coste, sigue la línea LVR en general, no este paper: lo que ReaLVR demuestra es que esos 8 tokens pueden aprender a mirar de verdad, que es el prerrequisito — no la factura.
La auto-mejora multimodal sin profesor externo de UniEvo-VL y este paper apuntan a lo mismo por caminos distintos: la señal de entrenamiento que importa ya no es “acertar la respuesta”, es dónde y qué mira el modelo cuando la construye.
Fuentes
- Primarias: arXiv 2609.34563 — abstract · HTML v1 completo (abstract, §1, §5.2, §5.3, Tablas 1-2, Apéndices A, B, F y G) · API export.arxiv.org — consultados el 02/10/2026.
- Código: xixiaouab/ReaLVR-code (README y LICENSE consultados el 02/10/2026) · project page.
- Recepción: página del paper en Hugging Face (209 upvotes vía API, consultada el 02/10/2026).
- Contexto interno: MALA: la atención que asigna su propio cómputo · reducir costes de tokens un 30% · guía de costes LLM: tokens y routing · UniEvo-VL: auto-mejora multimodal.