GPT Diffusion

MJev-Spatial: juicios espaciales por clasificación directa — System 1 sin generar tokens

2026-10-17 · Devs #agentes#modelos#qwen#benchmark#optimizacion#arquitectura

TL;DR

  • Verificado (HTML v1, abstract y Tabla 2): MJev-Spatial —arXiv 2610.22276, v1 del 15-oct-2026— es un VLM de 4B construido sobre Qwen3.5-4B que responde juicios espaciales sin decodificar respuesta: cada decisión es un único forward pass que puntúa los candidatos reutilizando las proyecciones query/key preentrenadas del último bloque de atención del backbone. Sin head de predicción nuevo, sin parámetros añadidos, cero tokens generados. Resultado: 65,64% de media igual-ponderada en 12 benchmarks, el mejor de 8 modelos evaluados; primero en 7 de 12; gana a su base autoregresiva en los 12.
  • Verificado (Tabla 11, Ap. D.3): 160,6 ms de latencia media por query end-to-end en 1× NVIDIA B200 con batch 1 —2,47× menos que el mejor baseline autoregresivo y 5,57× menos que su propia base Qwen3.5-4B. El abstract lo redondea a “2.5×” y “5.6×”.
  • Verificado (repo y HF, a 17-oct-2026): código Apache-2.0 instalable (pip install -e '.[inference,train]') y pesos públicos en safetensors (mindlab-research/MJev-Spatial-4B, subidos el 16-oct-2026 con 26 descargas). Código y pesos existen; el uso que tiene la comunidad, todavía no.
  • Claim de los autores: que esto es “System 1” para la inteligencia espacial, y que su batching length-aware con balanceo cross-GPU sube el throughput de entrenamiento un 30,8%. Ojo con la segunda cifra: es de un estudio controlado sobre un corpus histórico de 72K QA, no del run final de 12,3M.
  • El alcance es el ángulo, no una carencia escondible: esto solo emite juicios de espacio compacto —opción entre candidatos, valor numérico o punto 2D—. No genera texto libre, no explica, no razona en pasos. Es la contraparte exacta de la reflexión tipo System 2 que Agent-Reflex entrena: allí cada paso de reflexión añade tokens; aquí se eliminan todos.

El coste que nadie lista en la factura: responder con texto

Pregunta a un VLM autoregresivo “¿el robot puede agarrar la taza desde la izquierda?” y el modelo escribirá una frase. Esa frase tiene un precio que no aparece como línea de coste: cada token de la respuesta es un paso de decodificación completo, y si la latencia importa —un agente que opera con feedback en tiempo real, un lazo de GUI, un robot con ciclo de control—, el presupuesto se va en generar palabras para producir un único bit de decisión.

Después del texto viene el parser. “A”, “The answer is A”, “A. Because…”, JSON mal cerrado: extraer la decisión del texto generado es una fuente clásica de errores de evaluación, y en producción un parser que falla es una acción que no se ejecuta. La métrica mezcla dos cosas: lo bien que el modelo entiende el espacio y lo bien que sigue el formato.

MJev-Spatial ataca las dos a la vez eliminando el texto: la respuesta no se genera, se se puntúa. La tesis del paper es que para un juicio espacial de espacio compacto, la decodificación autoregresiva es capacidad desperdiciada —el mismo espíritu de MALA, que asigna el cómputo de atención solo donde su masa lo justifica, aplicado no al entrenamiento sino a la forma misma de responder.

Qué hace exactamente: la atención que ya tenías, usada como clasificador

El mecanismo, verificado contra §3 y el README, es deliberadamente mínimo:

  1. Cada candidato se marca en el prompt con un token especial (end marker). En una pregunta de opción múltiple, cada opción es una clase; en una respuesta numérica, los intervalos de un rango discretizado son las clases.
  2. Un token en la posición de decisión actúa como query. El score de cada candidato es la media sobre cabezas de atención del producto punto Q·K/√d entre la posición de decisión y el end marker del candidato, usando las proyecciones query/key del último bloque de atención completa que ya vienen preentrenadas en el backbone. Normalización Q/K nativa, alineación grouped-query y RoPE multimodal incluidas.
  3. Softmax sobre el conjunto de candidatos y argmax. No hay head nuevo, no hay parámetros entrenados para leer la respuesta, no hay decodificación: una decisión, un forward pass, cero tokens.

Sobre esa base, tres formatos de respuesta:

  • Opción múltiple: una decisión directa.
  • Numérico: dos etapas coarse-to-fine — primero el modelo clasifica en qué intervalo cae el valor, después clasifica el punto medio dentro de ese intervalo. Dos forward passes para un número.
  • Pointing (x,y en imagen): tres selecciones sobre rejillas 3×3 — tres decisiones, tres forward passes para un punto, con rejilla efectiva de 27×27 al tercer paso (§3.1). El coste extra no está en el scorer: entre decisión y decisión se re-encoda el recorte alrededor de la celda ganadora con el mismo pipeline visual congelado, que es lo que aporta la evidencia local a la decisión siguiente.

El entrenamiento no toca el vision encoder ni el proyector (congelados): lo que se ajusta es el lado del lenguaje que alimenta ese readout. La base es Qwen3.5-4B —no confundir con Qwen3-VL-8B-Instruct, que en las tablas aparece como baseline independiente—, y existe además una iteración previa (MJev-Spatial-Preview, sobre Molmo2-ER, de septiembre de 2026) que no es el modelo del que hablamos aquí.

Los números, con verificado y atribución

Consulta de fuentes: 17-oct-2026, a dos días del v1 (15-oct). Todas las cifras son mediciones de los autores sobre sus propias ejecuciones de los 8 modelos —incluidos los baselines autoregresivos—. Repetirlas aquí no las convierte en independientes.

Primera tabla, la que importa para leer cualquier titular de este paper — lo que el abstract dice frente a lo que dicen sus tablas:

Claim del abstractCifra exacta de las tablasFuente
”highest overall score (65.64%) among eight tested models”65,64Tabla 2, §4.2
”ranks first on seven of twelve benchmarks”7/12 (CV-Bench 88,82; RoboVQ 79,06; MMSI 45,60; RefSpatial 58,50; Where2Place 67,96; Point-Bench 64,38; ERQA 46,75)Tabla 2
”outperforms its unmodified autoregressive base model on all twelve”12/12 contra Qwen3.5-4B (54,80 overall)Tabla 2
”2.5 times faster than the fastest autoregressive baseline”2,47× (160,6 ms vs 397,4 ms de Spatial-SSRL-Qwen3VL-4B)Tabla 11, Ap. D.3
”5.6 times faster than the base model”5,57× (160,6 ms vs 894,1 ms de Qwen3.5-4B)Tabla 11, Ap. D.3
”raising training throughput by 30.8%“+30,8% en un estudio controlado de batching sobre un corpus histórico de 72K QA — no del run de 12,3M§4.4, Tabla 6

El overall de los 8 modelos evaluados (media igual-ponderada de 12 benchmarks):

ModeloOverall (Tabla 2)
MJev-Spatial (4B)65,64
Qwen3-VL-8B-Instruct62,79
Spatial-SSRL-Qwen3VL-4B60,08
Molmo2-ER59,06
SenseNova-SI Qwen3-VL-8B56,90
Qwen3.5-4B (su base, AR)54,80
InternVL3.5-8B48,24
SpatialThinker-7B39,68

Dos lecturas. La primera: el subcampeón es un modelo del doble de tamaño (8B) — MJev gana por 2,85 puntos con la mitad de parámetros, y además le gana a su propia base en los 12 benchmarks, que es el control ablation más limpio de la tabla: misma base, única diferencia sustancial el readout. La segunda: SpatialThinker-7B se hunde a 39,68 con un colapso localizado en pointing (0,50 en RefSpatial, 2,66 en Where2Place, frente a 67,96 de MJev en esta última). Ese patrón —un modelo que falla catastróficamente solo en las tareas cuyo formato exige parsear coordenadas de texto— huele más a rotura del protocolo de evaluación del baseline que a calidad real del modelo ajeno. El paper no lo diagnostica. No lo uses como “SpatialThinker es malo”: úsalo como señal de que la columna completa de baselines AR la ejecutó un solo equipo.

Latencia: la mitad de la historia que no es el score

La Tabla 11 (Ap. D.3) mide latencia media single-query end-to-end en 1× NVIDIA B200 con batch 1: incluye I/O de imagen, preprocesado, transferencia y la decisión o decodificación; excluye warmup y carga del modelo. La columna “ratio” la calculo yo dividiendo sus propias latencias:

ModeloLatencia media (ms)Ratio vs MJev (mi cálculo)
MJev-Spatial160,61,00×
Spatial-SSRL-Qwen3VL-4B (mejor AR)397,42,47×
SpatialThinker-7B406,72,53×
Qwen3-VL-8B-Instruct442,02,75×
Molmo2-ER777,34,84×
Qwen3.5-4B (su base)894,15,57×
InternVL3.5-8B3.368,420,97×

La lectura útil no es “2,47×” como número suelto sino de dónde sale: contra la base Qwen3.5-4B el gap es de 5,57× porque la base genera respuestas verbales completas a partir de la misma arquitectura —el ahorro es estructural, una decisión de un forward pass frente a N pasos de decodificación—. Contra el baseline AR más rápido (otro 4B afinado) el gap baja a 2,47×. Y contra el subcampeón de calidad, Qwen3-VL-8B-Instruct, la comparación conjunta es la que importa a quien monta un agente: 2,75× menos latencia y 2,85 puntos más de overall.

Un detalle del que el abstract no habla: la columna Load (s). MJev tarda 14,4 s en cargar frente a 10,5-12,7 s de los baselines. Nada dramático, pero la ventaja es por query, no por proceso: en un servicio de muchas queries amortiza; en un script de una sola pregunta, no.

La receta de entrenamiento, que es aplicable sin cambiar de paradigma

Sección secundaria, pero es la parte que un equipo con un fine-tuning multimodal en marcha puede reutilizar mañana:

  • Corpus: 12,3M de pares QA convertidos de datasets espaciales existentes (Tablas 7 y 9 del paper) — no datos nuevos, reformateo a tareas clasificables con candidatos explícitos.
  • Supervisión conjunta multi-etapa: todas las etapas coarse-to-fine se supervisan a la vez con teacher forcing en una única pasada — el modelo aprende intervalo y punto medio sin esperar la cadena de decisiones en inferencia.
  • Batching length-aware + balanceo cross-GPU: agrupar por longitud y repartir carga entre GPUs. El +30,8% de throughput se midió en un estudio controlado sobre el corpus histórico de 72K QA (8× L20D, batch global 256, microbatch 8, 100 updates, ventana de medición de 23.552 QA tras warmup, sin evaluación de calidad). Es una cifra de eficiencia de infraestructura, no del run final de 12,3M: si la citan descontextualizada, es una señal de lectura descuidada.

Dónde encaja y dónde no

Encaja cuando tres condiciones se dan a la vez: la salida es un juicio de espacio compacto (opción, un escalar, un punto), el lazo de decisión es sensible a latencia (robótica, GUI, agentes con feedback en tiempo real), y puedes reformular tu tarea como elección entre candidatos discretos. En ese régimen, tokens generados son sobrecoste puro.

No encaja en cuanto la tarea necesita lenguaje: explicar la decisión, componer razonamiento multi-paso, negociar ambigüedad, generar un plan. Ahí estás en territorio System 2, y el coste en tokens es justo lo que compra la capacidad. No es una jerarquía: Agent-Reflex entrena la reflexión que consume tokens extra cuando el entorno es ruidoso; MJev-Spatial elimina los tokens cuando la decisión cabe en un índice. Un agente real probablemente quiere los dos: decisiones rápidas de espacio compacto en el lazo interno, razonamiento con texto solo cuando el problema lo exige.

A nivel de arquitectura, esta pieza se suma a una familia que en el sitio ya tiene dos entradas: MALA, que deja de pagar atención donde su masa no la justifica, y AReA, que reutiliza la atención nativa training-free en otro dominio. El patrón común: dejar de pagar por cómputo de transformers que la tarea no consume.

Lo que el titular no dice

Todo es medición de los autores. Los 8 modelos de la Tabla 2 los ejecutó el mismo equipo, sobre el mismo hardware, con su propio pipeline. v1 de dos días de vida al consultar las fuentes, sin réplica independiente ni venue. El 65,64% puede moverse.

B200, batch 1. Hardware de datacenter. La forma del ahorro (una decisión = un forward pass) es hardware-agnóstico; los ratios absolutos no: en una GPU de consumidor, con menos ancho de banda y otro stack, serán otros. Es tu medición, no la Tabla 11.

“Overall” es media igual-ponderada. Cada benchmark pesa lo mismo aunque tengan números de preguntas muy distintos. El 65,64% no es “65,64% de preguntas acertadas”: es la media de 12 porcentajes.

El protocolo de baselines es delicado. El colapso de SpatialThinker-7B en pointing lo sugiere. Cuando un solo grupo ejecuta todos los baselines de métodos ajenos, los resultados cruzados llevan esa asterisco implícito.

Los pesos tienen 26 descargas a 17-oct-2026. Publicados el día 16. Nadie ha tenido tiempo de confirmar nada fuera del grupo; el código es Apache-2.0 e instalable, pero la distancia entre “ejemplos del repo funcionan” y “el modelo rinde en tu distribución de tareas” es la que siempre es.

Qué haría yo

En orden de coste. Uno: leer el scorer en el repo (Apache-2.0, pip install -e '.[inference,train]', ejemplos ejecutables sin dataset privado) — el mecanismo cabe en una pantalla y es la mejor explicación de “System 1 sobre atención nativa” que vas a encontrar implementada. Dos: bajar los pesos y correr los ejemplos de predicción tal cual, para confirmar que el pipeline de inferencia funciona fuera del entorno de los autores. Tres: si tu caso es un lazo de agente con decisiones espaciales, el experimento que responde de verdad es medir latencia y precisión en tu hardware con tus tareas, contra tu pipeline AR actual con tu parser — el 2,47× es de un B200, y tu parser quizá ya falla menos que el de los baselines.

Lo que yo no haría: extrapolar los ratios a consumo, usarlo fuera de juicios de espacio compacto, ni montar nada crítico sobre un modelo de un día sin réplica externa. Y si alguien te vende el “+30,8% de throughput” como resultado del entrenamiento de 12,3M, ya sabes qué preguntar: fue un estudio de batching de 100 updates sobre 72K.

Fuentes

Cargando comentarios...