GroundingPI: el modelo de grounding de 4B de XPeng que supera a GPT-6 Astra en 34 benchmarks
TL;DR
- Verificado (arXiv 2609.39601, publicado el 30-sep-2026): XPeng publicó GroundingPI, un foundation model de grounding de 4B que, según sus propias mediciones, alcanza una media del 73,68% en 34 benchmarks de grounding (11 capacidades, 44 baselines comparadas), por delante del 71,54% de GPT-6 Astra. Todas las cifras de este punto salen del paper: ningún tercero las ha replicado todavía.
- Verificado: hay código y pesos abiertos de verdad. El repo de GitHub trae las suites de evaluación de los 34 benchmarks, configs de entrenamiento y despliegue con vLLM; los pesos están en Hugging Face: 4.843.664.384 de parámetros en BF16, unos 9,8 GB en safetensors. Arquitectura confirmada en el README: encoder visual MoonViT-V2 (el de Kimi K3), proyector multimodal aprendible y Qwen3-4B como backbone de lenguaje.
- Claim de los autores (robótica y conducción): usado como backbone visual de políticas VLA, mejora RoboTwin 2.0 “hasta un 24,8%” frente al backbone más fuerte, ganando en los cuatro settings out-of-distribution; en RoboCasa-GR1, entrenado con el 50% de las demostraciones, supera a baselines entrenadas con el 75%; en nuScenes deja un error L2 open-loop medio de 0,296 m.
- Matices que importan: la comparación la montan los autores en su propio harness (GPT-6 Astra evaluada con thinking effort “High”); el dominio es estrecho —grounding, no capacidad general—; y la adopción a 13 días es mínima: 35 stars en GitHub, 14 likes en HF.
- Para quién: si haces grounding de GUI, OCR o documentos, hay pesos con licencia Apache 2.0 (con condición upstream de Kimi K3: léela antes de uso comercial) y una receta de servido con vLLM. Detalles abajo.
Qué es el grounding y por qué es el cimiento de los modelos de acción
Grounding es la parte de la percepción que convierte una petición en coordenadas: “dónde está el botón de enviar en esta captura”, “dónde está el campo de fecha en este formulario escaneado”, “dónde está el peatón en este frame”. Puntos y cajas sobre una imagen, con etiqueta. Suena mecánico, pero es la pregunta que un agente con ojos debe responder antes de actuar, y los modelos generalistas la resuelven regular: saben qué ven, pero dudan en el dónde exacto.
De ahí el interés de XPeng, fabricante de coches con ambiciones robóticas. El título del paper lo dice sin rodeos: A Grounding Foundation Model towards Physical Intelligence. Si vas a construir modelos de acción —VLA (vision-language-action), políticas de conducción, robots—, tu techo no lo pone el LLM que razona: lo pone la percepción que alimenta ese LLM. Un agente GUI con un 10% de fallos al localizar botones no se arregla con más razonamiento; se arregla localizando mejor.
El resultado tiene una forma que ya vemos repetirse: un modelo pequeño y especializado gana a un frontier generalista en su dominio estrecho. Lo vimos con agentes de código de 4B entrenados con RL puro y lo vemos aquí con percepción. La parte aprovechable no es “GroundingPI es bueno”: es que la receta para llegar ahí es legible y replicable, y la segunda mitad de esta pieza es esa receta.
Los números, con verificado y atribución
Consulta de las fuentes: 13-oct-2026. La media global la calculan los autores con sus settings; repetirlo aquí no lo convierte en dato independiente.
| Cifra | Qué es | Dónde está | Atribución |
|---|---|---|---|
| 73,68% | Media sobre 34 benchmarks de grounding | Abstract y cuerpo del paper (arXiv v1) | Autores (XPeng) |
| 71,54% | Media de GPT-6 Astra, 2ª clasificada | Abstract y cuerpo; evaluada con thinking effort “High” | Autores |
| 44 baselines / 34 benchmarks / 11 capacidades | Alcance de la comparación | Abstract | Autores |
| +24,8% | Mejora máxima en RoboTwin 2.0 frente al backbone más fuerte | Abstract y cuerpo | Autores |
| 50% vs 75% | En RoboCasa-GR1, supera baselines con más demostraciones | Abstract | Autores |
| 0,296 m | Error L2 open-loop medio en nuScenes | Abstract y cuerpo | Autores |
| 4.843.664.384 params (~9,8 GB BF16) | Pesos reales publicados | Hugging Face, safetensors | HF |
| 35 stars, 2 forks, último push 6-oct | Adopción del código | GitHub API | Medición propia |
Tres notas de lectura sobre esa tabla. Primera: no es “GPT-6 pierde en todo”. Es grounding puro —cajas, puntos, texto, layout— con métricas F1 (F1mIoU para cajas y OCR, F1@Point para pointing, según el protocolo del paper). Astra sigue siendo un modelo mucho más capaz en lo general; aquí solo se mide el dónde. Segunda: darle a la frontier thinking effort “High” es la comparación correcta en principio —no se puede decir que ganaran fácil—, pero el harness es de los autores: benchmarks elegidos por ellos, settings suyos, baselines montadas por ellos. Tercera: con 34 benchmarks de por medio, el agregado de 2,14 puntos de diferencia es consistente, pero sigue siendo su palabra.
La receta: convertir el “dónde” en tokens con reward verificable
Lo interesante para cualquiera que entrene modelos no es el leaderboard, es el camino. La receta del paper tiene tres fases: preentrenamiento multimodal y espacial, SFT para seguir instrucciones de grounding, y RL con GRPO sobre un vocabulario de coordenadas cuantizadas. El repo confirma la pieza clave de la fase 3: un protocolo de tokens espaciales —lo llaman GAM— con coordenadas enteras de 0 a 999, cajas como (x1, y1, x2, y2), puntos como (x, y) y None cuando el objetivo no está.
Por qué eso importa: GRPO necesita un reward verificable y barato de calcular, y el grounding lo regala. O la coordenada cae dentro del objetivo con suficiente IoU, o no cae. No hace falta un LLM juez ni preferencias humanas: el propio benchmark es la función de recompensa. Cuantizar el espacio en un vocabulario discreto de tokens convierte la percepción en un problema de lenguaje con respuesta correcta, y ahí el RL post-training clásico muerde. Es el mismo patrón que analizamos en SRD, cuando el reward de GRPO se queda en cero: el cuello de botella del RL no es el algoritmo, es tener una señal limpia que optimizar. Aquí la señal es casi gratis, y el resultado —un 4B que compite con un frontier— sugiere que eso pesa más que el tamaño.
Si el patrón te interesa por el lado multimodal, UniEvo-VL cubre la otra pieza del rompecabezas: cómo mantener y mejorar modelos de visión-lenguaje open-weights sin depender de que un laboratorio te regale la siguiente versión.
Lo que el titular no dice
Todo es auto-reportado. Las 44 baselines, los settings, el harness y las medias salen del mismo sitio: XPeng. A 13 días del release no hay replicación independiente de ninguna cifra. Los 246 upvotes de la paper page de HF (consulta del 13-oct; eran 204 cuando salió la señal) miden interés de la comunidad, no verificación.
El titular correcto tiene tres condiciones. “Supera a GPT-6 Astra” solo se sostiene completa: en benchmarks de grounding, según los autores, en su harness. Sin las tres condiciones es un titular que este sitio no firma. Grounding no es capacidad general, y un frontier generalista perdiendo 2 puntos de F1 en localización no dice nada sobre lo que pasa cuando le pides lo demás.
La adopción es temprana de verdad. 35 stars, 2 forks y 246 descargas de pesos a 13 días. El código es completo —suites de eval, configs de entrenamiento, docs de vLLM— y los pesos son reales, lo comprobamos. Pero todavía no hay nadie publicando “lo probé en producción y…”. Ese es el umbral que separa un release prometedor de una herramienta.
La licencia tiene letra pequeña. HF la lista como apache-2.0-with-upstream-kimi-k3: Apache 2.0 con condiciones heredadas del encoder de Kimi K3. No la he auditado cláusula a cláusula, así que antes de montar nada comercial: leer el texto exacto de la licencia en la model card, no el tag.
Qué puede hacer un dev con esto hoy
Casos donde encaja de natural, por lo que trae el repo: grounding de GUI (ScreenSpot-Pro, OSWorld-G), texto y documentos (DocLayNet, M6Doc, ICDAR2015, HiText, SROIE), detección densa (COCO, LVIS, VisDrone, Dense200). Aunque no uses el modelo, esa lista de suites es un buen punto de partida para evaluar cualquier alternativa de grounding con criterio.
Despliegue: el camino documentado es vLLM 0.18.x con el backend de Transformers, sobre Linux x86_64 y Python 3.12; el setup instala un fork propio de Transformers 5.7.0. El servicio se levanta con un config (configs/release/vlm_vllm_gpu.yaml) y expone una API OpenAI-compatible de imagen+texto, con prompts para referring expressions, localización de objetos, regiones de texto, layout de documentos y puntos. Los pesos ocupan unos 9,8 GB en BF16: una sola GPU de gama alta lo sirve sin sharding. Si lo tuyo es anotar lotes de imágenes, hay guía de inferencia por JSONL con reanudación. Para el que se pregunte qué es un “PPU” en la doc: es la variante para un acelerador distinto de GPU NVIDIA —el repo remite a la imagen y al build de vLLM del propio fabricante—, pero el camino normal es GPU NVIDIA.
Una trampa operacional que el README subraya y que te puede costar una tarde: al llamar a la API hay que pasar skip_special_tokens: false y spaces_between_special_tokens: false. Los tokens de coordenadas GAM van adyacentes, y el post-procesado por defecto de vLLM los destroza; la respuesta llega truncada o malformada, con valid=False. No es un bug del modelo: es el contrato del protocolo. Y ojo, en HF no hay Inference API (inference: false, código custom): toca bajar los pesos sí o sí. Si nunca has montado un servidor de inferencia propio, nuestra guía de self-hosting con vLLM cubre la parte general; esto se añade encima sin sorpresas de arquitectura.
Sobre licencia, repetido porque es lo que frena el paso a producción: Apache 2.0 con condición upstream de Kimi K3. Para experimentar, sin problema. Para un producto, auditoría de la licencia primero.
Cuándo gana y cuándo no
Gana si tu problema es anotación o grounding a volumen con privacidad de por medio: pipelines de anotación de datasets, agentes GUI que necesitan localizar UI, OCR estructural en documentos, o el módulo perceptual de un sistema VLA propio. Ahí un 4B servible en tu GPU compite con un frontier de API y no envía tus imágenes a nadie.
No gana si necesitas capacidad general multimodal: el techo conversacional y de razonamiento es el que tiene Qwen3-4B como backbone, y para charlar sobre imágenes hay opciones mejores. Tampoco gana si tu volumen es bajo: mantener GPU, entorno Linux y un fork de Transformers para veinte peticiones al día es optimizar el componente equivocado; con poco volumen, llamar a un frontier y parsear coordenadas sale antes. Y no gana todavía si necesitas una herramienta con comunidad detrás: 13 días y 35 stars es mucho potencial y cero batalla.
Qué haría yo
Si tu stack toca el grounding —GUI, OCR, anotación, robótica—, el experimento barato es este: coge una muestra de tus imágenes reales (200-500 bastan), corre los eval suites del repo tal cual y compara contra tu solución actual, sea un frontier con prompts de coordenadas o un detector dedicado. Con eso tienes tu propio número en lugar del 73,68 de los autores, que es el único que importa para tu decisión.
Lo que yo no haría: tomar el agregado como ley. La cifra es de los autores, en su harness, sin replicación externa, sobre un dominio estrecho. El patrón sí es creíble —percepción especializada + reward verificable + GRPO en un modelo pequeño—, y ese patrón lo verás repetirse. Si el experimento de arriba confirma la media en tus datos, tienes un componente perceptual propio, privado y barato. Si no, has gastado una tarde y una GPU, que también es información.
Esto encaja en la línea que seguimos en el hub de modelos: los avances interesantes ya no vienen solo del tamaño, vienen de recetas replicables sobre modelos pequeños.
Fuentes
- arXiv: GroundingPI — A Grounding Foundation Model towards Physical Intelligence with Visual Primitives (30-sep-2026) — abstract con todas las cifras agregadas.
- HTML v1 del paper — protocolo de evaluación (F1mIoU, F1@Point), thinking effort de GPT-6 Astra, tablas por benchmark.
- GitHub: groundingpi/GroundingPI — código, suites de evaluación, configs de vLLM, protocolo GAM.
- Hugging Face: GroundingPI/GroundingPI — pesos, arquitectura, licencia
apache-2.0-with-upstream-kimi-k3. - HF Papers: página del paper — 246 upvotes a 13-oct-2026.
- Project page — afiliación XPeng Inc.