Cyber Index de Artificial Analysis: GLM-5.3-Flash adelanta a Claude por los refusals
TL;DR
- Verificado (Artificial Analysis, launch del 28-sep-2026): en el Cyber Index, GLM-5.3-Flash —open-weight, 320B MoE con 18B activos, licencia MIT— queda 4º con 49,92 puntos, por delante de Claude Opus 5.5 (28,66) y Claude Fable 5.1 (25,02). El motivo directo: los Claude rechazan por seguridad el 35,9% y el 38,4% de las tareas, y una tarea rechazada no suma puntos.
- Verificado: el efecto no es anti-Claude. GPT-6 Astra (37,8%) y GPT-6 Sol (36,4%) también se hunden por refusals —en el sub-benchmark CyberGym-E2E-AA llegan al 100%—. GPT-6 Luna, de la misma casa, no rechaza y es 3º. La variable es la política de safeguards de cada modelo, no el laboratorio.
- Verificado (payload del launch): GLM-5.3-Flash tampoco es el rey del coste-beneficio: MiMo-V2.6-Pro (56,07 a $0,18/tarea) y GPT-6 Luna (52,69 a $0,12) le superan en score y en coste. Su posición honesta: la opción open-weight MIT del top-5, con 18B activos que la hacen servible.
- Claim de NIST CAISI (17-sep-2026): GLM-5.3 es “the most cyber-capable open-weight model released to date”, aunque unos 4 meses por detrás de la frontera US en tareas ofensivas. Claim de Anthropic (29-sep-2026, de parte): sus safeguards se saltan con facilidad. El Cyber Index no mide ninguna de las dos cosas.
- Ojo, desfasado: este ranking es el del launch. El 8-oct-2026 AA introdujo los “trusted-access models” y anunció que GPT-6 Sol (Daybreak Blue) pasa a liderar el índice. No uses estas cifras como ranking actual.
Qué es el Cyber Index y qué mide
Artificial Analysis publicó el 28 de septiembre de 2026 su Cyber Index: un agregado de tres evaluaciones de ciberseguridad defensiva con el mismo peso, un tercio cada una. CWE-Bench-AA (120 tareas, de Collinear AI), DeepsecBench-AA (de Vercel) y CyberGym-E2E-AA (131 vulnerabilidades, de Berkeley RDI). Las tres miden el lado defensa —detectar, reproducir y parchear vulnerabilidades en entornos autorizados—, no la generación de exploits ofensivos. El harness es Stirrup, open-source, con dos horas de reloj por tarea.
Y mide una segunda cosa que los titulares no mencionan: los refusals. Verbatim de la metodología de AA: “We record cases where a model or provider declines a task on safety grounds and report them separately from the score.” Suena a neutralidad metodológica. En la práctica, la separación es contable, no de puntuación: una tarea que el modelo se niega a intentar no suma, y con tasas de rechazo por encima del 35% el agregado se desploma. AA publica el refusal rate como columna aparte (“Safety blocks”), pero el efecto sobre el score es idéntico al de una penalización directa.
Los números del lanzamiento, con refusals y coste a la vista
Datos del payload embebido en el artículo de lanzamiento, as of launch (28-sep-2026). Los sufijos (max)/(xhigh) son niveles de cómputo por tarea que usa AA en sus evaluaciones.
| Modelo | Score | Refusal global | Coste/tarea |
|---|---|---|---|
| Grok 4.7 (xhigh) | 56,43 | 0% | $11,67 |
| MiMo-V2.6-Pro | 56,07 | 0% | $0,18 |
| GPT-6 Luna (max) | 52,69 | 0% | $0,12 |
| GLM-5.3-Flash | 49,92 | 0% | $0,32 |
| Muse Spark 1.3 (xhigh) | 44,30 | 0% | $3,07 |
| Kimi K3 (max) | 41,27 | 0% | $2,45 |
| DeepSeek V4.1 Flash | 40,81 | 0% | $0,49 |
| GPT-6 Sol (max) | 36,83 | 36,4% | $1,96 |
| GLM-5.3 (max) | 36,38 | 0% | $2,43 |
| GPT-6 Astra (max) | 33,42 | 37,8% | $4,98 |
| Claude Opus 5.5 | 28,66 | 35,9% | $9,75 |
| Claude Fable 5.1 | 25,02 | 38,4% | $8,09 |
Tres lecturas que se pierden en el titular:
Un open-weight queda 4º con 0% de refusals. Specs de la página del modelo en AA (consultada el 11-oct-2026): 320B de parámetros totales, 18B activos, contexto de 1M, multimodal de entrada y licencia MIT; precio de API $0,15/$0,50 por millón de tokens (entrada/salida). En Hugging Face (zai-org/GLM-5.3-Flash), la MIT está confirmada en la model card con 6,5M de descargas. Ya analizamos GLM-5.3 y su capacidad cyber cuando salió la familia. Un aviso de esta casa sobre ese precio: dobló en su misma semana de debut, tal como cubrió nuestro radar del 29 de agosto — no arquitectures alrededor de precios de launch.
Dentro de su propia familia, el hermano grande pierde. GLM-5.3 (max) queda 9º con 36,38: 13,5 puntos menos que Flash, con refusals del 0% en ambos. La diferencia es rendimiento puro en las tareas, así que en este índice más parámetros y más cómputo por tarea no han significado más puntos. AA no lo explica en el launch; lo dejamos como dato, no como teoría.
La mitad baja de la tabla no la separa la capacidad, sino la política de refusals. Ocho modelos con 0% de rechazos; cuatro (Sol, Astra, Opus, Fable) entre el 35,9% y el 38,4%. Cuando la brecha entre el 4º y el 11º se explica casi entera por una columna que no mide capacidad, el “X supera a Y” hay que leerlo con lupa.
Por qué Claude queda abajo: rechazar no suma
El sub-benchmark donde los refusals estallan es CyberGym-E2E-AA. Ahí Opus 5.5 rechaza el 98,47% de las tareas y Fable 5.1 el 99,24%; GPT-6 Astra, GPT-6 Sol y los dos Qwen3.8, el 100%; Gemini 3.8 Flash, el 86,3%. Con tasas así, las puntuaciones de Opus en ese sub-benchmark se mueven entre 0,01 y 0,58 — no porque no sepa, sino porque no intenta.
Verbatim del launch: “Refusals are a significant factor on CyberGym-E2E-AA: GPT-6 Astra, GPT-6 Sol, Claude Fable 5.1, Claude Opus 5.5, Qwen3.8 2.4T A95B, and Qwen3.8 27B refuse at least 98% of tasks, making it difficult to assess frontier model performance.”
La frase clave es la última: difficult to assess. El índice no demuestra que Opus 5.5 defienda peor que GLM-5.3-Flash; demuestra que Opus 5.5 se niega a hacer este tipo de tareas y que, al negarse, puntúa cero. Si tu criterio es “cuántas tareas del índice se completan”, gana GLM. Si tu criterio es “qué techo tiene cada modelo si decide intentarlo”, este índice no responde — y sus propios autores lo dicen.
El patrón, además, no es anti-Claude: es por modelo. Los tres GPT-6 del ranking se parten en dos: Astra y Sol rechazan en masa; Luna no, y a $0,12 por tarea es 3º. Misma casa, dos políticas de safeguards, 19 puntos de diferencia en el agregado. Lo que el índice mide en la práctica es dónde pone cada laboratorio el límite de “esto lo intento”, y eso es una decisión de producto, no una medida de inteligencia.
¿Mide capacidad o tolerancia al refuso?
Si el Cyber Index solo dijera “el que rechaza, pierde”, sería un índice de tolerancia con decorado técnico. El contexto de capacidad de GLM-5.3 matiza en las dos direcciones:
- NIST CAISI (17-sep-2026) evaluó GLM-5.3 y lo describe como “the most cyber-capable open-weight model released to date”, pero unos cuatro meses por detrás de la frontera US: 40,4% frente a 90,2% en SEC-Bench Pro y 9,4% frente a 44,4% en ExploitGym. Matiz de método importante: los modelos US los probó con safeguards desactivados. En ofensiva profunda, la brecha existe y es grande.
- Anthropic (29-sep-2026) publicó que los safeguards de GLM-5.3 se bypasean entre el 64% (cover story) y el 92% (prefill), hasta el 100% en una variante abliterated; para GLM-5.3-Flash, 16% con cover story y 80% con prefill. Como caso práctico: el exploit de CVE-2026-11645 para ARM64 con 20 minutos de trabajo humano y 8 horas de modelo, unos $20,40 de API. Aquí toca declarar el conflicto de interés: Anthropic es competidor directo de Claude —justo la familia que sale mal parada en este índice— y el informe lo firma su propio red team. El contrapeso independiente es CAISI, que es agencia pública, y sus cifras no coinciden ni en benchmarks ni en método.
La síntesis para el lector: entre “GLM supera a Claude porque es más capaz en ciber” y “GLM supera a Claude porque Claude no juega”, lo verificable es lo segundo — y constatar que, entre los que sí juegan, GLM-5.3-Flash queda 4º, no 1º. La carrera de capacidades que seguimos con GPT-5.5 Cyber vs Claude Mythos tiene ahora una capa extra: los índices agregados mezclan capacidad y disposición, y hay que leerlos por columnas.
Qué modelo le va a un equipo de seguridad pequeño
Por perfil de equipo, con los datos del launch (precios por tarea, consulta 11-oct-2026):
| Perfil | Candidato | Por qué |
|---|---|---|
| Máximo score por dólar, sin requisitos de privacidad | MiMo-V2.6-Pro ($0,18/tarea) o GPT-6 Luna ($0,12) | Superan a GLM-5.3-Flash en score y en coste; no hay discusión posible con estos datos. MiMo además es MIT open-weight (1,02T con 42B activos), aunque su despliegue de referencia ronda las 32 GPU: open de nombre, API en la práctica. |
| Open-weight servible de verdad | GLM-5.3-Flash ($0,32/tarea; 18B activos) | El único del top-5 que combina MIT, coste bajo y tamaño razonable de servir. Con 0% de refusals: intentará todo lo que le pidas, para bien y para mal. |
| Ofensiva profunda o evaluación adversaria seria | Frontier cerrado | La brecha que mide CAISI (~4 meses) no se cierra con ahorro de API, y este índice no mide ofensiva. |
| Compliance que exige un modelo que se niegue por diseño | Opus 5.5, Fable 5.1, Sol o Astra | Aquí el “fallo” en el índice es exactamente la funcionalidad que compras. |
Una advertencia operacional sobre el 0% de refusals: significa que el modelo no trae filtro propio y que el control es todo tuyo. Para un equipo de seguridad legítimo con autorización firmada, eso es productividad. También significa que cualquiera con la API tiene la misma ausencia de freno, como vimos en el caso de ARTEX contra la banca coreana, donde el backend era un modelo barato vía reseller. Si despliegas un modelo así, el sandboxing y el control de acceso son responsabilidad exclusiva de tu arquitectura.
Mi lectura corta: si tu caso es triage defensivo a volumen, prueba MiMo-V2.6-Pro y GPT-6 Luna antes que nada; si necesitas open-weight servible o datos que no salgan de tu infraestructura, GLM-5.3-Flash es el top-5 open más práctico; si lo que compras es que el modelo sepa cuándo no responder, los refusals de Claude son el feature, no el bug. Y en cualquier caso, no tomes el agregado como medida de capacidad: mira los tres sub-benchmarks y el refusal rate por modelo antes de decidir.
Fecha de corte: este ranking ya cambió
Los datos de esta pieza son as of launch (28-sep-2026), consultados el 11-oct-2026. El 8 de octubre, AA publicó una actualización introduciendo “trusted-access models” en el índice y anunció: “GPT-6 Sol (Daybreak Blue) now leads the Cyber Index”. Es decir: el lead ya cambió en diez días, y los refusals de Sol también. Si vas a tomar una decisión hoy, usa el leaderboard actual de AA, no esta tabla.
Cómo leerlo tú mismo
- Artículo de lanzamiento del Cyber Index (28-sep-2026) — leaderboard completo, desglose por sub-benchmark y refusal rates.
- Metodología del Cyber Index — las tres evaluaciones, el harness Stirrup y la política de refusals.
- Página del modelo GLM-5.3-Flash en AA — specs y precios, consultada el 11-oct-2026.
Recuerda que AA es a la vez fuente y juez: define las evaluaciones, el harness y el peso de cada sub-benchmark. Con un índice propio, la lectura sana es la que hacemos aquí — columnas separadas, fecha de corte explícita y contraste con evaluaciones de terceros.
Fuentes
- Artificial Analysis: Introducing the Artificial Analysis Cyber Index (28-sep-2026) — tabla de resultados, refusals por sub-benchmark y coste por tarea.
- Artificial Analysis: Cyber Index Methodology — composición del índice, harness y verbatims sobre refusals.
- Artificial Analysis: GLM-5.3-Flash — specs, licencia y precios (consulta 11-oct-2026).
- Hugging Face: zai-org/GLM-5.3-Flash — model card, licencia MIT confirmada.
- NIST CAISI: Assessment of Z.ai’s GLM-5.3 Cyber Capabilities (17-sep-2026).
- Anthropic: GLM-5.3 and the spread of advanced cyber capabilities (29-sep-2026) — claim de parte, firmado por su red team.