Kolibri-1 de Aleph Alpha: 78B MoE, 3,46B activos, 1M de contexto
Kolibri-1 de Aleph Alpha: 78B MoE, 3,46B activos y 1M de contexto
TL;DR
- Verificado (model card, 11/10/2026): Kolibri-1 es el primer MoE de pesos abiertos de Aleph Alpha: 78B parámetros (78.103.074.560 exactos en los safetensors), 3,46B activos por token, 384 expertos por capa (6 enrutados + 1 compartida), 50 capas con atención híbrida 4:1 SWA:GQA, pesos FP8 de ~78 GB y licencia Apache 2.0. Se publicó el 3 de octubre de 2026, el Día de la Unificación alemana. No fue ninguna casualidad.
- Verificado (en la propia tabla del vendor): el Qwen3.8 27B dense que Aleph Alpha incluye como referencia le gana en inglés (80,2 vs 75,5 de media), en alemán (79,9 vs 70,8), en SWE-Bench Verified (72,6 vs 66,4) y arrasa en TerminalBench 2.1 (76,8 vs 27,7). La tabla está diseñada para que Kolibri solo compita contra los otros MoE; el dense va en gris y sin marcas.
- Todos los benchmarks son del vendor. Honor contra honor: Aleph Alpha publica sus filas malas (coding agéntico, tool calling multi-turn) junto a las buenas (RAG, math, alemán). Pero a 11/10/2026 no existe evaluación independiente de este modelo.
- «IA soberana», con letra pequeña documentada por ellos mismos: el modelo se entrenó con datos sintéticos generados por Gemma-4 (Google), Mistral-NeMo (Francia) y Qwen3-32B (China), y el propio model card admite sesgo político de línea de partido de origen chino, mitigado con filtrado y alignment. La soberanía real que compras son pesos Apache 2.0 + on-premise + una licencia que solo cubre pesos y configuración.
- Para servirlo oficialmente: mínimo 2×A100/H100 de 80 GB, 1×H200 o 1×B200. Los cuants comunitarios bajan ese suelo, pero a 8 días del release nadie ha publicado una evaluación de calidad de ninguno.
Qué es Kolibri-1 y por qué importa aunque no lo ejecutes
Aleph Alpha lleva años vendiendo «IA soberana europea» desde Heidelberg sin que su software apareciera en ninguna conversación técnica de desarrolladores. Kolibri-1 cambia el tipo de argumento: en lugar de promesas institucionales, hay 78B de pesos descargables bajo Apache 2.0, un model card inusualmente detallado y un tech report de 189 páginas. El primer MoE abierto de la compañía (no el primero europeo: Apertus 70B y Mistral llevan tiempo ahí, y de hecho Apertus aparece en su propia tabla) salió el 3 de octubre, coincidiendo con el Día de la Unificación alemana. El posicionamiento del blog oficial es explícito: «sovereign mission-critical work in regulated areas including public administration, industrials and aerospace».
La historia que de verdad importa a devs no es el modelo, es el pipeline. Aleph Alpha validó toda su cadena —datos, arquitectura, entrenamiento, post-training, evaluación— con un modelo pequeño, Kolibri Origin (30B totales, 3B activos, 65k de contexto), que terminó su preentreno el 11 de junio. Kolibri lo terminó el 11 de septiembre: tres meses para pasar de 30B a 78B, de 65k a 1M de contexto y de 7,5T a 20T tokens (y más de 200T de datos crudos procesados para quedarse en esos 20T). Sobre Origin, Kolibri pasa de 54,1 a 75,5 puntos de media en inglés y de 46,4 a 70,8 en alemán según la tabla del vendor (como todas las cifras de este artículo salvo que se indique lo contrario). El producto aquí es la «Model Factory»: pipeline versionado que convierte configuración en modelos. Si funciona como cuentan, la distancia entre «queremos un modelo para X» y «tenemos pesos de X» acaba de encoger para quien pueda pagarse el clúster.
Detalle de ingeniería que merece la pena contar porque explica el diseño entero: según el blog oficial, escalar a 123B «mejoraba el rendimiento» pero hundía el serving — 123B solo aguanta 3 consultas concurrentes de 256k tokens en dos H100, mientras que 78B aguanta 18 concurrentes y decodifica un 28% más rápido. Recortaron tamaño para comprar concurrencia. Toda la arquitectura que viene después es esa misma decisión repetida.
La arquitectura, sin marketing
Datos verificados contra el model card y la sección de detalles de entrenamiento:
| Componente | Valor | Qué significa |
|---|---|---|
| Parámetros | 78B totales, 3,46B activos/token (4,4%) | MoE muy disperso: cómputo bajo por token, memoria alta siempre |
| Capas / atención | 50 capas, ratio 4:1 SWA:GQA | 40 capas miran solo 512 tokens hacia atrás; 10 atienden a todo el contexto |
| Expertos | 384 enrutados + 1 compartida por capa, top-6 | Muchos expertos pequeños; el vendor dice que rinden mejor que pocos anchos |
| Precisión | FP8 (e4m3, bloques 128×128) + KV cache FP8; router/norms/embeddings en BF16 | Por eso el footprint es ~78 GB y no ~150 |
| Contexto | 262.144 nativo; 1.048.576 por extrapolación | El 1M es validado por el vendor, pero su propia recomendación es ≤262k |
| Tokenizador | UniBPE, vocabulario 128.000, morfología alemana | Compresión 4,7 bytes/token en alemán vs 4,2 en inglés |
| Licencia | Apache 2.0 — solo pesos y configuración | No cubre código, arquitectura ni métodos de entrenamiento |
El ratio 4:1 SWA:GQA es la pieza que sostiene el contexto largo barato: si solo 10 de cada 50 capas procesan el contexto completo, el KV cache crece despacio y atender a 500k tokens no cuesta lo que costaría en un dense tradicional. El precio es que el modelo «ve» a largo plazo con menos resolución que un dense de atención completa — una apuesta razonable para RAG y documentos, menos obvia para tareas que exigen razonamiento global fino sobre secuencias enormes.
Los números: cómo leer la tabla del vendor sin tragarla
Primero, la nota metodológica del propio README, que es la más honesta del documento: las marcas de negrita y subrayado «compare the MoE models only», y los modelos dense van en gris «porque activan varias veces más parámetros por token». Traducción: la tabla está diseñada para que Kolibri gane algo. El dense de referencia, un Qwen3.8 27B, está ahí para el que mire de reojo. Si lo miras de frente, esta es la tabla:
| Benchmark (post-training, vendor) | Kolibri-1 | Mejor MoE de la tabla | Qwen3.8 27B (dense) |
|---|---|---|---|
| Overall inglés | 75,5 | 75,5 (Kolibri) | 80,2 |
| Overall alemán | 70,8 | 70,8 (Kolibri) | 79,9 |
| GPQA Diamond (EN) | 84,3 | 84,3 (Kolibri) | 89,2 |
| AIME 2025 (EN) | 96,9 | 96,9 (Kolibri) | 97,9 |
| LiveCodeBench v6 | 85,9 | 87,5 (GPT-OSS 120B) | 93,8 |
| SWE-Bench Verified | 66,4 | 73,8 (Qwen3.6 35B) | 72,6 |
| TerminalBench 2.1 | 27,7 | 39,7 (Qwen3.5 35B) | 76,8 |
| BFCL v3 multi-turn | 39,8 | 61,6 (GLM-4.5 Air) | 42,5 |
| Industry RAG (EN) | 89,7 | 89,7 (Kolibri) | 93,3 |
| SQuAD grounding (Merlin-Arthur) | 23,4 | 23,4 (Kolibri) | 8,3 |
| HLE (EN) | 21,5 | 21,5 (Kolibri) | 35,6 |
| Tau3-Bench Banking | 38,1 | 38,1 (Kolibri) | 50,0 |
Todo de la tabla del vendor, muestreada el 11/10/2026. Las celdas en negrita de la columna central son las que Aleph Alpha marca como mejor MoE; ninguna cifra es independiente.
Lectura escéptica, en tres pasos.
Uno: el gris esconde la noticia. El MoE de 78B pierde contra un dense de 27B en las dos medias generales, con margen (4,7 puntos en inglés, 9,1 en alemán). El vendor tiene una defensa técnica — el dense activa ~8 veces más parámetros por token, así que el coste de serving no es comparable — y es cierta. Pero si tu criterio es calidad por GB de VRAM, la tabla le da la razón al dense. Lo que Kolibri compra es coste por token, no calidad por memoria. No son la misma métrica y el diseño de la tabla explota la confusión.
Dos: donde gana, gana con patrón. Math (AIME 96,9), RAG industrial (89,7), grounding con abstención entrenada (23,4 en Merlin-Arthur, donde casi todos los competidores puntúan 0,0: el modelo fue entrenado para decir «no lo sé» en vez de alucinar) y benchmarks agénticos de dominio estrecho (Tau2 Airline 76,7, Tau3 Banking 38,1). Es decir: instrucción fina, fidelidad a fuentes y dominios verticales. Exactamente lo que compra un ministerio o un proveedor aeroespacial.
Tres: donde pierde, pierde feo. Coding agéntico: TerminalBench 27,7 frente al 76,8 del dense — no es una diferencia de ajuste, es otra liga — y SWE-Bench 66,4 por detrás incluso de MoE de su clase como Qwen3.6 35B (73,8). Tool calling multi-turn: 39,8 frente al 61,6 de un GLM-4.5 Air. Y un matiz que la narrativa «rey del alemán» se salta: en la media de Knowledge en alemán, el mejor MoE de la tabla es Gemma 4 (61,5), no Kolibri (57,6). El alemán de Kolibri brilla en Overall y en los agregados agénticos, no en todo.
Si quieres el contexto del dense que gana en la propia tabla del vendor, lo analizamos aquí: Qwen3.8-27B: análisis completo.
Cómo servirlo (y qué hardware necesitas de verdad)
El plugin oficial aleph-alpha-inference es un plugin de vLLM. Del README, literal:
pip install 'aleph-alpha-inference>=1'
vllm serve Aleph-Alpha/Kolibri-1 --kv-cache-dtype fp8 \
--reasoning-parser kolibri1 \
--tool-call-parser kolibri1 \
--enable-auto-tool-choicePara contextos por encima de 262k: --max-model-len 1048576 --hf-overrides '{"max_position_embeddings": 1048576}'. Sampling recomendado por el vendor: temperature=1.0, top_p=0.97, top_k=128. El reasoning_effort (none/low/medium/high) se ajusta por petición vía chat_template_kwargs, hay tool calling estilo Hermes y la API es compatible OpenAI. Hay imagen Docker en ghcr.io/aleph-alpha/aleph-alpha-inference.
Requisitos, verbatim del model card: footprint de ~78 GB en pesos FP8. Mínimo 2×A100 80 GB, 2×H100 SXM5, 1×H200, 1×B200 o 1×B300. Recomendado: 2×H100 SXM5, 2×H200, 1×B200/B300. Traducción para el resto de mortales: esto no vive en un PC doméstico en precisión oficial. El matiz importante del MoE: los 3,46B activos abaratan el coste por token, no la memoria — los 78B enteros tienen que estar en VRAM sí o sí. Es exactamente el matiz que se pierde cuando se resume como «abaratan el serveo».
El 1M de contexto: qué es real y qué es claim
Lo verificable: el modelo se preentrenó con secuencias de 16.384 tokens, mid-training a 65.536 y una fase final de contexto largo a 262.144, que es su longitud nativa. El vendor declara haber «validado calidad y eficiencia de serving hasta 1.048.576 tokens».
El claim: como la codificación posicional (RoPE) solo se aplica en las capas sliding-window, el contexto «puede extenderse más allá, en principio a longitudes arbitrarias, sin escalado posicional». Eso lo dice el propio README, y es un en principio: que la arquitectura no impida la extrapolación no equivale a que la calidad se mantenga. La propia recomendación del vendor — quedarse en 262.144 «para eficiencia de serving y tareas complejas» — es la mejor guía de cuánto confían ellos en el 1M. Súmale la factura: KV cache FP8 ayuda, pero 10 capas de atención completa sobre un millón de tokens no son gratis en ninguna GPU de las mínimas de la tabla.
Cuants y ecosistema: 51 repos en 8 días
Ningún modelo open-weight relevante se queda sin ecosistema de cuants en una semana, y Kolibri tampoco. A 11/10/2026, la búsqueda en HF devuelve 51 repos reales de Kolibri-1 (filtrando falsos positivos de nombre). Los destacados:
| Repositorio | Formato | Descargas (11/10) |
|---|---|---|
Hob-forge/Kolibri-1-GGUF | GGUF | 36.692 |
Aleph-Alpha/Kolibri-1 (oficial FP8) | FP8 | 12.550 |
huihui-ai/Huihui-Kolibri-1-BF16-abliterated-GGUF | GGUF abliterated | 3.248 |
Aleph-Alpha/Kolibri-1-BF16 (oficial) | BF16 | 1.788 |
eins78/Kolibri-1-mlx-mixed-4-8-bit | MLX mixto | 2.223 |
Myric/Kolibri-1-APEX-GGUF | GGUF | 1.949 |
Eliasfpv28/Kolibri-1-Q3_K_S-GGUF | GGUF Q3 | 1.481 |
Hay GGUF, MLX de 2 a 8 bits, GPTQ W4A16, NVFP4/MXFP4, variantes abliterated, e incluso expertos podados (MediSync REAP: 78B→31B/40B). El oficial acumula 877 likes y 12.550 descargas a 11/10 (a 04/10 eran 378 y 1.135: la curva es empinada). El dato con aroma a época: el GGUF comunitario de Hob-forge casi triplica las descargas del oficial.
La advertencia obligatoria: ningún cuant comunitario tiene evaluación de calidad publicada. Para un MoE esto importa más que en un dense — cuantizar 384 expertos por capa es terreno con menos precedentes que cuantizar matrices densas — y lo que hay son experimentos, no producciones. Si vienes de la ola de cuants locales, el patrón te sonará: es el mismo que documentamos con Ternary-Bonsai-2-27B — por debajo de cierto bpw, la calidad no está garantizada y quien publica cifras suele ser quien tiene interés en publicarlas.
«IA soberana»: anatomía del claim
Desmontemos qué compra de verdad esa palabra.
Lo sólido: pesos Apache 2.0 descargables (raro en un vendor que vive de contratos públicos), despliegue on-premise posible, y un supply chain documentado de forma poco habitual — desde la mezcla de entrenamiento hasta el consumo energético estimado (9,5×10² MWh) y los 392k GPU-horas de preentreno en 768 B200. Aleph Alpha es firmante del GPAI Code of Practice de la UE. Esto es más soberanía real que la mayoría de anuncios del género.
La letra pequeña, documentada por ellos: el modelo se entrenó con rephrases sintéticas en inglés generadas con Gemma-4-26B-A4B (Google), rephrases en alemán con Mistral-NeMo-12B (Francia) y anotaciones de LLM-as-a-judge con Qwen3-32B (China). Y el model card lo reconoce: «los datos de entrenamiento también contienen material generado con modelos de lenguaje chinos, que se sabe que arrastran sesgo hacia ciertas posiciones políticas», mitigado con filtrado y un alignment dedicado — hay un blog entero del propio vendor titulado Training on the party line. Soberanía tecnológica total no hay: hay trazabilidad de dependencias, que es distinto y bastante más honesto.
El alcance de la licencia: la Apache 2.0 «solo se aplica a los pesos y ficheros de configuración publicados en este repositorio» y «no se extiende al código subyacente, la arquitectura del modelo, los ajustes de parámetros ni ningún método de entrenamiento». Puedes servir los pesos donde quieras; el pipeline que los produjo no es tuyo ni está abierto.
Para el contexto regulatorio europeo, enlazamos el panorama en EU AI Act después de GPT-5.6 y Mythos, y la otra «opción europea» con su propio trade-off de soberanía/infraestructura está en Mistral Medium 3.5.
Cuándo gana Kolibri y cuándo pierde
Gana si: operas en alemán o bilingüe EN/DE en un sector regulado, puedes pagar 2×H100 o una B200, necesitas on-premise por compliance, y tu carga es RAG sobre documentos, asistentes verticales (banking, airline) o math. El grounding con abstención entrenada es un diferenciador real para quien no puede permitirse alucinaciones ante un ciudadano. El coste por token con 3,46B activos y contexto largo servible es el argumento económico.
Pierde si: tu carga es coding agéntico (TerminalBench 27,7 lo dice todo), tool calling multi-turn intensivo (39,8), o buscas la máxima calidad sin importar coste — ahí el Qwen3.8 27B dense de su propia tabla gana en las dos lenguas con un tercio de la memoria (~52 GB BF16 frente a ~78 GB FP8). Y pierde por defecto si tu hardware es un PC: el oficial necesita 78 GB de VRAM.
Qué haría yo: si perfilo para el caso regulado europeo, piloto con reasoning_effort ajustado por petición (none para extracción, high para decisiones) y un test propio de 20 tareas reales antes de comprometerme — con la tabla entera siendo del vendor, tu eval es la única que cuenta. Si mi caso es coding o uso general en inglés, no hay motivo para no quedarse en el dense 27B o en los MoE de Qwen que le ganan en SWE-Bench. Y los cuants comunitarios, en una estación de trabajo, para experimentar: a 8 días del release, con 51 repos y cero evaluaciones de calidad, usar uno en producción es pedirte un problema.
Fuentes
- Model card Aleph-Alpha/Kolibri-1 y README raw — arquitectura, requisitos, benchmarks, datos sintéticos, sesgo político, licencia (verificado 11/10/2026)
- API de Hugging Face del repo — safetensors exactos (78.103.074.560), métricas 12.550 dl / 877 likes (11/10/2026)
- Blog oficial: Kolibri has landed — fecha simbólica, Kolibri Origin, recorte 123B→78B (03/10/2026)
- Tech report: Kolibri, A Sovereign European Model on the Pareto Frontier — 24T tokens, >2T alemanes, RL sobre 1,2M tareas, frontier calidad/coste (189 pp., actualizado 07/10/2026)
- Blog: Training on the party line — origen del sesgo político documentado
- Aleph-Alpha/aleph-alpha-inference — plugin vLLM oficial · Kolibri-1-BF16 — repo BF16 oficial
- API HF search=Kolibri — ecosistema de cuants, 51 repos Kolibri-1 con métricas (11/10/2026)