Qwen3.8-Flash-Next en tu PC: Strata, cuants y el matiz del hilo viral
TL;DR
- Verificado contra el model card de Qwen (03/10/2026): Qwen3.8-Flash-Next es un MoE de 125B parámetros con solo 6B activados por token, más 51B de n-gram embedding y 4B de MTP, 512 expertos (10 enrutados + 1 compartida), 48 capas y contexto nativo de 262.144 tokens extensible a 1M. Es el preview experimental de la arquitectura que Qwen dice que sostendrá Qwen4. Por eso importa aunque no lo ejecutes.
- Verificado: Strata, un engine third-party de un único autor (Niko1221, MIT, 8.337 estrellas y pushed el 03/10/2026), lo baja a requisitos de PC de jugador: GPU de 12 GB de VRAM o más, 32 GB de RAM mínimo y ~80 GB de SSD. Sus benchmarks: RTX 5070 (12 GB) + 64 GB a IQ3_XXS, 62 t/s de generación.
- Verificado contra el propio hilo: la evidencia es conflictiva. Un usuario sintetiza el caso contra Flash-Next: «Qwen3.8-27B-Uncensored-Coletti-Q4_K_M outperformed Qwen3.8-Flash-Next-Uncensored-IQ3_XXS… I decided to stay on 27B». Pero ese veredicto no es del autor del hilo: el OP defiende Flash-Next. Hay thought loops reportados, quejas de «lobotomized» a IQ2/IQ3 y velocidades reales por debajo de las del README.
- Claim de vendor, atribuido: Qwen afirma que entrenar Flash-Next cuesta «solo about 1/9» que Qwen3.7-Plus. Es coste de entrenamiento, no tu factura de inferencia.
- Lo que nadie reproduce: la calidad relativa a cada quant y los t/s del README de Strata. Los benchmarks del engine los mide su autor; los t/s de hilo son anecdóticos.
Qué es Qwen3.8-Flash-Next (y por qué es el preview de Qwen4)
Qwen publicó Flash-Next el 26 de agosto de 2026 como modelo experimental, y lo dice sin rodeos en su model card: «This experimental preview of the architecture that will underpin Qwen4». No es un drop más: es el banco de pruebas público de tres ideas que probablemente definan la próxima generación.
Los datos verificables del repositorio oficial:
| Componente | Valor (model card) | Qué significa |
|---|---|---|
| Parámetros | 125B con 6B activados, + 51B n-gram embedding + 4B MTP | MoE muy disperso: poco cómputo por token, mucha memoria |
| Expertos | 512 (10 routed + 1 shared) | La capacidad vive en los expertos, que se pueden descargar a RAM/SSD |
| Capas | 48, layout 12 × (3 × (Gated DeltaNet → MoE) → 1 × (QSA → MoE)) | Híbrido: atención lineal por bloques + Qwen Sparse Attention |
| N-gram embedding | 20.000.000 (bigramas/trigramas en capa 2) | Tabla consultable con el contexto local; offload-friendly |
| Contexto | 262.144 nativo, extensible a 1M | El «256K» de los titulares es del modelo, no de ningún engine |
| Licencia | qwen-community-1.0 (license: other en HF) | No es Apache 2.0 como el Qwen3.8-27B |
Las tres piezas de arquitectura: Gated DeltaNet + QSA sustituye la pareja anterior de atención por un híbrido donde QSA opera a nivel de micro-bloque en vez de seleccionar tokens individuales — el model card lo vende como recorte de latencia en contexto largo, justo lo que piden las cargas agénticas. Gated Residual añade puertas de lectura/escritura sobre los residual streams. Y N-gram Embedding es la jugada económica: escala parámetros con una tabla de n-gramas que se puede descargar a memoria de host y prefetchar en paralelo al cómputo. La consecuencia práctica es la que importa para tu PC: gran parte del modelo no necesita GPU para vivir.
El «1/9» que circula en titulares es claim de vendor, con fuente y letra pequeña: el README del repo de QwenLM dice «Compared with Qwen3.7-Plus, Qwen3.8-Flash-Next substantially reduces both training and inference cost — training takes only about 1/9 as much». Es coste de entrenamiento, medido por la propia Qwen, sin metodología publicada. No lo cites como ahorro en inferencia.
Strata: qué hace distinto (y por qué es un garage project que funciona)
Strata (github.com/Niko1221/Strata) no aparece en la lista de engines que Qwen recomienda para Flash-Next (SGLang, KTransformers, vLLM, TokenSpeed). Es un proyecto independiente de un único mantenedor, con licencia MIT, creado el 24 de septiembre de 2026, 8.337 estrellas y 738 forks a 03/10/2026. Que tenga estrellas no es una auditoría: es un garage project con tracción, y conviene tratarlo como tal.
Su idea técnica: expert streaming. En un MoE con 512 expertos, en cada token solo se activan 10; Strata mantiene lo esencial en GPU y trae los pesos de los expertos que toca desde RAM (o SSD) bajo demanda. Es la misma física que --cpu-moe de llama.cpp, pero con un pipeline de I/O afinado — y ahí está la diferencia medible. El propio autor del hilo lo resume en su post: sin Strata puedes correr el modelo en llama.cpp con --cpu-moe, «but expect around halved performances, and a noisy CPU fan».
Requisitos verbatim del README:
| Requisito | Valor |
|---|---|
| GPU | NVIDIA RTX 20/30/40/50 o AMD RX 7900/9070/7800/7700/9060/R9700/6800/6900, ≥12 GB VRAM (AMD experimental) |
| RAM | 32 GB mínimo; 64 GB «runs every size» |
| Disco | ~80 GB libres, SSD recomendado |
| Sistema | Windows 10/11 o Linux; multi-GPU soportado (2-3 tarjetas) |
| Extras | Servidor local OpenAI/Anthropic-compatible en 127.0.0.1:8080, MCP server, entrada de imágenes, instalador automatizado |
Ese último punto es el gancho real para devs: Strata se expone como endpoint local compatible con OpenAI y Anthropic (/v1 y /v1/messages), así que Cursor, Claude Code o tu propio script apuntan a http://127.0.0.1:8080/v1 y funcionan. Incluso hay documentación (docs/AI_SETUP.md) pensada para que un agente de código haga la instalación.
La ola de cuants: qué tamaño tiene tu modelo
Ningún modelo open-weight relevante queda sin ecosistema de cuants en 48 horas, y Flash-Next tampoco: la búsqueda de HF devuelve más de 100 repos derivados a 03/10/2026. Los principales, con su nicho:
| Repositorio | Formato | Qué aporta |
|---|---|---|
unsloth/Qwen3.8-Flash-Next-GGUF | GGUF Dynamic | UD-Q4_K_XL «experimental»: lo más fiel al completo, pero streamea desde SSD (7-8,5 t/s en un PC de 64 GB según el README de Strata) |
ggml-org/Qwen3.8-Flash-Next-GGUF, bartowski/... | GGUF | Cuants estándar para llama.cpp (con --cpu-moe) |
mradermacher/...-Uncensored-i1-GGUF | GGUF i1 | Espejo público (sin gate) del Uncensored de orcarouter: Q2_K a Q6_K; los mmproj (f16/Q8_0) están en el estático hermano mradermacher/...-Uncensored-GGUF |
ISTA-DASLab/...-GSQ-RCO-GGUF | GGUF | El que usaban los posts de 50 t/s en portátil |
orcarouter/...-Uncensored-GGUF | GGUF | El del hilo: IQ3_XXS en 2 shards + MTP-draft.gguf; repo gated (gated: auto), más de 200.000 descargas según HF |
nvidia/Qwen3.8-Flash-Next-NVFP4 (+ Qwen FP8 oficial) | FP4/FP8 | Formatos nativos para GPU moderna; los posts más rápidos del hilo usan NVFP4 |
turboderp/...-exl3 | EXL3 | Para whoosh de inferencia en GPU grande |
| REAP-288 / REAP-384 (MLX, terceros) | GGUF/MLX | Expertos podados (512→288); variante comunitaria, sin cifra de calidad publicada |
Dos detalles que el hilo no cuenta. Primero: el MTP-draft (la capa de multi-token prediction, 4B) existe como fichero aparte en los repos GGUF; es lo que permite el modo draft de predicción y parte de las velocidades altas. Segundo: la variante Coder de Strata elimina la mitad de los expertos — su autor dice que retiene el 91% del SWE-bench Verified del modelo completo (cifra del propio autor, no independiente) — pero sale más barata en RAM a cambio de ser más tonta fuera del código y en texto CJK (issue #438 del propio repo).
Lo que el hilo no cuenta en el título
El hilo («Qwen3.8-Flash-Next on Strata is such a beast», r/StableDiffusion, 71 puntos y 27 comentarios a 03/10/2026 según las métricas recogidas por nuestro gate) se lee como «este modelo revienta tu PC». Los comentarios cuentan otra historia, y verificamos cada cita contra el hilo:
1. El veredicto negativo más citado no es del OP. La cita que resume el caso contra Flash-Next es de u/ioann54: «In my tests Qwen3.8-27B-Uncensored-Coletti-Q4_K_M.gguf outperformed Qwen3.8-Flash-Next-Uncensored-IQ3_XXS. 27B better follows instructions and never falls in a loop, while with QFN I experienced loop couple of times. I decided to stay on 27B.» El OP (u/danamir_) piensa lo contrario: a cuantización equivalente (UD-IQ3_XXS) su Flash-Next ganó en sus primeras pruebas — aunque luego él mismo rebajó que en creativo era «roughly equivalent» —, y en coding a contexto largo lo describe como «night and day»: su 27B se veía forzado a compactar a ~40K de contexto mientras Flash-Next completaba la tarea en una pasada a 256K. Si vienes del titular esperando un veredicto unánime, no lo hay: el hilo está dividido.
2. Thought loops, reportados por varios. u/DaWaySheGoes: «I hit a looping issue with the “Coder” quant». u/Beginning-District69: «I also encountered the loop issue during my tests». Otro usuario da un mitigador práctico: temperatura a cero, especialmente con MTP activado. El OP añade un matiz de fair play: en otros modelos que probó, «the harsher the quantization was, the worse the loops were» — parte del problema puede ser del quant, no del modelo. (Un usuario con el 27B también reportó bucles a Q8, así que el fenómeno no es exclusivo de Flash-Next.)
3. «Lobotomized» a IQ2/IQ3 — evidencia conflictiva, no veredicto. u/Spara-Extreme, con uso extenso de ambos: «Flash Next at the quants you guys are running is functionally lobotomized», y recomienda el 27B para casi todo excepto coding. Contra-punto en el mismo hilo: «the bigger the model the less lobotomized it gets with lower quants» (u/BringTea_666) y otro usuario que en sus tests Flash-Next IQ2 «is not bad at all… at least for coding». Con un MoE la intuición sería esa — hay 512 expertos y hasta un IQ3_XXS mantiene mucho material — pero nadie ha publicado un eval sistemático. Lo honesto: en IQ2/IQ3 la experiencia depende del caso de uso y del usuario; nadie ha demostrado nada.
4. Las velocidades reales están por debajo del README. El README de Strata mide en su banco (RTX 5070 12 GB + Ryzen 5 7600 + 64 GB): Q2_0 94 t/s, IQ2_XS 79, IQ3_XXS 62, IQ3_S 53, Coder 55; y estima «roughly 100-140 tokens per second» para una RTX 3090. Son benchmarks del autor del engine, no mediciones independientes. En el hilo y en hilos hermanos de r/LocalLLaMA el rango es más humano: 30-40 t/s en una 5080 con 64 GB (u/oleshapro, IQ3_XXS), 60-65 t/s en una 3090 capada a 200 W con 128 GB DDR4 (u/marivesel, IQ3_S a 262K de contexto), 70-80 t/s en una 4090. Nótese qué falta en el hilo: un único dato verificado con la 20-series que el README da por válida — el suelo real de 12 GB puede ser más bajo de lo que vende la tabla. Del lado de llama.cpp, un usuario con 5070 12 GB + 32 GB DDR4 reporta 11-15 t/s con UD-IQ3_XXS usando su propio setup de expert streaming sobre llama.cpp (mejorable: el stock con --cpu-moe rinde menos, como advierte el OP) — útil como referencia de suelo. Y en la cima, un 5090 limitado por potencia + 96 GB DDR5: 150-200 t/s de decode a IQ3_S con 128K de contexto. Presentado todo como anecdótico: hardware, versiones y configuraciones no controladas.
Dos aclaraciones anti-hype. El «256K» del OP no es magia de Strata: es el contexto nativo del modelo (262.144 tokens), que cualquier engine decente respeta; lo de 1M es escalado (YaRN) y es claim de vendor. Y el «recorte del 44%» que circula en algunos resúmenes no tiene fuente: lo real son las variantes comunitarias REAP-288/384 que podan expertos (512→288 es un −43,75%, el número cuadra, el nombre «Victoria» que dan algunos extractores no existe en HF). No las uses esperando calidad equivalente: no hay cifra publicada.
Qué config elegir según tu hardware
Criterio honesto: RAM primero (el modelo vive ahí), VRAM después (define velocidad). Fuentes por fila.
| Tu equipo | Config sensata | Velocidad esperada | Fuente |
|---|---|---|---|
| GPU 12-16 GB + 32 GB RAM | Strata con variante Coder (o IQ2_XS con tarjeta de 24 GB) | ~55 t/s TG en el banco del autor | README Strata |
| GPU 12-16 GB + 48 GB RAM | Strata IQ2_XS (o Q2_0, el más rápido) | ~79 t/s TG en el banco del autor | README Strata |
| GPU 12-16 GB + 64 GB RAM | Strata IQ2_XS (recomendado) o IQ3_XXS/IQ3_S si priorizas calidad | 30-65 t/s en 50-class según hilo y banco del autor | README Strata + hilo |
| 24 GB VRAM (3090/4090) + 64-128 GB | IQ3_S/IQ3_XXS en Strata | 60-80 t/s reportados (el 100-140 del README es estimación del autor) | hilo |
| GPU grande (5090) + 96 GB | IQ3_S, o Unsloth 4-bit experimental | 150-200 t/s | hilo |
| GPU modesta + 32 GB, sin prisa | llama.cpp con --cpu-moe, UD-IQ3_XXS | 11-15 t/s | hilo r/LocalLLaMA |
Para contexto: el mismo patrón — cuants agresivos como único modo de ejecución local de un modelo grande — es exactamente lo que analizamos en Ternary-Bonsai-2-27B, con la misma leyenda: por debajo de cierto bpw, la calidad ya no está garantizada y el motor importa tanto como el modelo.
Veredicto escéptico
Para quién sí: si tienes 64 GB de RAM y una GPU de 12-16 GB, y tu carga es coding agéntico con contexto largo, Flash-Next con Strata a IQ3_XXS/IQ3_S es hoy una experiencia que ningún denso de 27B te da — contexto nativo de 262K sin compactar y velocidad usable. El caso del OP (un script largo leído de una pasada, sin la compactación que sufre el 27B) es real y es el mejor argumento del modelo. Si además quieres ojear el futuro: es el preview de Qwen4, con acceso temprano a QSA, Gated Residual y n-gram embedding.
Para quién no: si tu uso es escritura creativa, roleplay o instrucciones finas a contexto corto, el hilo tiene demasiados reportes de loops y de «lobotomized» a IQ2/IQ3 para recomendarlo sin reserva, y un Qwen3.8-27B en Q4_K_M es más ligero de RAM (encaja hasta en 32 GB con GPU decente — un usuario del hilo va a 70 t/s en una 3090 con 98K de contexto), lleva en la calle desde agosto con un ecosistema maduro de cuants y va bajo Apache 2.0. Como cerró u/ioann54 en su comparativa: «I decided to stay on 27B». Y si vas a meter Flash-Next en producción seria, recuerda su licencia: qwen-community-1.0, no Apache — revisa las condiciones antes de montar nada comercial.
Qué haría yo: con 32 GB me quedo en el 27B Q4_K_M y no miro atrás. Con 64 GB y foco en coding: Strata + IQ3_XXS, temperatura a cero si activo MTP, y un prompt de sistema que penalice bucles. Y para decidir si la calidad me llega, mi propio test de 10 tareas reales antes de borrar el 27B del disco — los benchmarks del engine y los t/s del hilo son el punto de partida, no la conclusión.
Fuentes
- Model card oficial Qwen/Qwen3.8-Flash-Next — arquitectura, contexto, licencia (verificado 03/10/2026)
- Repo QwenLM/Qwen3.8-Flash-Next — claim del 1/9 en coste de entrenamiento vs Qwen3.7-Plus
- Strata (Niko1221) — requisitos, benchmarks por quant, tabla de elección por RAM (README verificado 03/10/2026; repo: MIT, 8.337 estrellas)
- orcarouter/Qwen3.8-Flash-Next-Uncensored-GGUF — IQ3_XXS en 2 shards + MTP-draft (repo gated) · espejo mradermacher i1-GGUF — Q2_K a Q6_K, sin gate · estático mradermacher/Qwen3.8-Flash-Next-Uncensored-GGUF — mmproj f16/Q8_0
- Hilo OP (r/StableDiffusion) — citas de usuarios verificadas contra el hilo el 03/10/2026 (comentarios recuperados vía API pública de archivo)
- 50 t/s en portátil 12 GB + 64 GB (r/LocalLLaMA) · 5090 + 96 GB a 150-200 t/s · 11-15 t/s en 5070 con llama.cpp — anecdóticos
- Contexto previo del sitio: Qwen3.8-27B: análisis completo · Qwen3.8-27B: experiencia de 700 usuarios · Radar IA 22/08: «Qwen 3.8 domina el debate local»