Qwen3.8 Flash Next
El modelo mixture-of-experts de Qwen con 125B parámetros y solo 6B activos por token. Decodifica rápido para su tamaño, si tienes la memoria para alojarlo.
Resumen
Qwen3.8 Flash Next es un modelo mixture-of-experts disperso: 512 expertos con 10 enrutados más 1 compartido activos por token, unos 6B parámetros activados de 125B (más embeddings de n-gramas y una cabeza MTP). Como hay tan pocos parámetros activos, decodifica mucho más rápido que un modelo denso del mismo tamaño total.
Requisitos de hardware
Incluso en UD-Q4_K_XL los pesos ocupan 111 GB, así que prevé una sola H200 de 141 GB o dos GPUs de 80 GB. UD-Q2_K_XL, con 80 GB, cabe en una H100 con un contexto pequeño.
| Cuantización | Pesos |
|---|---|
| UD-Q2_K_XL | 79.6 GB |
| UD-Q4_K_XL | 111.3 GB |
| Q8_0 | 199.3 GB |
Los tamaños son los de los archivos GGUF de unsloth/Qwen3.8-Flash-Next-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.
Despliegue en Loadcore
- En la consola, abre Modelos y busca
unsloth/Qwen3.8-Flash-Next-GGUF. - Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
- Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
- Apunta tus herramientas a
http://your-server:9090/v1con tu clave personal.
Ajustes recomendados
| Parámetro | Valor |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Las mismas recomendaciones de muestreo que el resto de la familia Qwen3.8. El modo instruct usa temperature 0.7, top_p 0.8 y presence_penalty 1.5. Revisa la licencia antes de un uso comercial, ya que no es Apache 2.0.
Fuente: Qwen/Qwen3.8-Flash-Next.