Qwen3.8 27B
El modelo abierto más descargado ahora mismo en Hugging Face. Un denso de 27B con contexto de 262K que cabe en una sola GPU de 24 a 48 GB en 4 bits.
Resumen
Qwen3.8 27B es el miembro denso de la familia Qwen3.8 y la base de buena parte de los fine-tunes de la comunidad que destacan en Hugging Face. Admite un modo thinking y un modo instruct (sin thinking), y una ventana de contexto nativa de 262.144 tokens.
Requisitos de hardware
En UD-Q4_K_XL los pesos ocupan 17.6 GB, así que una tarjeta de 24 GB puede servirlo con un contexto moderado. Para contextos largos o varias peticiones en paralelo, usa una tarjeta de 48 GB o más, o ejecuta Q8_0 en una GPU de 80 GB.
| Cuantización | Pesos |
|---|---|
| UD-Q4_K_XL | 17.6 GB |
| Q8_0 | 29.0 GB |
| BF16 | 54.7 GB |
Los tamaños son los de los archivos GGUF de unsloth/Qwen3.8-27B-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.
Despliegue en Loadcore
- En la consola, abre Modelos y busca
unsloth/Qwen3.8-27B-GGUF. - Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
- Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
- Apunta tus herramientas a
http://your-server:9090/v1con tu clave personal.
Ajustes recomendados
| Parámetro | Valor |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
La ficha del modelo da ajustes propios para el modo instruct: temperature 0.7, top_p 0.8, top_k 20 y presence_penalty 1.5. Los valores de abajo son para el modo thinking.
Fuente: Qwen/Qwen3.8-27B.