Qwen3.8 Flash Next
Das Mixture-of-Experts-Modell von Qwen mit 125B Parametern und nur 6B aktiven pro Token. Für seine Größe schnell beim Dekodieren, sofern Sie den Speicher dafür haben.
Überblick
Qwen3.8 Flash Next ist ein Sparse-Mixture-of-Experts-Modell: 512 Experten, von denen pro Token 10 geroutete plus 1 gemeinsamer aktiv sind, also etwa 6B aktivierte von 125B Parametern (plus N-Gramm-Embeddings und ein MTP-Head). Weil so wenige Parameter aktiv sind, dekodiert es deutlich schneller als ein dense Modell gleicher Gesamtgröße.
Hardware-Anforderungen
Selbst mit UD-Q4_K_XL sind die Gewichte 111 GB groß, planen Sie also eine einzelne H200 mit 141 GB oder zwei GPUs mit 80 GB ein. UD-Q2_K_XL mit 80 GB passt mit kleinem Kontext auf eine H100.
| Quantisierung | Gewichte |
|---|---|
| UD-Q2_K_XL | 79.6 GB |
| UD-Q4_K_XL | 111.3 GB |
| Q8_0 | 199.3 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/Qwen3.8-Flash-Next-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/Qwen3.8-Flash-Next-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Dieselben Sampling-Empfehlungen wie für den Rest der Qwen3.8-Familie. Der Instruct-Modus nutzt temperature 0.7, top_p 0.8 und presence_penalty 1.5. Prüfen Sie die Lizenz vor kommerzieller Nutzung, denn sie ist nicht Apache 2.0.
Quelle: Qwen/Qwen3.8-Flash-Next.