Qwen3 Coder Next
Das Programmiermodell von Qwen für Agent-Tools wie opencode und aider. 80B insgesamt bei 3B aktiv, daher bleibt es auch in langen Coding-Sessions schnell.
Überblick
Qwen3 Coder Next ist ein Mixture-of-Experts-Modell zum Programmieren mit insgesamt 80B und 3B aktivierten Parametern sowie einem Kontext von 262.144 Token. Es ist für Coding-Agents und Arbeit auf der Ebene ganzer Repositories gedacht.
Hardware-Anforderungen
Q4_K_M ist 48.5 GB groß und passt mit reichlich Kontext auf eine 80-GB-GPU. Q8_0 mit 84.8 GB braucht eine H200 mit 141 GB oder zwei GPUs.
| Quantisierung | Gewichte |
|---|---|
| Q4_K_M | 48.5 GB |
| Q6_K | 65.6 GB |
| Q8_0 | 84.8 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/Qwen3-Coder-Next-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/Qwen3-Coder-Next-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 40 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Die Werte unten sind die von Qwen für dieses Modell empfohlenen Sampling-Einstellungen.
Quelle: Qwen/Qwen3-Coder-Next.