Qwen3.8 27B
Das derzeit meistheruntergeladene offene Modell auf Hugging Face. Ein dense 27B mit 262K Kontext, das in 4-Bit auf eine einzelne GPU mit 24 bis 48 GB passt.
Überblick
Qwen3.8 27B ist das dense Mitglied der Qwen3.8-Familie und die Basis für einen großen Teil der Community-Fine-Tunes, die auf Hugging Face gerade beliebt sind. Es unterstützt einen Thinking-Modus und einen Instruct-Modus (ohne Thinking) sowie ein natives Kontextfenster von 262.144 Token.
Hardware-Anforderungen
Mit UD-Q4_K_XL sind die Gewichte 17.6 GB groß, eine 24-GB-Karte kann es also mit einem moderaten Kontext bereitstellen. Für lange Kontexte oder mehrere parallele Anfragen nehmen Sie eine Karte mit 48 GB oder mehr, oder betreiben Sie Q8_0 auf einer 80-GB-GPU.
| Quantisierung | Gewichte |
|---|---|
| UD-Q4_K_XL | 17.6 GB |
| Q8_0 | 29.0 GB |
| BF16 | 54.7 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/Qwen3.8-27B-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/Qwen3.8-27B-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 20 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Die Model Card nennt eigene Einstellungen für den Instruct-Modus: temperature 0.7, top_p 0.8, top_k 20 und presence_penalty 1.5. Die Werte unten gelten für den Thinking-Modus.
Quelle: Qwen/Qwen3.8-27B.