DeepSeek V4.1 Flash
Das neueste offene Frontier-Modell von DeepSeek, MIT-lizenziert, mit einem Kontext von 1M Token und einstellbarem Reasoning-Aufwand. Ein Modell für mehrere GPUs.
Überblick
Laut Model Card ist DeepSeek V4.1 Flash ein Mixture-of-Experts-Modell mit einem Backbone von 552B Parametern und 8B bis 16B aktivierten Parametern pro Token. Es unterstützt ein Kontextfenster von 1.048.576 Token und einen Reasoning-Aufwand von 1 bis 100. Die meisten GGUF-Builds basieren auf der Revision 1017.
Hardware-Anforderungen
Dieses Modell braucht mehrere GPUs. UD-IQ1_S benötigt allein für die Gewichte etwa 233 GB und UD-Q4_K_XL etwa 500 GB, rechnen Sie also mit einem vollständigen Knoten mit 8x H100 oder 8x H200. Betreiben Sie es auf einem eigenen Server und leiten Sie den Rest Ihrer Flotte an kleinere Modelle.
| Quantisierung | Gewichte |
|---|---|
| UD-IQ1_S | 233.0 GB |
| UD-Q2_K_XL | 334.8 GB |
| UD-Q4_K_XL | 500.7 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/DeepSeek-V4.1-Flash-1017-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/DeepSeek-V4.1-Flash-1017-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
DeepSeek gibt seine Evaluierungen mit temperature 1.0 und top_p 0.95 an. Ein top_k ist nicht angegeben, daher bleibt es unten deaktiviert (0).
Quelle: deepseek-ai/DeepSeek-V4.1-Flash.