DeepSeek V4.1 Flash
Het nieuwste open frontiermodel van DeepSeek, met een MIT-licentie, een context van 1M tokens en instelbare redeneerinspanning. Bedoeld voor meerdere GPU's.
Overzicht
Volgens de modelkaart is DeepSeek V4.1 Flash een mixture-of-experts-model met een basis van 552B parameters en 8B tot 16B geactiveerde parameters per token. Het ondersteunt een contextvenster van 1.048.576 tokens en een redeneerinspanning van 1 tot 100. De meeste GGUF-builds zijn gemaakt van revisie 1017.
Hardware
Dit model vraagt meerdere GPU's. UD-IQ1_S heeft alleen voor de gewichten al zo'n 233 GB nodig en UD-Q4_K_XL zo'n 500 GB, dus reken op een volledige node met 8x H100 of 8x H200. Draai het op een eigen server en stuur de rest van je vloot naar kleinere modellen.
| Kwantisatie | Gewichten |
|---|---|
| UD-IQ1_S | 233.0 GB |
| UD-Q2_K_XL | 334.8 GB |
| UD-Q4_K_XL | 500.7 GB |
De groottes zijn de GGUF-bestandsgroottes uit unsloth/DeepSeek-V4.1-Flash-1017-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.
Uitrollen op Loadcore
- Open in de console Modellen en zoek naar
unsloth/DeepSeek-V4.1-Flash-1017-GGUF. - Kies de kwantisatie die op de doelserver past en start de download.
- Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
- Laat je tools met je persoonlijke sleutel naar
http://your-server:9090/v1wijzen.
Aanbevolen instellingen
| Parameter | Waarde |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
DeepSeek rapporteert zijn evaluaties met temperature 1.0 en top_p 0.95. Er is geen top_k opgegeven, dus die staat hieronder uit (0).