Gemma 4 31B
Das größte Gemma-4-Modell von Google. Dense, multimodal und unter Apache 2.0 lizenziert, passt es bequem auf eine einzelne 48-GB-GPU.
Überblick
Gemma 4 31B ist das dense Flaggschiff der Gemma-4-Familie von Google, auf Anweisungen trainiert und in der Lage, Bilder als Eingabe zu verarbeiten. Es hat ein Kontextfenster von 262.144 Token.
Hardware-Anforderungen
Q4_K_M ist 18.3 GB groß und Q8_0 33.2 GB. Eine 48-GB-Karte wie die L40S betreibt Q8_0 mit Platz für Kontext, eine 24-GB-Karte Q4_K_M mit kürzerem Kontext. Für Bildeingaben brauchen Sie die separate mmproj-Datei aus dem GGUF-Repo.
| Quantisierung | Gewichte |
|---|---|
| Q4_K_M | 18.3 GB |
| Q6_K | 25.2 GB |
| Q8_0 | 33.2 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/gemma-4-31B-it-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/gemma-4-31B-it-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 64 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Die Werte unten sind die von Google in der Model Card empfohlenen Standardwerte.
Quelle: google/gemma-4-31B-it.