Gemma 4 26B A4B
Das Mixture-of-Experts-Modell von Gemma 4. Fast so viel Speicherbedarf wie das 31B, aber mit nur 3.8B aktiven Parametern liefert es deutlich mehr Token pro Sekunde.
Überblick
Gemma 4 26B A4B nutzt 128 Experten plus einen gemeinsamen Experten, von denen 8 pro Token aktiv sind. Das ergibt 3.8B aktive von insgesamt 26B Parametern. Laut Google läuft es fast so schnell wie ein 4B-Modell.
Hardware-Anforderungen
MXFP4 und UD-Q4_K_XL liegen bei etwa 17 GB, Q8_0 bei 27.3 GB. Damit eignet es sich gut für stark genutzten Chat auf Karten mit 24 bis 48 GB.
| Quantisierung | Gewichte |
|---|---|
| MXFP4 | 16.6 GB |
| UD-Q4_K_XL | 17.0 GB |
| Q8_0 | 27.3 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/gemma-4-26B-A4B-it-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/gemma-4-26B-A4B-it-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 64 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Dieselben empfohlenen Standardwerte wie bei Gemma 4 31B.
Quelle: google/gemma-4-26B-A4B-it.