GLM-5.3
Das offene Flaggschiff von Z.ai für agentische Aufgaben und Programmierung, mit einem Kontext von 1M Token. Groß, planen Sie also einen eigenen Server mit mehreren GPUs ein.
Überblick
GLM-5.3 ist ein Mixture-of-Experts-Modell mit 256 Experten, von denen 8 pro Token aktiv sind, und insgesamt etwa 753B Parametern. Es zielt auf agentisches Programmieren und Tool-Nutzung und unterstützt ein Kontextfenster von 1.048.576 Token.
Hardware-Anforderungen
Die kleinsten praxistauglichen Builds beginnen bei etwa 217 GB (UD-IQ1_S), UD-Q4_K_XL ist 467 GB groß. Sie brauchen also einen vollständigen Knoten mit mehreren GPUs.
| Quantisierung | Gewichte |
|---|---|
| UD-IQ1_S | 216.7 GB |
| UD-Q2_K_XL | 253.9 GB |
| UD-Q4_K_XL | 467.3 GB |
Die Größen sind die GGUF-Dateigrößen aus unsloth/GLM-5.3-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.
Bereitstellung mit Loadcore
- Öffnen Sie in der Konsole Modelle und suchen Sie nach
unsloth/GLM-5.3-GGUF. - Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
- Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
- Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf
http://your-server:9090/v1.
Empfohlene Einstellungen
| Parameter | Wert |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
Die Model Card nennt keine einzelne empfohlene Einstellung. Die meisten Evaluierungen werden mit temperature 1.0 und top_p 0.95 angegeben, das sind die Werte unten. Prüfen Sie vor der Nutzung die Lizenzbedingungen von GLM-5.3.
Quelle: zai-org/GLM-5.3.