GLM-5.3
Het open vlaggenschip van Z.ai voor agentisch werk en programmeren, met een context van 1M tokens. Groot, dus plan een eigen server met meerdere GPU's.
Overzicht
GLM-5.3 is een mixture-of-experts-model met 256 experts, waarvan er 8 per token actief zijn, en in totaal zo'n 753B parameters. Het richt zich op agentisch programmeren en het gebruik van tools en ondersteunt een contextvenster van 1.048.576 tokens.
Hardware
De kleinste bruikbare builds beginnen rond de 217 GB (UD-IQ1_S) en UD-Q4_K_XL is 467 GB, dus je hebt een volledige node met meerdere GPU's nodig.
| Kwantisatie | Gewichten |
|---|---|
| UD-IQ1_S | 216.7 GB |
| UD-Q2_K_XL | 253.9 GB |
| UD-Q4_K_XL | 467.3 GB |
De groottes zijn de GGUF-bestandsgroottes uit unsloth/GLM-5.3-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.
Uitrollen op Loadcore
- Open in de console Modellen en zoek naar
unsloth/GLM-5.3-GGUF. - Kies de kwantisatie die op de doelserver past en start de download.
- Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
- Laat je tools met je persoonlijke sleutel naar
http://your-server:9090/v1wijzen.
Aanbevolen instellingen
| Parameter | Waarde |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
De modelkaart noemt geen enkele aanbevolen instelling. De meeste evaluaties gebruiken temperature 1.0 en top_p 0.95, de waarden hieronder. Lees de licentievoorwaarden van GLM-5.3 voordat je het gebruikt.
Bron: zai-org/GLM-5.3.