gpt-oss 120B

Overzicht

gpt-oss 120B heeft 117B parameters, waarvan er 5.1B per token actief zijn. OpenAI positioneert het voor redeneerwerk in productie dat op één GPU van 80 GB zoals een H100 past. Het contextvenster is 131.072 tokens.

Hardware

De GGUF van ggml-org is de native MXFP4-build van 63.4 GB, wat op een kaart van 80 GB ruimte laat voor context.

Kwantisatie	Gewichten
MXFP4	63.4 GB

De groottes zijn de GGUF-bestandsgroottes uit ggml-org/gpt-oss-120b-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.

Uitrollen op Loadcore

1. Open in de console Modellen en zoek naar ggml-org/gpt-oss-120b-GGUF.
2. Kies de kwantisatie die op de doelserver past en start de download.
3. Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
4. Laat je tools met je persoonlijke sleutel naar http://your-server:9090/v1 wijzen.

Aanbevolen instellingen

Parameter	Waarde
temperature	1.0
top_p	1.0
top_k	0
repeat_penalty	1.0
min_p	0.0

De modelkaart noemt geen samplingwaarden. Temperature 1.0 en top_p 1.0 hieronder zijn de gangbare standaardwaarden voor dit model, dus stem ze af op je eigen werk.

Bron: openai/gpt-oss-120b.