Nemotron 3.5 Lightning 30B A3B

Overzicht

Nemotron 3.5 Lightning wisselt Mamba-2- en MoE-lagen af met een paar attention-lagen. Het heeft 30B parameters in totaal, 3B actief, en een context van 262.144 tokens. Engels en code zijn de belangrijkste talen.

Hardware

De GGUF van ggml-org levert Q8_0 van 35.8 GB, dat op een kaart van 48 GB past. Communityrepo's publiceren ook kleinere kwantisaties.

Kwantisatie	Gewichten
Q8_0	35.8 GB
BF16	67.3 GB

De groottes zijn de GGUF-bestandsgroottes uit ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF. Reken op extra VRAM voor de KV-cache, die groeit met de contextgrootte en het aantal parallelle verzoeken.

Uitrollen op Loadcore

1. Open in de console Modellen en zoek naar ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF.
2. Kies de kwantisatie die op de doelserver past en start de download.
3. Start een instantie met de contextgrootte die je nodig hebt en genoeg GPU-lagen om het volledige model naar de GPU te verplaatsen.
4. Laat je tools met je persoonlijke sleutel naar http://your-server:9090/v1 wijzen.

Aanbevolen instellingen

Parameter	Waarde
temperature	1.0
top_p	0.95
top_k	0
repeat_penalty	1.0
min_p	0.0

NVIDIA raadt temperature 1.0 en top_p 0.95 aan.

Bron: nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16.