Nemotron 3.5 Lightning 30B A3B

Überblick

Nemotron 3.5 Lightning verschränkt Mamba-2- und MoE-Layer mit einigen Attention-Layern. Es hat insgesamt 30B und 3B aktive Parameter sowie einen Kontext von 262.144 Token. Seine Hauptsprachen sind Englisch und Code.

Hardware-Anforderungen

Das GGUF von ggml-org bietet Q8_0 mit 35.8 GB, das auf eine 48-GB-Karte passt. Community-Repos veröffentlichen auch kleinere Quantisierungen.

Quantisierung	Gewichte
Q8_0	35.8 GB
BF16	67.3 GB

Die Größen sind die GGUF-Dateigrößen aus ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF. Planen Sie zusätzlichen VRAM für den KV-Cache ein, der mit der Kontextgröße und der Zahl paralleler Anfragen wächst.

Bereitstellung mit Loadcore

1. Öffnen Sie in der Konsole Modelle und suchen Sie nach ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF.
2. Wählen Sie die Quantisierung, die zum Zielserver passt, und starten Sie den Download.
3. Starten Sie eine Instanz mit der benötigten Kontextgröße und so vielen GPU-Layern, dass das ganze Modell auf die GPU ausgelagert wird.
4. Richten Sie Ihre Tools mit Ihrem persönlichen Schlüssel auf http://your-server:9090/v1.

Empfohlene Einstellungen

Parameter	Wert
temperature	1.0
top_p	0.95
top_k	0
repeat_penalty	1.0
min_p	0.0

NVIDIA empfiehlt temperature 1.0 und top_p 0.95.

Quelle: nvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16.