Nemotron 3.5 Lightning 30B A3B
El modelo de razonamiento híbrido de NVIDIA que combina Mamba y mixture-of-experts. 30B en total, 3B activos, pensado para un alto rendimiento.
Resumen
Nemotron 3.5 Lightning intercala capas Mamba-2 y MoE con unas pocas capas de atención. Tiene 30B parámetros en total y 3B activos, y un contexto de 262.144 tokens. Sus idiomas principales son el inglés y el código.
Requisitos de hardware
El GGUF de ggml-org ofrece Q8_0 con 35.8 GB, que cabe en una tarjeta de 48 GB. Los repos de la comunidad también publican cuantizaciones más pequeñas.
| Cuantización | Pesos |
|---|---|
| Q8_0 | 35.8 GB |
| BF16 | 67.3 GB |
Los tamaños son los de los archivos GGUF de ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF. Reserva VRAM adicional para la caché KV, que crece con el tamaño del contexto y las peticiones en paralelo.
Despliegue en Loadcore
- En la consola, abre Modelos y busca
ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF. - Elige la cuantización que quepa en el servidor de destino e inicia la descarga.
- Inicia una instancia con el tamaño de contexto que necesites y suficientes capas en GPU para descargar el modelo completo en ella.
- Apunta tus herramientas a
http://your-server:9090/v1con tu clave personal.
Ajustes recomendados
| Parámetro | Valor |
|---|---|
| temperature | 1.0 |
| top_p | 0.95 |
| top_k | 0 |
| repeat_penalty | 1.0 |
| min_p | 0.0 |
NVIDIA recomienda temperature 1.0 y top_p 0.95.