文档指南

Nemotron 3 系列包含三个规模的模型，适用于不同的硬件条件和应用场景。本指南将帮助您在 5 分钟内运行起第一个 Nemotron 模型。

选择合适的模型

5 分钟快速上手 (以 llama.cpp 为例)

1. 安装 llama.cpp

   git clone https://github.com/ggerganov/llama.cpp
   cd llama.cpp
   make -j$(nproc)复制

2. 下载模型 (以 Nano GGUF 为例)

   # 从 Hugging Face 下载量化版本
   wget https://huggingface.co/nvidia/Nemotron-3-Nano-GGUF/resolve/main/Nemotron-3-Nano-Q4_K_M.gguf
   # 或从 ModelScope 下载 (国内更快)
   wget https://modelscope.cn/models/nvidia/Nemotron-3-Nano-GGUF/resolve/master/Nemotron-3-Nano-Q4_K_M.gguf复制

3. 运行推理

   # 交互式聊天模式
   ./llama-cli -m Nemotron-3-Nano-Q4_K_M.gguf -c 32768 -p "用户: 你好\n助手:" -cnv
   
   # 服务器模式 (OpenAI 兼容 API)
   ./llama-server -m Nemotron-3-Nano-Q4_K_M.gguf -c 32768 --port 8080复制

4. 测试 API

   curl http://localhost:8080/v1/chat/completions \
     -H "Content-Type: application/json" \
     -d '{
       "model": "Nemotron-3-Nano",
       "messages": [{"role": "user", "content": "用 Python 写一个快速排序"}],
       "temperature": 0.7,
       "max_tokens": 2048
     }'复制

Nemotron 3 系列采用统一的 Hybrid Mamba-Transformer MoE 架构，三个规模模型共享相同的架构设计，仅在专家数量、隐藏层维度和训练数据规模上有所不同。

核心规格对比

硬件需求估算

最低硬件要求

软件依赖

llama.cpp 是在消费级硬件上运行 Nemotron 3 模型的最佳选择，支持 GGUF 量化格式，可在 CPU、Apple Metal、CUDA、Vulkan 等后端运行。

安装

从源码编译 (推荐，性能最优)

# Ubuntu/Debian
sudo apt update && sudo apt install -y build-essential cmake curl libcurl4-openssl-dev

# GPU 支持 (CUDA)
git clone https://github.com/ggerganov/llama.cpp
cd llama.cpp
mkdir build && cd build
cmake .. -DGGML_CUDA=ON -DCMAKE_BUILD_TYPE=Release
cmake --build . --config Release -j$(nproc)

# Apple Silicon (Metal)
cmake .. -DGGML_METAL=ON -DCMAKE_BUILD_TYPE=Release

# 仅 CPU (AVX2 优化)
cmake .. -DCMAKE_BUILD_TYPE=Release复制

模型下载

运行参数详解

常用运行模式

1. 交互式聊天

./llama-cli -m Nemotron-3-Nano-Q4_K_M.gguf \
  -c 32768 -ngl 99 -fa \
  -p "用户: 你好\n助手:" \
  -cnv --color复制

2. OpenAI 兼容 API 服务器

./llama-server -m Nemotron-3-Nano-Q4_K_M.gguf \
  -c 32768 -ngl 99 -fa \
  --port 8080 --host 0.0.0.0 \
  --parallel 4 --cont-batching \
  --mlock --no-mmap复制

3. 基准测试

# 测试吞吐量
./llama-bench -m Nemotron-3-Nano-Q4_K_M.gguf -ngl 99 -fa -b 512 -ub 512

# 测试延迟
./llama-cli -m Nemotron-3-Nano-Q4_K_M.gguf -ngl 99 -fa -p "测试" -n 128 --timing复制

vLLM 和 TensorRT-LLM 是生产环境高吞吐推理的首选方案，支持 FP8/BF16 精度，适合 Super 和 Nano 模型的服务化部署。

vLLM 快速部署

安装

# 使用 Docker (推荐)
docker run --runtime nvidia --gpus all \
  -v ~/.cache/huggingface:/root/.cache/huggingface \
  -p 8000:8000 \
  --ipc=host \
  vllm/vllm-openai:latest \
  --model nvidia/Nemotron-3-Nano-FP8 \
  --dtype float8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.9 \
  --tensor-parallel-size 1复制

原生安装

pip install vllm

# 启动服务
python -m vllm.entrypoints.openai.api_server \
  --model nvidia/Nemotron-3-Nano-FP8 \
  --dtype float8 \
  --max-model-len 32768 \
  --gpu-memory-utilization 0.9 \
  --tensor-parallel-size 1 \
  --port 8000复制

TensorRT-LLM 部署

TensorRT-LLM 提供极致的推理性能，适合对延迟敏感的生产环境。

# 克隆并构建
git clone https://github.com/NVIDIA/TensorRT-LLM
cd TensorRT-LLM
pip install -r requirements.txt

# 转换模型 (以 Nemotron-3-Nano 为例)
python examples/llama/convert_checkpoint.py \
  --model_dir nvidia/Nemotron-3-Nano-FP8 \
  --output_dir /tmp/nanotron_trt \
  --dtype float8 \
  --tp_size 1

# 构建引擎
trtllm-build --checkpoint_dir /tmp/nanotron_trt \
  --output_dir /tmp/nanotron_engine \
  --gemm_plugin float8 \
  --max_batch_size 8 \
  --max_input_len 4096 \
  --max_output_len 2048

# 启动 Triton 推理服务器
tritonserver --model-repository /tmp/nanotron_engine复制

多 GPU 张量并行

NVIDIA NIM (NVIDIA Inference Microservices) 提供生产就绪的推理微服务，支持一键部署到本地数据中心或云端，内置优化推理引擎、负载均衡与可观测性监控。

本地容器部署

# 使用 NIM 容器部署 Nemotron 3 Super
docker run --runtime nvidia --gpus all -it --rm \
  -p 8000:8000 \
  nvcr.io/nim/nvidia/nemotron-3-super:latest \
  --model nvidia/Nemotron-3-Super-FP8复制

调用 API

curl -X POST "https://integrate.api.nvidia.com/v1/chat/completions" \
  -H "Authorization: Bearer $NVIDIA_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "nvidia/nemotron-3-super",
    "messages": [{"role": "user", "content": "解释一下混合专家模型"}],
    "temperature": 0.7,
    "max_tokens": 1024
  }'复制

Ollama 是本地运行大模型最简单的方式，自动管理模型下载与量化，内置 OpenAI 兼容 API 服务器，适合快速体验与本地开发。

安装并运行

# macOS / Linux 一键安装
curl -fsSL https://ollama.com/install.sh | sh

# 运行 Nemotron 3 Nano (自动下载量化版本)
ollama run nemotron3:nano

# 运行 Super (需足够显存)
ollama run nemotron3:super复制

使用 Docker 部署可保证环境一致性，便于在 Kubernetes 等编排系统中水平扩展。以下以 vLLM 镜像为例。

docker-compose 示例

services:
  nemotron:
    image: vllm/vllm-openai:latest
    runtime: nvidia
    ports:
      - "8000:8000"
    environment:
      - NVIDIA_VISIBLE_DEVICES=all
    command: >
      --model nvidia/Nemotron-3-Nano-FP8
      --dtype float8
      --max-model-len 32768
      --gpu-memory-utilization 0.9
      --tensor-parallel-size 1
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]\n      --model nvidia/Nemotron-3-Nano-FP8\n      --dtype float8\n      --max-model-len 32768\n      --gpu-memory-utilization 0.9\n      --tensor-parallel-size 1\n    deploy:\n      resources:\n        reservations:\n          devices:\n            - driver: nvidia\n              count: 1\n              capabilities: [gpu]">复制

量化是降低显存占用、提升推理吞吐的关键手段。Nemotron 3 系列支持 NVFP4、FP8、INT4 (GGUF) 等多种量化格式。

量化格式对比

GGUF 量化 (llama.cpp)

# 将 Hugging Face 权重转换为 GGUF 并量化
python convert_hf_to_gguf.py nvidia/Nemotron-3-Nano-FP8 --outfile nano-f16.gguf
./llama-quantize nano-f16.gguf Nemotron-3-Nano-Q4_K_M.gguf Q4_K_M复制

Nemotron 3 系列支持监督微调 (SFT) 与偏好对齐 (RLHF/DPO)。Super 与 Nano 采用 NVIDIA Open Model License，允许商业用途下的微调；Ultra 采用 OpenMDW-1.1，微调需遵守其使用条款。

基于 NeMo 的 LoRA 微调

# 使用 NVIDIA NeMo 进行 LoRA 微调
python /opt/NeMo/examples/nlp/language_modeling/tuning/peft_lora_tuning.py \
  model.pretrained_model_name=nvidia/Nemotron-3-Nano-FP8 \
  model.peft.lora_tuning.adapter_dim=16 \
  trainer.devices=1 trainer.accelerator=gpu \
  exp_manager.exp_dir=./nemotron3-nano-lora复制

Nemotron 3 原生支持最长 1M token 的上下文窗口，采用 Mamba 状态空间层处理长序列，对超长文档检索、代码库理解与多轮对话格外友好。

以下参数可显著改善吞吐与首 token 延迟 (TTFT)：

• --gpu-memory-utilization：设为 0.9~0.95 以最大化 KV Cache 容量。
• --max-num-seqs：提高并发序列数，提升吞吐但增加显存压力。
• --enable-prefix-caching：对共享系统提示复用 KV Cache，多轮对话收益明显。
• --speculative-decoding：配合 MTP 头使用草稿模型，降低解码延迟。

vLLM、TensorRT-LLM、NIM、Ollama 均提供 OpenAI 兼容接口，可直接复用现有 OpenAI SDK，仅需切换 base_url 与 model。

聊天补全请求

POST /v1/chat/completions

{
  "model": "nvidia/Nemotron-3-Nano-FP8",
  "messages": [
    {"role": "system", "content": "你是一个有帮助的中文助手。"},
    {"role": "user", "content": "用一句话解释 MoE。"}
  ],
  "temperature": 0.6,
  "top_p": 0.9,
  "max_tokens": 512,
  "stream": true
}复制

常用参数

通过 OpenAI Python SDK 连接本地或云端 Nemotron 3 服务，仅需设置 base_url 指向推理端点。

from openai import OpenAI

client = OpenAI(
    base_url="http://localhost:8000/v1",  # 本地 vLLM / NIM
    api_key="not-needed",
)

resp = client.chat.completions.create(
    model="nvidia/Nemotron-3-Nano-FP8",
    messages=[{"role": "user", "content": "你好，介绍一下你自己。"}],
    stream=True,
)
for chunk in resp:
    if chunk.choices[0].delta.content:
        print(chunk.choices[0].delta.content, end="")复制

使用 LangChain 的 ChatOpenAI 包装 Nemotron 3，即可复用 RAG、Agent、记忆等生态能力。

from langchain_openai import ChatOpenAI
from langchain_core.messages import HumanMessage

llm = ChatOpenAI(
    model="nvidia/Nemotron-3-Super-FP8",
    base_url="http://localhost:8000/v1",
    api_key="not-needed",
    temperature=0.6,
)

print(llm.invoke([HumanMessage(content="用三句话总结 MoE 的优势。")]).content)复制

LlamaIndex 可基于 Nemotron 3 构建检索增强生成 (RAG) 应用，适合知识库问答与文档分析。

from llama_index.llms.openai import OpenAI
from llama_index.core import Settings, VectorStoreIndex, SimpleDirectoryReader

Settings.llm = OpenAI(
    model="nvidia/Nemotron-3-Nano-FP8",
    api_base="http://localhost:8000/v1",
    api_key="not-needed",
)

docs = SimpleDirectoryReader("./data").load_data()
index = VectorStoreIndex.from_documents(docs)
query_engine = index.as_query_engine()
print(query_engine.query("根据文档，Nemotron 3 的架构特点是什么？"))复制

以下为公开评测口径的近似结果（以官方发布为准），展示 Nemotron 3 系列在主流中英文基准上的表现。

Nemotron 3 采用混合 Mamba-Transformer 架构，结合 LatentMoE 稀疏专家与前馈层压缩，并引入多 token 预测 (MTP) 头用于投机解码。

• 混合结构：Transformer 注意力层负责全局依赖，Mamba 状态空间层高效建模长序列，兼顾质量与效率。
• LatentMoE：将专家权重以低秩潜在表示压缩，降低显存与计算开销，使超大参数量可在有限硬件上运行。
• 多 token 预测 (MTP)：一次预测多个 token，配合投机解码显著提升生成吞吐。
• 1M 上下文：原生支持百万级 token，适合超长文档与代码库场景。

三款模型采用不同许可证，使用前请仔细阅读对应条款：

Q1：消费级显卡能跑哪个模型？

A：Nano Q4_K_M 可在 24GB 显存（如 RTX 4090）流畅运行；Super 需 80GB 级显存（如 A100/H100）；Ultra 需多卡 NVFP4 方案。

Q2：中文支持怎么样？

A：三款模型均支持中英双语，CMMLU 等中文基准表现接近英文，适合中文场景。

Q3：为什么 llama.cpp 找不到模型？

A：需先转换为 GGUF 格式并量化，或使用 Ollama 自动拉取；Ollama 库内搜索 nemotron 查看可用标签。

Q4：显存不够怎么办？

A：优先量化（FP8/Q4_K_M）、启用 KV Cache 量化、降低 --max-model-len，或使用 NVIDIA NIM 云端推理。