ai-berkshire NVIDIA 推理护城河专员 | 2026-04-24
1. 核心判断
护城河强度：高（数据中心推理）/ 中（边缘）/ 低-中（中国）。NVIDIA 在 AI 推理市场仍占 60-75% 份额（FY2026 数据中心收入 $194B，全市场份额约 86%），但与训练（>90%）相比已开始分化。最深的护城河来自 CUDA + TensorRT-LLM + NIM 的 18 年软件栈积累——同样硬件上软件栈贡献 2.6-10x 性能差距。未来 3 年面临三重夹击：AMD MI355X 在 TCO 上反超、超大客户 ASIC（Maia/TPU/Trainium/MTIA）以 44.6% 增速放量、华为 Ascend 在中国从 35% 攀至 50%+。预计 NVIDIA 2030 推理份额降至 50-55%，但绝对收入仍翻倍。$20B 收购 Groq（2025-12）是其防御 ASIC 威胁的关键一步。
2. NVIDIA 推理产品全景
数据中心推理（核心战场）
| 产品 | 显存 | FP8/FP4 算力 | 价格 | 定位 |
|---|---|---|---|---|
| H100 SXM | 80 GB HBM3 | 4 PFLOPS FP8 | $30-40k | 通用训练+推理 |
| H200 | 141 GB HBM3e | 4 PFLOPS FP8 | $35-45k | 推理优化（显存翻倍） |
| H20（中国特供） | 96 GB | 阉割版 | $12-15k | 2025 已被新一轮限制 |
| B200 | 192 GB HBM3e | 9 PFLOPS FP8 / 18 PFLOPS FP4 | $35-45k | 推理 4x H100（Llama 70B） |
| GB200 NVL72 | 13.5 TB 系统显存 | 720 PFLOPS FP8 / 1.4 EFLOPS FP4 | $3-3.5M/机柜 | 万亿参数推理 30x H100 |
| B300 / Blackwell Ultra | 288 GB | ~12 PFLOPS FP8 | $45-50k | 2025 Q4 量产 |
| Rubin (R100) | HBM4 | ~50 PFLOPS FP4 | TBD | 2026 H2 出货 |
| Rubin Ultra NVL576 | 365 TB/机柜 | 15 EFLOPS FP4 | TBD | 2027 H2，600kW Kyber 机柜 |
关键技术拐点：FP4 精度（Blackwell 引入）让推理算力对比 FP8 翻倍；NVL72 NVLink 域让万亿参数模型可单机柜驻留显存。
边缘 / 端侧推理
- Jetson Thor（2025 量产）：Blackwell 架构、2070 FP4 TFLOPS、128 GB 显存、40-130W
- Jetson T4000 + JetPack 7.1（2026-01）：边缘 LLM/VLM/VLA 推理
- DGX Spark（个人 AI workstation，2025 上市）
- 2M+ 机器人开发者绑定 NVIDIA Isaac/Holoscan 软件栈
3. NVIDIA 推理软件栈（最深护城河）
TensorRT（2017）
通用 GPU 推理优化器，FP8/FP4 量化、Kernel fusion、动态形状。性能比 PyTorch 原生 5-10x。
TensorRT-LLM（2023-09）
专为 LLM 设计：In-flight batching、Paged KV cache、Speculative decoding、多 GPU tensor/pipeline 并行。支持 100+ 主流模型。
Triton Inference Server
多模型多框架（PyTorch/TF/ONNX/TRT-LLM/vLLM）统一服务。
NIM（NVIDIA Inference Microservices，2024-03）
最重要的近期产品：容器化、一行命令部署、内含 TensorRT/TensorRT-LLM/vLLM/SGLang 多后端。 - 2025-12 数据：NIM 在 H100 上 Llama 3.1 8B 跑 1,201 tokens/s，对比裸跑 613 tokens/s（2.6x 提升） - AWS / Google Cloud / Azure 全部上架 - 企业客户：Lowe's、Siemens、Box、Cohesity、Dropbox、NetApp、Hippocratic AI、Glean
护城河逻辑：CUDA → TensorRT → TensorRT-LLM → NIM 形成层层向上的"性能 + 易用性"飞轮，同样 H100 硬件上 NVIDIA 软件栈让有效算力高出竞品 2-3 倍。
4. NVIDIA 推理护城河五大维度
4.1 硬件性能领先（中等护城河）
- B200 vs MI300X：FP8 上 9 PFLOPS vs 5.2 PFLOPS（1.7x）
- GB200 NVL72 vs 任何竞品：72 GPU NVLink 全互联，万亿参数推理 30x H100
- 但 AMD MI355X 在 FP8/FP4 上已与 B200 持平
4.2 软件栈成熟（最深护城河）
- TensorRT 18 年迭代，TensorRT-LLM 13 个月内迭代 30+ 版本
- vLLM CI 数据：AMD ROCm 在 vLLM 测试通过率 2025-11 是 37%，2026-01 提升至 93%
- Batch size 1-4（低延迟）H100 + TRT-LLM 比 MI300X + vLLM 高 20-30% 吞吐
4.3 模型生态（高护城河）
HuggingFace 默认 NVIDIA、所有头部开源模型首发优化在 NVIDIA。
4.4 客户惯性 + 安装基数（高护城河）
全球已部署 5M+ Hopper、1M+ Blackwell GPU。切换成本：年百万美金推理负载迁移到 ROCm 通常 6-12 个月、性能损失 10-30%。
4.5 供应链优势（中等护城河）
TSMC 4N/3nm 优先产能、HBM3E/HBM4 SK Hynix 与 Samsung 双供、CoWoS 占用全球 70%+ 产能。
5. NVIDIA vs AMD 推理性价比真实对比
| 指标 | H100 SXM | MI300X | B200 | MI355X |
|---|---|---|---|---|
| 显存 | 80 GB HBM3 | 192 GB HBM3 | 192 GB HBM3E | 288 GB HBM3E |
| FP8 算力 | 4 PFLOPS | 5.2 PFLOPS | 9 PFLOPS | ~9 PFLOPS |
| FP4 算力 | N/A | N/A | 18 PFLOPS | ~18 PFLOPS |
| 整机价 | $30-40k | $15-20k | $35-45k | $25-30k |
| 软件栈 | CUDA + TRT-LLM | ROCm + vLLM | CUDA + TRT-LLM | ROCm + vLLM |
| Batch 1-4 每 token 成本 | 基准 1.0x | 0.85-0.95x | 0.5x | 0.45-0.55x |
| Batch 64+ 每 token 成本 | 基准 1.0x | 0.65-0.75x | 0.5x | 0.35-0.45x |
| Tokens / megawatt | 基准 | 1.5x | 2.5x | 3x |
结论： - TensorWave 2026 实测：MI355X 在 vLLM 工作负载上 TCO 持续优于 NVIDIA 同级 GPU - AMD 30-40% 每 token 成本优势可抵消 10% 延迟劣势 - 但 NVIDIA 在 "Batch 1-4 低延迟 + 多模型 + 复杂调度" 场景仍领先 20-30%
6. NVIDIA vs 推理专用芯片
Groq LPU
- Llama 2 70B 跑 300 tokens/s，比 H100 单卡 10x
- 2025-12 NVIDIA $20B 收购 Groq（2.9x 估值溢价），整合到 LPX 机架（2026-03 发布）
Cerebras WSE-3
- 整片晶圆，Llama 3.1-405B 跑 1,000+ tokens/s
- 2026-04 OpenAI $20B 采购 Cerebras——首个超大客户外购
7. NVIDIA 应对 ASIC 威胁四大策略
策略 1：年度迭代节奏
H100（2022）→ H200（2024）→ B100/B200（2024）→ B300（2025 Q4）→ Rubin R100（2026 H2）→ Rubin Ultra NVL576（2027 H2）→ Feynman（2028）
策略 2：吸纳 ASIC 玩家进生态
- 2025-12 收购 Groq（$20B）并整合 LPX 机架
- 与 Broadcom 合作"NVIDIA 定制 GPU"产品线（NVL Custom Silicon）
策略 3：纵向整合 + 软件锁定
- Run:ai 收购（GPU 调度）
- DGX Cloud 跨 Microsoft/Google/AWS/Oracle
- NIM 标准化推理部署
策略 4：进军全栈 AI 工厂
DGX SuperPOD + NVL72/576 + Spectrum-X 网络 + BlueField DPU + Mission Control 软件
8. 大客户"双轨"策略真实数据
| 客户 | 2025 NVIDIA 采购（$） | 自研芯片 | NVIDIA 占其 AI 算力 | 2027 趋势 |
|---|---|---|---|---|
| Microsoft | $50B+/年 | Maia 100/200 | 60-70% | 降至 50-60% |
| $5-10B/年（少） | TPU v7 Ironwood，2026 出货 4.3M 片 | 10-15% | 降至 5-10% | |
| AWS | $20B+/年 | Trainium 3 UltraClusters | 50-60% | 降至 40-50% |
| Meta | $40B+/年 | MTIA 300/400/v3（TSMC N3，2026） | 60-70% | 降至 50-60% |
| OpenAI | 接近 100% | Titan / Broadcom（2026 H2 出 10 GW） | 100% → 50% | 长期 50% |
关键发现： - 超大客户 ASIC 总产能 2026 增 44.6%，对比 GPU 16.1%——拐点已现 - Bernstein/MS 估算 2030 自研 ASIC 占推理工作负载达 40-45% - 但绝对量上：超大客户继续追加 NVIDIA 订单——"双轨" ≠ "替代"
9. 中国市场（华为 Ascend）冲击
现状（2026-04）
- Bernstein 估算：NVIDIA 中国 AI 芯片份额 2024 = 66% → 2025 = 54% → 2026 = 8%
- H20 在 2025 也被新一轮限制
- 华为 Ascend 910C 2026 产量目标 600k 片
- Ascend 910C 推理性能 = H100 的 ~60%；BF16 = B200 的 1/3
- Ascend 950PR（2026-03 发布）：FP4 算力是 H20 的 2.87x
- 2026-04 中国 AI 芯片市场：本土厂商占 41%
客户名单
DeepSeek、字节、阿里、百度、腾讯、华为云大量切换 Ascend。
影响
- NVIDIA 中国数据中心收入从 2024 的 ~25% 数据中心占比 → 2026 可能降至 5-10%
- CUDA 软件壁垒在中国正在被 MindSpore/CANN 复制，但生态仍弱
10. 三情景预测（2030 推理市场）
| 情景 | 全球推理市场规模 | NVIDIA 份额 | AMD | 超大客户 ASIC | 中国本土 | 长尾 |
|---|---|---|---|---|---|---|
| 乐观 | $300B+ | 60-65% | 15% | 15% | 5% | 5% |
| 中性 | $250B | 45-50% | 15-20% | 20-25% | 100% 中国 | 5-10% |
| 悲观 | $200B | 30-35% | 20% | 30%+ | 中国全替代 | 10-15% |
ai-berkshire 中性判断： - NVIDIA 2030 推理份额 45-50%（数据中心）+ 70%+（边缘 / Jetson） - 绝对收入仍翻倍：从 2025 推理收入 ~$45B 增至 2030 ~$100-120B - 核心利润率会被压缩：毛利从当前 75% 降至 65-70% - 软件 + 服务收入占比从 5% 升至 15-20%
11. 投资含义（巴菲特视角）
护城河深度排名：软件生态 > 客户惯性 > 模型生态 > 硬件性能 > 供应链。软件栈是 NVIDIA 估值的真正基石——硬件性能领先 1-2 年，软件性能领先 3-5 年。
风险点： 1. 超大客户 ASIC 在 2027-2028 集中放量 2. AMD MI400 系列若把 ROCm/vLLM 推到 100% TRT-LLM 平价 3. 中国市场基本永久丢失 4. 价格弹性已显现：B200 折扣进入云客户合同
结论：NVIDIA 作为"AI 推理基础设施龙头"地位至少保至 2028-2029。Vera Rubin / Rubin Ultra 是关键观察点——若 2027 H2 Rubin Ultra 准时落地且性能符合预期，护城河可再延 3 年。
ai-berkshire NVIDIA 推理护城河专员 | 报告完