《看懂英伟达》系列 · 第 03 篇 · 训练与推理 阅读时间约 12 分钟
一个正在发生的结构性变化
你买英伟达，大概率是因为"AI 算力需求爆炸"。但"AI 算力"不是一个整体——它正在分裂成两个规则完全不同的战场，而英伟达在这两个战场的处境，截然相反。
| 维度 | 训练 | 推理 |
|---|---|---|
| 干什么 | 教 AI 模型"学会"能力 | 让训练好的模型"干活"回答问题 |
| 核心指标 | 单次训练时间 + 可靠性 | 每美元产出多少 token、延迟多低 |
| 客户类型 | 全球约 30 家前沿实验室 + 主权 AI | 数千家 SaaS 公司、企业 |
| 价格敏感度 | 低（1% 性能值数亿美元） | 极高（直接算 token 成本） |
| 互联需求 | 万卡 NVLink + InfiniBand | 单卡到 8 卡，小集群即可 |
| 精度需求 | FP16 / FP8 / BF16 | INT8 / INT4 / FP4（越低越省钱） |
简单说：训练买"性能极致"，推理买"性价比"。
而推理市场正在快速超过训练市场：
| 年份 | AI 加速器总市场（估） | 推理占比 | 推理/训练 |
|---|---|---|---|
| 2023 | ~$1,000 亿 | 33% | 0.5 倍 |
| 2025 | ~$2,100 亿 | 50% | 1 倍 |
| 2026 | ~$2,500-2,800 亿 | 67% | 2 倍 |
| 2030（估） | ~$6,000-10,000 亿 | 65-80% | 2-4 倍 |
数据来源：Deloitte TMT 预测 2026、MarketsandMarkets、Gartner
2026 年是拐点——推理算力首次占到 AI 总算力的 2/3。这意味着 AI 芯片市场的重心正在从英伟达最强的领域（训练），转向英伟达相对最弱的领域（推理）。
训练战场：英伟达仍是唯一选项——但不会永远
为什么训练端难以撼动
训练前沿大模型（GPT-5、Claude 4、Gemini 3 级别）需要数万块 GPU 连续运行数月。在这个场景下，英伟达有两个别人做不到的事：
1. NVLink / NVSwitch 全互连
英伟达的 GB200 NVL72 可以把 72 块 GPU 全部互连，带宽 1.8 TB/s——相当于一台超级计算机。竞品的互连带宽只有英伟达的 1/2 到 1/6。
训练大模型时，GPU 之间需要不断交换数据（all-reduce 通信）。互连越快，训练越高效。在 10 万卡级训练集群中，NCCL + NVLink + InfiniBand 三件套是英伟达的最硬护城河。
2. 系统级可靠性
训练一次前沿模型可能花费数千万美元。如果训练到第 80 天因为硬件或软件故障崩溃，就要从头来——或者至少回退到最近的检查点。
英伟达在大集群训练的故障检测、自动恢复方面积累了多年经验。Meta 的学术论文显示，10 万卡级训练的故障检测 + 恢复需要 3 分钟级响应。目前没有一起公开的前沿大模型训练失败被归因于"非 CUDA 栈缺陷"。
唯一的例外：Google
Google 是全球唯一已证明可以完全不用英伟达 GPU 训练前沿大模型的公司。
Gemini 3 完全在 TPU 上训练——没有使用任何英伟达 GPU。TPU Ironwood（v7）的集群规模达到 9,216 芯片/Pod，用 3D torus 拓扑实现全互连，集群总算力 42.5 ExaFLOPS。
但 Google 之外——OpenAI、Anthropic、Meta、xAI——在训练端仍深度依赖英伟达。
反方观点：AWS 的 Trainium2 已在 Project Rainier 中部署近 50 万颗，Anthropic 在用它训练模型。虽然目前还没有公开证据表明 Trainium2 能训练 GPT-5 级别的最前沿模型，但差距正在缩小。2027 年的 Trainium3 可能成为训练端的第二个替代选项。
训练份额展望
| 时间 | 英伟达训练份额 | 最大挑战者 |
|---|---|---|
| 2026 | >90% | Google TPU |
| 2029（估） | 70-80% | TPU + Trainium3 |
| 2031（估） | 55-65% | 多家 ASIC |
推理战场：英伟达最脆弱的地方
为什么推理市场更容易被撕开
训练市场是"赢家通吃"——你必须有最强的芯片和最大的集群。推理市场是"百花齐放"——不同场景需要不同方案。
| 推理场景 | 核心需求 | 最佳方案 |
|---|---|---|
| 交互式对话（ChatGPT） | 低延迟（<100ms） | 英伟达 TensorRT-LLM 或 Groq LPU |
| 批量处理（文档总结） | 高吞吐、低成本 | AMD MI355X、DeepInfra |
| 推荐系统（Meta 广告排序） | 超大规模、低功耗 | Meta MTIA |
| 云端 API 服务 | 灵活调度 | AWS Trainium / Google TPU |
| 边缘设备 | 功耗极低 | 专用 ASIC |
推理市场天然更分散、更价格敏感。 英伟达的"一款 GPU 打天下"策略在推理端面临更大挑战。
推理端的三股挑战力量
力量 1：超大客户自研芯片
4 大云厂商全部有自研推理芯片，且已进入规模化部署阶段：
| 客户 | 自研芯片 | 推理定位 | 部署规模（2026） |
|---|---|---|---|
| AWS | Trainium2 / Inferentia2 | 通用推理 | 50-100 万颗 |
| TPU Ironwood | 推理 + 训练 | 40 万颗合同（Anthropic） | |
| 微软 | Maia 200 | 纯推理（服务 GPT-5.2） | 已在 Iowa 部署 |
| Meta | MTIA 300-500 | 推荐排序推理 | 数十万颗 |
数据来源：各公司官方公告、Bloomberg 2026-04-06
关键细节：Google 的 TPU 正在从"自用"变成"外售"。2026 年，Anthropic 签下了 $500 亿+ 的 TPU 采购合同（通过 Broadcom 直购），Meta 也在租赁 Google TPU。这意味着 TPU 从内部成本中心变成了对外销售的商品——直接和英伟达抢客户。
力量 2：AMD 性价比攻势
AMD 的 MI355X（2026 年下半年）在大批量推理场景下，TCO（总拥有成本）已经持续优于英伟达同级产品：
- Batch 64+ 大批量推理：每 token 成本比 B200 低 35-45%
- vLLM 框架兼容性：CI 通过率从 2025 年 11 月的 37% 提升至 2026 年 1 月的 93%
- 288GB 大显存在长上下文推理场景有天然优势
数据来源：TensorWave 实测（2026）
AMD 的软肋：低延迟推理（Batch 1-4）仍落后英伟达 20-30%，且长尾客户难以触达（ROCm 生态仍弱）。
力量 3：推理专用芯片
| 公司 | 产品 | 推理性能 | 成本 | 最新动态 |
|---|---|---|---|---|
| Groq | LPU | Llama 70B 300 tokens/s（H100 的 10 倍） | $0.64/百万 tokens | 2025 年 12 月被英伟达 $200 亿收购 |
| Cerebras | WSE-3 | Llama 405B >1,000 tokens/s | $0.60/百万 tokens | 2026 年 4 月 OpenAI $200 亿订单 |
数据来源：GoPenAI 2025 基准测试、公开报道
英伟达收购 Groq 是一步防御棋——消除了低延迟推理市场最大的威胁，同时整合到自己的产品线中。但 Cerebras 拿到 OpenAI 大单，说明推理专用芯片已经"破圈"——不再是实验室产品，而是真金白银的大规模部署。
一个被忽视的变量：test-time compute
推理市场有一个对英伟达有利的变量——test-time compute scaling。
以 Claude 的"思考模式"和 OpenAI 的 o1/o3 为例：每次推理不再是简单的"输入→输出"，而是模型在回答之前进行大量内部计算。这使得单次推理的算力需求增加 10-100 倍。
如果 AI 应用越来越多地使用"深度思考"模式，推理端的算力需求将比市场预期更大——这是英伟达推理业务的最大增长驱动力。
反方观点：算法效率也在快速提升。DeepSeek V3 用 $560 万训练出了接近 GPT-4 水平的模型，训练成本是 GPT-4 的 1/20。如果推理端也出现类似的效率革命，"算力需求无限增长"的假设就会被打破。
英伟达的推理产品线——它在怎么应对
英伟达不是坐以待毙。它的推理产品线正在快速迭代：
| 产品 | 显存 | 推理算力 | 价格（估） | 发布时间 |
|---|---|---|---|---|
| H200 | 141 GB HBM3e | — | $35-45K | 已发售 |
| B200 | 192 GB HBM3e | FP4 18 PFLOPS | $35-45K | 已发售 |
| GB200 NVL72 | 13.5 TB（系统级） | FP4 1.4 EFLOPS | $300-350 万/机柜 | 已发售 |
| B300 / Blackwell Ultra | 288 GB | FP8 ~12 PFLOPS | $45-50K | 2025 Q4 |
| Rubin (R100) | HBM4 | ~50 PFLOPS | 待定 | 2026 下半年 |
| Rubin Ultra NVL576 | 365 TB/机柜 | FP4 15 EFLOPS | 待定 | 2027 下半年 |
关键看点：Rubin Ultra NVL576 是 576 块 GPU 全互连的超级系统，算力是 GB200 NVL72 的 14 倍（FP4 15 EFLOPS vs 1.4 EFLOPS）。如果按期交付且性能达标，英伟达的推理护城河可以再延长 3 年。
同时在软件端：TensorRT-LLM → NIM 容器化，让同一块 GPU 的有效推理性能提升 2-3 倍。这是英伟达"用软件补硬件"的策略——即使硬件被追近，软件优化仍能保持 TCO 领先。
推理份额展望：从 75% 到 50%
综合以上分析，英伟达推理份额的演化路径大致如下：
| 时间 | 推理份额 | 绝对推理收入（估） | 驱动因素 |
|---|---|---|---|
| 2024 | ~90% | ~$300 亿 | GPU 独占 |
| 2026 | 65-75% | ~$450 亿 | 自研 ASIC 开始规模部署 |
| 2028（估） | 40-50% | ~$600-800 亿 | Maia/MTIA/Trainium 规模化 |
| 2030（估） | 45-55% | ~$1,000-1,200 亿 | 市场扩大抵消份额下降 |
核心判断：份额下降是确定的，但绝对收入仍在增长。 因为推理市场的总盘子在快速扩大——从 2024 年约 $300 亿扩张到 2030 年可能 $2,000 亿+。
对估值的影响不在份额，而在毛利率。推理市场更价格敏感，英伟达需要更多地靠"量"而非"价"来增长。毛利率从 75% 降至 65-70% 是大概率事件。
本篇结论
| 判断 | 结论 |
|---|---|
| 训练端安全吗？ | 2-3 年内安全（>80% 份额），但 Google TPU 和 Trainium3 正在逼近 |
| 推理端怎么样？ | 正在被三股力量侵蚀（自研 ASIC + AMD + 专用芯片），份额将从 75% 降至 50% |
| 绝对收入会跌吗？ | 大概率不会——市场扩张速度 > 份额下降速度 |
| 什么会跌？ | 毛利率。从 75% 降至 65-70% 是结构性趋势 |
| 关键时间节点？ | 2027 年下半年——Rubin Ultra 交付 + OpenAI Titan 量产，是护城河的验证窗口 |
下期预告
下一篇是整个系列最尖锐的一篇——四面楚歌：竞争与威胁。
英伟达面对的不是一个对手，而是一整个"反英伟达联盟"：Google TPU 外售、AWS 百万颗 Trainium、微软 Maia、Meta MTIA、博通帮所有人造芯片、华为在中国市场蚕食。
要回答的问题：
- 四大客户自研芯片到底走到了哪一步？
- 博通为什么是比 AMD 更危险的威胁？
- AI 编程工具 + 开源编译器 = CUDA 护城河的终结？
- 中国市场是"已消化的损失"还是"永久失去的增量"？
本文是《看懂英伟达》系列第 03 篇。 本系列不构成任何投资建议。