英伟达详解 AI 内存全栈协同，HBM 容量只增 3% 吞吐量最高翻 30 倍
发布日期：2026-11-05
事件概述
11月5日，英伟达发了一篇博客讲 AI 内存的全栈协同设计。思路很直接：随着模型参数、上下文长度和 Agent 应用一起变大，内存成了比算力更早撞墙的那堵墙，所以要靠 GPU、CPU、网络、存储和软件一起想办法。
具体手段包括：用 NVFP4 压缩模型权重和 KVCache，通过 NVLink 分配模型权重，以及把暂时不活跃的上下文卸载到 CPU 内存或其他存储层级，从而减少 HBM 占用。
核心要点
- 官方口径的提升幅度：援引 SemiAnalysis 的 AgentX 测试：在 DeepSeek V4 Pro 这一工作负载下，Vera Rubin NVL72 相比 GB300 NVL72 每美元吞吐量最高提升 30 倍，而单颗 GPU 的 HBM 容量只增加了约 3%
- 这跟太空机房是同一道题：太空机房要把散热板和太阳翼摊进每公斤功率，地面机房要把 HBM 容量摊进每美元吞吐量——都是「算力涨得比搬运能力快」的同一个问题
- 同期还有 Pando Git 后端：OpenAI 称新 Git 后端把推代码的中位延迟压低近 5 倍，现在每天服务近 1 PB 的 Git 数据
行业意义
「HBM 容量只增 3%」这个数字本身就是信号：硬件层的红利见顶了，接下来所有的效率提升都要从软件、互连和调度里抠。这条逻辑搬到轨道上更极端——太空机房连「换个更快的存储」这个选项都没有，因为能带上去的每一克都要从散热板和太阳翼里省。
来源：每日经济新闻全球科技早参