AI进入推理时代，内存（HBM）和闪存（NAND）将会如何演进
发布日期：2026-09-11
过去十年，"内存墙"这个词几乎只跟训练绑在一起——模型越训越大，显存越来越不够。但 2026 年一个结构性的拐点出现了：推理正式成为算力消耗的主体。多家机构预测，推理与训练的算力比正从 1:1 走向 4~5:1；而推理模型（长思考、多步推理）普及后，单次查询吃掉的 token 又是训练时代的数倍。这一句话，把存储（HBM 和 NAND）的演进方向，从"拼命堆容量"推到了"聪明地分层"。
先把结论摆前面：训练时代拼的是"显存能不能装下整个模型"，推理时代拼的是"在带宽、容量、成本三件事之间怎么分层"。于是你会看到两条线同时演进——HBM 往上冲带宽和接口位宽，NAND 往下钻层数和密度，而中间还冒出一层新的"内存池"（CXL）。这不是三个孤立的故事，是一条为推理重新设计的内存金字塔。
这张金字塔是全文的骨架。下面分三块拆：HBM 怎么冲、NAND 怎么沉、以及中间那层 CXL 池是怎么把两者连起来的。
一、HBM：接口位宽翻倍、带宽翻倍，还开始"定制化"
HBM（高带宽内存）的本质，是把 DRAM 颗粒在封装里垂直堆叠，用硅通孔（TSV）直连 GPU。它解决的从来不是"容量"，而是"带宽"——因为 GPU 每算一个 token 都要把权重过一遍内存，这是典型的内存带宽受限。2026 年落地的 HBM4，是这一代产品最大的代际跃升。
| 代际 | 接口位宽 | 单栈带宽 | 单栈容量 | 状态（2026） |
|---|---|---|---|---|
| HBM3E | 1024 bit | 约 1.2 TB/s | 24 GB | Blackwell 主力，已规模部署 |
| HBM4 | 2048 bit | 2.0~3.3 TB/s | 36 GB（16层 48GB） | Vera Rubin 平台全量产（2026 下半年） |
| HBM4E（路线图） | 2048 bit | 2.5~3 TB/s | 48~64 GB | 2026-2027 窗口，Rubin Ultra 2027 下半年 |
数据来源：NVIDIA GTC 2026 与三家存储厂公开披露；HBM4E 为厂商路线图口径，尚未规模出货。三星 HBM4 速率 11.7 Gbps（最高可扩展至 13 Gbps）、12 层 36GB；SK 海力士 12 层 36GB 已于 2026 年 7 月启动面向英伟达的量产出货；美光 36GB 12 层于 2026 年 3 月进入高量产。
几个值得记住的点：
第一，位宽翻倍带来的不是小修小补。HBM4 把单栈接口从 1024 位拉到 2048 位（32 通道），单栈带宽从约 1.2 TB/s 跳到 2~3.3 TB/s。落到系统上，英伟达 Vera Rubin 单 GPU 挂 8 栈 HBM4 共 288 GB、聚合带宽约 22 TB/s，是上一代 Blackwell（8 TB/s）的 2.75 倍；一台 NVL72 机架的 HBM4 内存池达到 20.7 TB，较 GB200 的 HBM3E 提升约 54%。AMD 的 MI400 更夸张：单 GPU 12 栈、432 GB、约 19.6 TB/s。
第二，HBM 竞争正在从"比特密度"转向"近内存定制"。这是 2026 年最被低估的一条线。HBM4 开始把底部的逻辑 base die 从标准逻辑换成先进逻辑制程（三星用 4nm），并允许 hyperscaler 和 AI ASIC 厂商定制——SK 海力士演示了"stream DQ"架构、美光提供可选定制 base die、三星 2027 年出样品。含义是：HBM 正从"标准化内存"变成"半定制的近内存子系统"，谁能把 base die 做成可集成的层，谁就握住下一档溢价。
第三，HBM 贵且稀缺，决定了它不可能无限堆。三家的 Vera Rubin 供货份额，SK 海力士约 6~7 成、三星约 2.5~3 成、美光补足剩余；一颗 HBM4 从生产到交付要 4~6 个月，单颗消耗的晶圆面积约为普通 DDR5 的 3 倍。所以推理时代的第一性原理是：HBM 只放"热"的东西（激活权重 + 热 KV cache），其余必须往下层走。
二、NAND：往 400 层钻、往 QLC 密，从"硬盘"变成"模型仓库"
HBM 负责快，NAND 负责大。在训练时代，NAND 的角色很边缘——模型训完放磁盘，要跑再加载进显存。但推理时代，它的角色被重新定义：模型权重（几十到几百 GB）没必要常驻昂贵的 HBM，放在 NAND、按需加载才是常态；冷数据、检索语料、长尾 KV cache 更是天然该待在 NAND。
支撑这个角色的是两条技术线同时推进：
第一，3D NAND 朝 400+ 层、QLC 高密度演进。行业在 2024-2025 年普遍站上约 300 层，2026-2027 正迈向 400+ 层；QLC（每个单元存 4 比特）把容量密度较 TLC 翻倍。代表性产品已经出现——Solidigm 的 D5-P5336 做到了 61.44 TB 单盘。这意味着一台推理服务器可以把几十个完整模型版本、全部检索语料、历史 KV 快照都留在本地闪存里，而不是反复去远端拉。
第二，更前沿的是"计算存储"（Computational Storage）。传统架构里，数据要从 SSD 搬到主机内存、再搬到 GPU 才能算，总线带宽是瓶颈。计算存储把过滤、解压、索引、特征提取等预处理直接放到 SSD 控制器上完成，只把结果送 GPU。它对检索密集、预处理密集的推理尤其有用——不是替 GPU 算，是替 GPU 少搬几次。三星、Solidigm 等都在推进带板载处理能力的 AI SSD。这里要划清边界：重计算仍归 GPU，计算存储只承接"搬运前的最后一公里"。
| 维度 | 训练时代 | 推理时代 |
|---|---|---|
| NAND 角色 | 模型存档盘，跑时再加载 | 分层内存的冷层 + 模型仓库 + 检索语料 |
| 关键指标 | 顺序读写、容量 | 密度（400+层/QLC）、随机读、板载预处理 |
| 代表进展 | 300 层 TLC | 400+ 层、QLC 单盘 60TB+、计算存储 |
说明：NAND 层数与单盘容量为行业跟踪口径与厂商公开规格，不同厂牌（三星/SK海力士/美光/铠侠/西部数据）节奏不同，横比时需留意统计节点（量产 vs 样品）。
三、中间那层：CXL 把内存从"焊在主板"变成"机架里的池"
HBM 太贵、NAND 太慢，中间需要一个"温层"。这就是 2026 年真正开始规模落地的 CXL（Compute Express Link）内存池化。
CXL 3.0 跑在 PCIe 6.0 物理层上，最大变化是引入 Fabric 交换与多主机一致性——一个机架里的内存模块可以动态切分给任意服务器，工作负载结束再收回。这把内存利用率从典型的 20~30%（每台上都按峰值预留、大量闲置）拉到 60~80%。对推理最立竿见影的用途，是 把膨胀的 KV cache 卸载到 CXL 池化 DRAM 层。
为什么是 KV cache？大模型推理时，要为每一个活跃会话在内存里保留一份 key-value 缓存，它随上下文长度和并发会话数同步膨胀。GPU 的 HBM 太贵太稀缺，把"冷"和"增长中"的那部分 KV cache 放到 CXL 层，得到的是"近 DRAM 延迟、每 GB 成本低得多"——直接压低每次查询的推理成本，而推理成本才是企业部署后真正持续支付的账单。
产品侧已经就位：三星 CMM-D、美光 CZ120、SK 海力士的 CXL 模组已送样/量产；交换芯片 Astera Labs Leo、Marvell Structera、以及 CXL 接口芯片市占约 92% 的澜起 MXC 同步放量。换句话说，HBM（热）→ CXL 池化 DRAM（温）→ NAND/SSD（冷）的三层结构，在 2026 年第一次有了齐活的商用拼图。
结语
回到标题那两个问题。
内存（HBM）将怎么演进？带宽和接口位宽继续翻倍（HBM4 已 2048 位、单栈 2~3.3 TB/s，HBM4E 2027 年冲 48~64GB），但更关键的是 base die 定制化——HBM 正从标准化内存变成半定制的近内存子系统。它只会越来越贵、越来越稀缺，所以角色被严格限定在"热"。
闪存（NAND）将怎么演进？往 400+ 层、QLC 高密度钻，单盘冲破 60TB；更重要的是角色升级——从"模型存档盘"变成分层内存的冷层与模型仓库，并借"计算存储"在盘内做预处理，给 GPU 减负。
而把两者缝起来的，是中间那层 CXL 内存池。2026 年的真实答案不是"HBM 赢"或"NAND 赢"，而是：推理时代的内存金字塔，必须按"温度"分层——热在 HBM、温在 CXL 池、冷在 NAND。谁先把这三层打通、把 KV cache 管好，谁就握住了推理成本的下限。这，才是"内存墙"在推理时代真正的样子。
资料来源：NVIDIA GTC 2026 与 Vera Rubin 平台公开披露、三星/SK海力士/美光 HBM4 量产公告（2026 年 2 月-7 月）、《科创板日报》援引 The Bell 报道、CXL Consortium 规范与 2026 年厂商实测、Solidigm D5-P5336 产品规格、以及 2026 年公开媒体对 HBM4 / 3D NAND / CXL 内存池化的梳理。
本文为公开信息梳理与技术讨论，不构成任何投资建议。存储层数、单盘容量、带宽与份额等数字存在厂商口径与行业跟踪口径差异（量产 vs 样品、是否含嵌入层、不同测试配置），引用请以厂商原始文档为准。