在AI推理大爆炸的新阶段，GPU 仍然稀缺和紧张，但是装得下数据、跑得快数据的内存才会是新的主角。

今天接着上篇，详细讲讲HBM，当前，HBM热度持续爆炸，而同时，众多为缓解HBM紧张的分层缓解方案和TPU等架构级替代尝试也在路上。

而市场对于存储最核心的关切是：存储到底是周期性产业，还是AI基础设施？

如果是前者，每个人都在等着鼓声停止，如果是后者，那将是完全不同的未来图景。这或许不是判断题，而是一道复杂的数学题，本文将从逻辑与事实的角度来试图剖析。

一、推理为什么让内存成为主角？
大模型推理时，每生成一个 token 要做三件事：

把整个模型的所有参数从内存读一遍，送到计算核心；

把这个 token 之前所有 token 的中间状态（叫 KV Cache）也读一遍；
然后做矩阵乘法，算出下一个 token。
第三步是计算，前两步是搬运。

搬运的总耗时通常超过计算的总耗时

这个事实几乎适用于所有 100 亿参数以上的模型。

一个 700 亿参数的开源模型（Llama 3 70B），FP16 精度下模型权重约 140 GB。生成每个 token，都要把这 140 GB 从 HBM 读到 GPU 计算核心。要保证流畅生成 token——比如每秒 30 个，HBM 到计算核心之间的带宽必须能支撑每秒约 4.2 TB 的搬运量。这就是为什么 H100 SXM5 的 HBM 带宽设在 3.35 TB/s——低于这个数字，70B 模型推理就开始卡。

带宽是一回事，容量是另一回事。如果一个模型的总参数量超过单 GPU 的 HBM 容量，就必须把模型切成多份分散到多个 GPU 上跑，这叫张量并行。但模型一切，原本一次能算完的事变成多次，GPU 之间需要相互通信传中间结果——通信开销是新的瓶颈。

所以容量和带宽都重要，但侧重不同。

容量决定：模型能不能装在单卡上？要不要切分？切了之后通信开销有多大？

带宽决定：装下了之后，吐出 token 的速度有多快？延迟有多低？

在应对推理的需求上，NVIDIA和AMD走上了不同的路：

NVIDIA 最新旗舰 Rubin R200，单 GPU 配 288 GB HBM4，内存带宽 22 TB/s；
AMD 下一代 MI455X，单 GPU 配 432 GB HBM4，内存带宽 19.6 TB/s。

AMD 容量多 50%，带宽反而少 11%。
NVIDIA 押带宽——把数据搬运得更快。
AMD 押容量——让模型本体不必拆开放。

两家的目标客户群侧重不同：AMD 瞄准要跑 405B、671B 这种超大模型的开源派；NVIDIA 瞄准要做高并发低延迟商用推理的 SaaS 派。

而最近在走IPO的新玩家Cerebras WSE-3，单芯片只有 44 GB 片上 SRAM，但内存带宽高达 21 PB/s——是 NVIDIA Rubin 的 950 倍。容量小 7 倍换来带宽多三个数量级。Cerebras 的判断和 NVIDIA、AMD 又不一样。
2、推理让两个瓶颈同时变得更紧张

这是本人《AI投资地图》第12篇，全文历数数天，历经N稿，各种删减，仍有1.8万字，建议先转发收藏。推荐将本号“设为星标”。

直接前往公众号看，这边排版是灾难

《HBM全景研报：从训练到推理，主角不再是GPU》
https://t.co/ItzxolLVXA