AMD 能打败 NVIDIA 吗？第二部分：Vera Rubin 的 HBM4 引脚速度降级 尤卡

network

AMD 能打败 NVIDIA 吗？第二部分：Vera Rubin 的 HBM4 引脚速度降级
尤卡

@jukan05
·
10月26日
圣烟

NVIDIA 已正式降低 HBM4 引脚速度。

11.7 -> 9.3Gbps
随着 NVIDIA 降低了 Vera Rubin 的官方规格，AMD 现在在内存带宽方面领先，而 Rubin 在 1 月份的发布会上曾领先于这一领域。
所以，我们再次这样问：
AMD能打败NVIDIA吗？
达姆南
@damnang2
·
4月17日
AMD能打败NVIDIA吗？
AMD能打败NVIDIA吗？
这是我身边的人一直在问的问题。
OpenAI 宣布达成 6GW 交易的当天，“AMD 终于赶上 NVIDIA”的标题铺天盖地而来。
Meta交易破裂的那天……
4 月 17 日，我写了一篇文章，标题就是这个问题。在那篇文章中，我把这个问题分成了三个部分，并分别进行了分析。
人工智能基础设施需求增长速度是否超过了英伟达单凭自身能力所能提供的水平？
是否有足够多的大客户刻意想要避开英伟达？
AMD能否避免在2026年下半年至2027年期间出现执行上的挫折
现在我们进入了下半年，AMD 开始大规模生产 Helios 机架。
Damnang 的观点
正如我上一篇文章的读者所知，当我谈到AMD超越NVIDIA时，我指的并非AMD在市场份额上超越NVIDIA成为第一，而是AMD能否创造条件，按照自己的方式参与竞争，从而实现有意义的增长。
本文旨在基于 Meta 和 AMD 联合发表的论文“再次分析 AMD 的竞争力”。面向硬件多样性的架构设计”于 10 月份发表在 arXiv 上。
在本文中，Meta 报告了来自客户数据中心的数据，展示了在数万个 MI350X GPU 上训练生产推荐模型时遇到的速度、故障和软件问题，并将其与 B200 进行了比较。
在本文中，在以通俗易懂的方式解释了这篇论文之后，我进一步比较了最近规格发生变化的 MI455X 和 Rubin，包括价格和功耗，然后分析了 AMD 到 2028 年将获得的市场份额以及已经反映在股价中的预期。
如果你阅读了这篇文章，并且也阅读了我对 AMD 将于 11 月 3 日发布的财报的分析，我相信你会更清楚地了解 NVIDIA 和 AMD 之间的竞争走向，以及从中可以得出哪些投资见解。
本文仅供参考，不构成任何股票买卖建议。文中提及的股票价格和市盈率均基于2026年10月23日的收盘价，估值则基于市场共识和公开资料。本人可能持有文中提及的股票，且持仓可能发生变化。投资决策及责任由读者自行承担。NFA/DYOR（自行研究）。
1. Meta 在 AMD GPU 上运行大规模训练
在训练过程中，数十到数百个 GPU 必须在每一步都对齐其结果，这使得训练过程变得复杂，因此即使硬件或软件出现轻微的不稳定，也可能导致整个训练工作停止。
因此，自 2024 年以来，Meta 一直优先使用 AMD GPU 进行推理，而不是进行训练。
Meta 和 AMD 的这篇论文指出，这是超大规模数据中心首次在 AMD GPU 上运行大规模训练的案例报告。
根据该论文，Meta 目前运营着数十万块 AMD GPU，并且按资源使用情况计算，其 60% 以上的生产型号已经与 AMD GPU 兼容。
换句话说，本文可以很好地说明 AMD 在大规模训练领域（NVIDIA 最强大的市场）的竞争力如何，以及这对 AMD 的收入和市场份额意味着什么。
在本文中，我将首先详细分析和理解这篇论文。
2. MI350X 的 HBM 容量是 B200 的 1.6 倍
上图是两个GPU结构的简化图。
MI350X 采用芯片组方法，制造多个小型芯片并将它们捆绑在一起，而不是使用一个大型芯片，并将 8 个计算芯片组 (XCD) 堆叠在一起，在 2 个 I/O 芯片上处理计算。
B200芯片并排连接两个大型计算芯片。两个GPU都在其旁边连接了8个HBM内存堆栈。MI350X采用12层HBM3E内存，由12个DRAM芯片堆叠而成；而B200采用8层HBM3E内存，由8个芯片堆叠而成。
笔记
2024年3月，NVIDIA发布B200显卡时，12层HBM3E显存尚未量产。SK海力士于2024年9月开始量产12层HBM3E显存，NVIDIA也从B300显卡开始采用12层HBM3E，以实现单GPU 288GB的显存容量。Meta所比较的B200显卡容量提升1.6倍的数据。
上图重新绘制了 Meta 论文的规格表，其比例为 MI350X ÷ B200。
在主要用于 AI 训练的 BF16 格式下，计算性能几乎相同，分别为 2,300 TFLOPS 和 2,250 TFLOPS。
两者的HBM带宽（即从HBM读取和写入数据的速度）均为每秒8TB。MI350X的HBM容量是B200的1.6倍，而B200在单个服务器内8个GPU交换数据的速度（横向扩展带宽）方面比MI350X快1.7倍。
根据 Meta 的服务器数据，MI350X 的功率为 1000W，B200 的功率为 750W。
根据该论文，B200 最初是一款功耗为 1000W 的芯片，但相对于其芯片面积而言，它产生的热量很多，因此 Meta 表示，为了应对风冷服务器中的热量，它将 B200 的功率上限降低到 750W。
3. 相同数量的GPU，同一批次：10个模型的平均值为101.2%。
本文中，Meta训练模型是名为DLRM（深度学习推荐模型）的推荐模型。这些模型决定在信息流中显示哪些帖子和广告，因此它们与Meta的收入直接相关。
该论文选取了10个生产模型，比较了MI350X和B200在相同GPU数量和相同批次大小下每秒训练的数据样本数量。模型大小从1亿到3.6万亿个参数不等。批次是指GPU一次训练所处理的数据集的大小。
如上图所示，MI350X 的速度达到 B200 的 82% 到 130%，具体取决于型号，10 款型号的平均速度为 101.2%。
本次对比中使用的GPU数量根据模型不同，从8个到128个不等。由于Meta公司75%的推荐模型训练任务使用64个或更少的GPU，99%使用128个或更少的GPU，因此本次对比涵盖了Meta公司推荐模型训练任务的大部分典型规模。
达姆南的笔记
然而，Meta 对比的 B200 是一款功率限制在 750W 的产品。与使用 1000W 全功率的普通 B200 相比，B200 的速度会更快，所以我预计 MI350X 的 101.2% 实际值会低于这个数值。
4. AI 将针对 AMD 平台优化 NVIDIA 优化内核的时间缩短至十分之一
NVIDIA 的优势之一在于其软件经过多年针对 NVIDIA GPU 的优化。由于 AI 训练代码是针对 NVIDIA 进行调优的，因此使用其他 GPU 需要花费时间和人力来迁移代码并重新进行优化。
Meta在论文中表示，通过使用人工智能代理，他们大幅降低了这项工作的成本，并且人工智能代理从根本上降低了从NVIDIA切换到AMD的成本。换句话说，MI350X能够达到与B200相近的性能，也可以看作是得益于这种软件改进。
那么 Meta 究竟改变了什么，又是如何改变的呢？
要理解整篇论文需要大量的工程知识，但在本文中，我将尝试用一个简单的例子来解释它。
原子操作就是一个典型的例子。
让我们来思考一下选举后的计票过程。
想象一下，一百万名计票员打电话给总部报告他们的计票结果。每个人都需要将自己的选票添加到同一个共享的计票板上。一次只能有一个人更新，所以其他人都必须等待。
在 B200 芯片组上，该数据板位于整个 GPU 共享的缓存中。可以把它想象成所有人在同一个办公室排队。每次更新都只在这个共享系统中进行，因此队伍可以快速移动。
MI350X 将其计算能力分布在八个芯片组上。可以把它们想象成八座独立的建筑物。当更新需要建筑物之间的协调时，信息必须通过芯片组之间的连接（称为 Infinity Fabric）传输。这种额外的通信会显著降低传输速度。
对于许多线程反复更新同一值的工作负载，这可能会造成较大的性能差距。然而，超过 10 倍的性能下降应该与特定的基准测试相关联，而不是作为普遍规律来看待。
为了解决这个问题，Meta 为 MI350X 创建了一种新的计算方法（内核）。
就像每个投票站先将自己的选票加起来，然后只向总部报告总数一样，Meta 改变了这一点，使得每个线程组（块）先在芯片内部计算总数，然后只将该总数添加到计票板一次（树减少）。
如上图所示，计数板上的新增数量从约 100 万减少到约 1000，内核运行速度提高了 4 倍以上。
该论文指出，在添加项不断累积的情况下，它的速度甚至比 B200 快 1.75 倍。
在 Meta 的实际完整训练代码中，有像这样的内核必须针对每个模型单独针对 MI350X 进行优化，因此手动逐个修复它们并不容易。
Meta在论文中表示，他们利用人工智能代理改进了这一流程。该代理运行内核来测量时间损耗点，选择合适的技术并修复代码，然后检查结果是否保持不变且速度确实有所提升，并自行重复此过程以进一步提高性能。
如上图所示，Meta表示，他们已将此方法应用于生产环境中的数十个内核，并使用该AI代理取得了超过80%的成功率。经代理修复的内核性能接近于真正的专家。
开发时间缩短至原来的十分之一左右。
随着人工智能的进步，NVIDIA 的 CUDA 生态系统已成为其强大的护城河。但讽刺的是，这道护城河如今正被先进的人工智能技术所瓦解。我认为 Meta 和 AMD 的这篇论文提供了一个意义重大的现实案例，表明 NVIDIA 的软件护城河并非无懈可击。将代码迁移到其他 GPU 的成本越低，客户就越有可能根据价格、显存容量和供货情况而非软件来选择 GPU。
在下文中，我将根据本文报道的内容，详细分析这两家公司之间的竞争未来可能的发展方向。
全文可在 Substack 上阅读。
请参考以下链接。
https://www.damnang.com/p/can-amd-beat-nvidia-part2-vera-rubins