英伟达的H100都去哪了？

network

英伟达的H100都去哪了？一共62万张云服务+科技巨头30万张（谷歌，甲骨文，亚马逊，微软）大科技公司17万张（特斯拉，Meta）云服务商13万张Pi 2万张






H100 的总销量约为 62 万左右。按约 $30k/GPU 计算，这相当于约 $18B 的预订。Nvidia 上个季度的数据中心收入（$14.5B）台积电今年有望向 Nvidia 交付 55 万台 H100昨天发的不够高清，重新发一下

network

最近花比较多的时间收听播客Acquired，所以了解了一下这个财经界第一播客的历史(苹果和Spotify上排名第一)。Acquired有两个主持人，都是风险投资人。播客2015年上线，整整做了将近8年。前面的几年很难熬。下面这张图是自创办以来每期播客的下载量，你可以看到起步平缓和漫长。难怪主持人说，如果这是他们的一个风险项目，两年内就会因为增长太慢而被毙了。现在，这个节目已经发展得影响如此之大，两人的身份从有玩播客的风险投资人，变成了有投资人身份的著名播客主。一个讲商业故事的播客为什么如此之火？主持人说，“失败者会找借口，成功者不断调整”。他们的节目是通过不断试错调整，形成了现在的特点。1，时长和频率。每个节目动辄三到四个小时，每个月只做一期。这破了惯例，一般播客节目以每周一次、每次时长1小时为宜。2，叙述方式。可以说是哈佛商学院案例+专业财经分析。不仅仅是讲述企业成长中重要的片段和冲突，而且会有很深入的从行业到运营基本面的分析。因而这个播客就不是从记者猎奇的角度来看问题，而更多带有投资人对公司严谨的尽职调查。3，因为从前期资料收集、研究分析、到现场录制的专业性，决定了每一期都不容易，需要花费大量的心血。为了深入了解一家公司，做一期节目前期准备平均花费100个小时。目前Acquired每月活跃听众45万以上，以商圈投资圈的精英听众为主。据说其广告收入每年保守估计在300万美元。这对一个小小的播客来说很不容易了。主持人从幸存者偏差角度来看，能坚持做这个事情有这么几个条件：- 选择非常感兴趣且可以大量学习的主题；- 享受磨练自身技艺所带来的内在奖励；- 享受产品受到好评得到的外在奖励。在庞大的创作者洪流中，把事情做到极致才能出头，别无他途。这一原理适用一切创意创作行业。
















下午8:56 · 2023年12月7日
·
5.1万
查看

network

We all know GPUs are a bottleneck in AI right now. Everyone is scrambling to get their hands on those precious NVIDIA H100s. But where are those chips really going to? Below is my best attempt to map this out.

Some interesting takeaways:
我们都知道gpu现在是人工智能的瓶颈。每个人都在争先恐后地得到那些珍贵的NVIDIA h100。但这些筹码到底去了哪里呢?下面是我最好的尝试。一些有趣的收获:-大约一半的芯片是超大规模的(微软，亚马逊，谷歌，甲骨文)- Meta是一个惊喜给我-他们在做什么他们的150k gpu ?——另一个有趣的细分是“其他云提供商”，如CoreWeave和Lambda。它们会继续从超大规模企业手中夺走市场份额吗?根据我的研究，Inflection AI是唯一一家试图建立自己的GPU集群的初创公司(如果我错了，请纠正我)。请注意，这里的信息是基于公开信息和第三方来源。这是有方向性的，不是100%准确的。然而，有一些数据点让我相信我们是在正确的范围内:—基于这张图表，h100的总量约为62万。按3万美元/GPU计算，这相当于180亿美元的订单。请注意，预订并不一定转化为确认收入。然而，根据英伟达上季度数据中心的收入(145亿美元)来看，这“感觉”是对的。——据《金融时报》报道，台积电今年将向英伟达交付55万台h100，这与下面的分析大致相符。如果你觉得这项研究有帮助，请点赞或分享!可根据要求提供幻灯片。
--  Around half of the chips are going to the hyperscalers (Microsoft, Amazon, Google, Oracle)
-- Meta was a surprise to me – what are they doing with their 150k GPUs?
-- Another interesting segment is the “other cloud providers” such as CoreWeave and Lambda. Will they continue to take share away from the hyperscalers?
-- From my research, Inflection AI is the only startup that’s trying to build out their own GPU cluster (please correct me if I’m wrong).

Note that the Information here is based on publicly available information and third-party sources. It’s meant to be directional and not 100% accurate. However, there are a few data point that gives me confidence we’re in the right ballpark:

-- Based on this chart, total volume of H100s is around ~620k. At ~$30k/GPU, this would equate to ~$18B of bookings. Note that bookings don’t necessarily translate to recognized revenue. However, based on Nvidia’s last quarter’s data center revenue ($14.5B), this “feels” about right.
-- According to the Financial Times, TSMC is on track to deliver 550k H100s to Nvidia this year, which corroborates roughly with the analysis below.

Please like or share if you found this research helpful! Slide available upon request.