11月13日晚,英伟达在国际超算大会上推出新一代GPU,NVIDIA HGX H200。


对这块GPU,黄仁勋给的学术名称是“新一代AI计算平台”,专为大模型与生成式AI而设计,翻译一下:只看算力H200和H100基本相同,但为了加速AI推理速度,我们优化了显存和带宽。



又一块史上最强芯片


先看具体的参数升级,官方新闻稿是说相比H100而言性能提升了60%-90%,具体来看则是四个方面:


1. 跑70B Llama2,推理速度比H100快90%;


2. 跑175B GPT-3,推理速度比H100快60%;


3. 显存容量达到141GB,是H100的近1.8倍;


4. 带宽达到4.8TB,是H100的1.4倍。


换句话说,虽然算力没有提升,但更高速的推理就意味着大量时间和金钱成本的节约,虽然还没有公布定价,新卡的“单美元效率”有了显著的提升。


虽然当下H200的具体架构还没有曝光,根据已有信息我们推测,最重要的三个部分中,逻辑芯片应该还是台积电的4N工艺,CoWoS封装也没有变化,但HBM存储芯片却由原先的HBM3升级到了HBM3e。


H100拆机图


原先的6颗HBM3芯片由SK海力士独供,内存带宽为3.35TB/s,内存为80GB,而全球首款搭载HBM3e内存的H200,内存带宽达到4.8TB/s,内存达到141GB。


141GB内存这个数字还挺奇怪,但这也是惯例。之前的HBM3芯片单颗内存为16GB,堆叠6颗理论上应该是96GB,但实际只有80GB,就是英伟达为了保证良率,保留了一部分冗余空间。


而这次的HBM3e单颗容量为24GB,6颗算下来是144GB,等于说这次英伟达只保留了3GB冗余,更大程度压榨了内存的空间,以实现性能上的突破。


这或许带来产能爬坡速度较慢的问题。


至于供应商方面,英伟达暂时没有公布,SK海力士和美光今年都公布了这一技术,但美光在今年9月份表示,它正在努力成为英伟达的供应商,不知道H200有没有选上它。


这块最强GPU要到2024年二季度才正式发售,现在大家依然得抢H100。


今年8月英伟达发布的GH200超级芯片,实际上是由Grace CPU与H100 GPU组合而成的。


这套组合在NVLink的加持下与H200完全兼容,也就是说原先用H100的数据中心既可以直接升级H200,也可以再堆几块H200进去增加算力。


另一方面,根据此前英伟达公布的更新路径图,在2024年的四季度就将发布下一代Blackwell架构的B100,性能将再次突破。



再结合我们上文提到的,相比于H100,H200只是在推理能力上有所提升,更接近老黄一贯以来的挤牙膏产品,真正的大招还得看明年的B100。


问题是,英伟达为什么要出一款这样的产品?


H200称不上传奇


显卡玩家都知道,老黄的刀法是出了名的精湛。


所谓刀工,就是你去买肉的时候说要一斤肉,老板一刀下去刚好一斤。放到显卡这里,则是厂商通过分割性能设计出不同价位的产品,以满足各类不同需求的消费者。


比如下图所示的五款同一年发售的显卡,采用相同制程和架构,但通过屏蔽不同量的流处理器以诞生性能有所差异的五款显卡。



发售价基本呈等差数列,如果把他们变成性能差异的话,则会出现下面这张层层递进的得分图。


很明显,消费者多花一分钱,就能多得到一点性能,号称“每500元一档,每5%性能一级”。


毕竟打游戏这事,有人只玩热血传奇,也有人就喜欢4K光追120FPS玩《赛博朋克2077》,不同人群的需求千差万别,不同价位都有市场。


图片来源:极客湾


至于这么操作有什么好处——抢占市场,节约成本。


抢占市场比较好理解,在所有价格带和各种性能档次上铺满自家产品以挤压对手生存空间,这套做法各行各业都有,看看白酒和车企就知道了。


成本这边,一片晶圆能够切割出若干块“die”(也就是芯片封装前的晶粒),而这切割出来的die质量参差不齐,也就有了良品率的概念。


因此简单来说,以16xx系显卡为例,英伟达就会把质量最高的芯片做成性能最强的1660Ti,差一点的做成1660Super和1660,再差一点的继续降级。


这样就能够保证在芯片制造过程中的损耗尽可能降低。


同时这种刀法还能用来清库存,比如22年矿机市场崩盘,英伟达30xx系列芯片堆在仓库里卖不动,老黄就把用在高端显卡上的芯片放进低端显卡系列里,降价出售。


比如说原先放在3090上的ga102核心,22年3月首发价11999元,到了11月就搭载到新版的3070Ti V2上,价格直接打到了3500左右。


回到H200这里,H100已经是最强的AI芯片了,但英伟达就是要在B100和H100之间再切出一个H200,同样也是上述的两个原因。


这里需要科普一下内存带宽的意义,一套服务器的真实计算速度(FLOPs/s),是在“计算密度x带宽”与“峰值计算速度”这两个指标间取最小值。


而计算密度和带宽的上限都是受到内存技术影响的。(这里划个线,后面讨论中国特供H20还会提到。)


通俗来说,就是如果芯片内部计算已经结束,但新的数据没传过来,下一次计算也就不能开始,这部分算力实际上是被浪费的。


这也是为什么我们看到一些服务器的算力(FLOPs)相对较低,但计算速度却更高的原因。


因此对于一款高性能芯片来说,算力和带宽应当同步提升才能使计算速度最大化。


对于H系列GPU来说,在不改架构和所用制程的情况下,可能算力上的突破已经比较困难,但在HBM3e的加持下,内存和内存带宽得以继续提升。


另一方面,相较于此前训练大模型所强调的庞大算力,在当下AI应用大量落地的时代厂商开始重视推理速度。


推理速度和计算速度可以划上约等号,即是将用户输入的数据,通过训练好的大模型,再输出给用户有价值的信息的过程,也就是你等ChatGPT回复你的那段时间。


推理速度越快,回复速度越快,用户体验自然越好,但对于AI应用而言,不同难度等级的推理所需要的运算量天差地别。


打个比方,假设现在有一款和GPT-4同样强大的模型,但问他附近有什么好吃的足足花一分钟才能给出答案,但GPT-4只要一秒,这就是推理速度带来的差异。


这种推理速度上的差异延伸到应用生态上,则会影响应用的广度与深度,比如即时性要求更强的AI就必须拥有更高的带宽,最典型的案例就是自动驾驶技术。


在这一逻辑下,头部大厂自然会愿意为更高的内存买单。


而成本这一块,英伟达就更鸡贼了,咱们来看看中国特供版GPU:H20。


深厚刀工下的产物:H20


日前有消息称,英伟达现已开发出针对中国区的最新改良版系列芯片:HGX H20、L20 PCle和L2 PCle,知情人士称,最新三款芯片是由H100改良而来,预计会在16号正式公布。


这有三款芯片,但L20和L2是基于Intel的第三代平台,这里暂且不表,重点是采用H100/H800架构的H20。


H20的诞生背景这里就不再赘述,单看这名字,足足落后H200十倍,拜登看了直点头。


先看参数,H20在内存上用的还是H100相同的HBM3,6个16G堆叠完完整整96GB,完全没有任何留存部分,意味着该技术良率早已不是问题,明显的成熟制程。


但为了规避禁令限制,计算密度(下图中的TPP/Die size)被大幅阉割,根据上文所述,计算速度也就是推理速度差了不止一星半点。



然后再看这张表,计算能力的核心参数FP32为44TFLOPS,相较于H100/200并没有下降多少。


但在张量核心(Tensor Core)的部分则是大砍特砍,BF16、TF32都被砍到只剩一个零头。



简单来说就是生成比GPT-3更高级的大模型所必备的,专为深度学习而设计的计算核心,张量核心被砍,基本意味着这块GPU当下训练不出比GPT-3更高级的模型。


张量核心被砍,同样意味着生产这卡可以用成熟制程,品相差一点的晶粒,也就意味着更低的成本。


想想这是不是和显卡玩法差不多?


看到这里感觉就是个全面阉割版,用国产替代不行吗?


老黄刀法厉害就厉害在这:4.0TB的内存带宽比H100还高,卡间、服务器间带宽NVlink速度900GB/s和H100持平。


也就是说,即便禁令影响不能出售高端GPU,但中国客户可以多买几张堆一起,用来弥补单卡算力不足的问题,粗略算算2.5张H20可以等效于一张A100。


NVlink再加上CUDA生态,再算上成熟制程带来的低成本优势,即便国内厂商不得不给英伟达缴更多的“税”,H20依旧是国内厂商最好的选择。


还是那句话,老黄这么多年积淀下的刀功确实能给蚊子腿做手术,这一刀下来,既规避了禁令限制,又让国内厂商继续买他们家的产品。


英伟达又赢麻了。


参考材料:

[1] 英伟达计划碾压竞争对手 – B100、“X100”、H200、224G SerDes、OCS、CPO、PCIe 7.0、HBM3E,semianalysis

[2] Nvidia upgrades flagship chip to handle bigger AI systems,reuters

[3] 深度学习模型大小与模型推理速度的探讨,知乎


本文来自微信公众号:新硅NewGeek(ID:gh_b2beba60958f),作者:张泽一,编辑:戴老板,视觉设计:疏睿