本文来自微信公众号:硅基研习社 (ID:gh_8448ad119f2e),作者:何律衡,编辑:李墨天,题图来自:视觉中国


2020年5月,一年两度的英伟达GTC大会由于疫情原因无法举办,英伟达官方索性连线上直播都懒得走形式,发布会改为播放CEO黄仁勋在自家厨房拍摄的视频。


视频中,老黄从灶台里掏出了当晚的主角:基于7nm工艺的A100 GPU。


这颗芯片和今年3月发布的H100 GPU一起,成为了大炼AI的入场券,直接把英伟达送上了万亿美元市值。伴随单价25万人民币的H100 GPU供不应求,背后的另一个大赢家也慢慢浮出水面:韩国内存厂商。


A100和H100的显存模块并没有采用常用的DDR/GDDR内存,而是HBM内存。目前,能够稳定量产HBM的厂家,只有韩国的三星和SK海力士。


相比DDR/GDDR等路线,HBM大幅度提高了内存带宽,完美贴合了AI训练对数据传输效率近乎病态的追求。


所谓带宽,可以简单理解为内存读取/写入数据的效率,一般带宽越高,数据的吞吐能力就越强。英伟达针对美国禁令专门推出的特供版A800、H800 GPU中,主要缩水的部分就是带宽,只有原版GPU的3/4左右。


包括内存在内的存储芯片是当之无愧的“半导体石油”,市场规模长期占据整个半导体市场近三分之一。广义的存储包括内存、硬盘、闪存等门类。


不过由于产品高度标准化,每隔几年就要来一次价格战,上演大鱼吃小鱼的戏码。在市场规模较大的内存和闪存两个门类,经过多次价格周期,主流玩家已经所剩无几。



这两年原本是存储市场的冬天,DRAM和NAND芯片价格持续下探,SK海力士连续亏损两个季度,三星一季度净利润更是暴跌86.1%。原本大家都在节衣缩食过日子,但AI训练的热潮让原本不温不火的HBM内存逆势增长,成了全村的希望。


在消费电子时代大杀四方的韩国内存,似乎又成了AI时代的第一个赢家。


日本人先动的手


HBM内存的前身3D DRAM内存,诞生在韩国芯片产业的死对头日本。


2009年9月,日本存储大厂尔必达宣布,成功开发了业内首款3D DRAM。尔必达成立于世纪初日本半导体产业风雨飘摇的年代,由日立、NEC和三菱三家企业的存储部门组合而来,肩负着重振日本半导体产业的使命。


结果金融危机期间,由于需求萎缩叠加三星逆势扩产,尔必达积累了天量的亏损和债务,命悬一线。


作为公司掌舵者,坂本幸雄深知尔必达难以在大规模生产能力上战胜三星,于是选择与日本官方合作,加快鲜有厂商涉足的3D DRAM的研究,从技术上反攻韩国人。同一时期,东芝在技术路线上类似的闪存门类,成功量产了全球首款3D NAND闪存,无疑大大增强了尔必达的信心。


所谓3D DRAM/3D NAND,可以简单理解为将很多块DRAM/NAND芯片像盖房子一样垂直堆叠起来。东芝的第一块3D NAND就通过自研的BiCS技术,垂直堆叠了8块NAND芯片。


从2D DRAM到3D DRAM;图源:Business Korea


3D堆叠的优势在于,可以在不增加芯片面积的情况下,尽可能做大容量和带宽,而且不需要先进制程。另一个思路则是用更先进的工艺制程,可以做到同样的效果,但成本会大幅增加。这在成本决定输赢的存储领域,无异于饮鸩止渴。(具体原因涉及比较复杂的DRAM运行原理,可参见文末“注1”)



尔必达的另一个算盘在于,为当时方兴未艾的移动终端市场做准备,实现弯道超车:


作为iPhone的内存供应商,坂本幸雄深知智能手机、平板、超级本这类便携设备的市场潜力,3D DRAM封装体积小、功耗低的特点,与移动设备便携省电的诉求,几乎是天作之合。


2011年6月,尔必达宣布,由4片DRAM堆叠而成的8G内存颗粒已经进入送样阶段。尔必达通过直通硅晶穿孔(Through Silicon Vias;TSV)技术,在堆叠芯片的同时大幅度提高了内存带宽,相比传统的8G DRAM,芯片面积缩小了70%,预计一年后就可以量产。


但人算不如天算,一年之后,尔必达没等来3D DRAM的订单,反而等来了公司的破产。


金融危机后,三星依靠体量优势在内存价格低谷期疯狂扩产,顶住亏损进一步拉低价格,将竞争对手挤压出去。同在韩国的海力士半导体就因为债台高筑,在尔必达破产的同一年被SK集团收入囊中,成为了如今的SK海力士。


考虑到三星的反周期屠刀砍起来连同胞都不放过,利润率更微薄的尔必达处境可想而知。坂本幸雄在破产发布会上的一句“尔必达技术水平很高”,浓缩了所有的落寞与不甘。


伴随尔必达的坍塌,被寄予厚望的3D DRAM也随之沉寂。虽然以iPhone为代表的移动终端市场增长迅猛,但绝大部分产品都采用了成本更低的LPDDR(Low Power DDR)内存。3D DRAM作为一种非常超前的技术理念,在昙花一现后便被束之高阁。


直到2015年,另一个与尔必达处境极其相似的公司,把这项技术从故纸堆里翻了出来。


美国人来了


2015年6月,AMD在洛杉矶的贝拉斯科剧院发布了其新款旗舰显卡:Fiji架构的Radeon R9 Fury X。


在这块GPU的封装基板上,除了GPU芯片,只有供电电路和输出接口器件,原本围绕在GPU芯片周围的显存芯片不见了,取而代之的是和GPU封装在一起,由多颗显存芯片垂直堆叠而成的显存颗粒,整块显卡的面积大幅度缩小。


在发布会上,AMD也给这种新型显存取了个新的名字:HBM(High Bandwidth Memory)


AMD的Fiji系列显卡将显存与GPU封装在了一起,大幅缩小了芯片面积


2006年,AMD豪掷54亿美元收购了GPU公司ATI,希望凭借CPU和GPU的集成路线,扭转与英特尔竞争中的颓势。然而此后几年,CPU产品线的存在感一度只剩下网络段子,收购而来的GPU也一如既往地被英伟达按在地上摩擦。


伴随Tesla架构和CUDA平台的推出,英伟达大有一统GPU市场的气势。以9800GT为代表的Geforce 9系列显卡,一度成为国内网吧的一代神卡。


2012年,苏姿丰在AMD股价最低点接手后,把大部分资源倾斜到了公司的老本行CPU业务,面对英伟达在GPU市场越来越夸张的市场份额,AMD也寄望以新技术作为突破口弯道超车。


这个突破口,就是当时GPU领域正在暴露的痛点:带宽。


GPU和CPU都遵循着冯·诺依曼架构,其核心在于“存算分离”——即芯片处理数据时,需要从外部的内存中调取数据,计算完成后再传输到内存中,一来一回,都会造成计算的延迟。同时,数据传输的“数量”也会因此受限制。


举例来说,可以将GPU和显存/内存的关系比作上海的浦东和浦西,两地间的物资(数据)运输需要依赖南浦大桥,南浦大桥的车道数量决定了物资运输的效率,这个车道数量就是内存带宽,它决定了数据传输的速度,也间接影响着GPU的计算速度。


1980年到2000年,GPU和显存/内存的“速度失配”以每年50%的速率增加。也就是说,南浦大桥车道拓宽的速度,远远无法满足两地物资运输的增长,这就导致在游戏等高性能计算的场景下,带宽成为了越来越明显的瓶颈。


CPU/GPU性能与DRAM性能之间的差距正在拉大


为了解决这个问题,AMD的思路很直接:把浦东和浦西拼起来。


AMD的设想是将DRAM芯片和GPU芯片封装在一起,相当于把浦东和浦西拼在一块,彻底车道拓宽运输问题。但传统的2D DRAM由于芯片面积大,封装在一起难以控制功耗和发热问题。而多颗DRAM垂直堆叠,就成了最完美的方案。


于是,沉寂了多年的3D DRAM技术以HBM的新身份,又一次站上了台前。(理论上来说,3D DRAM和HBM并非相同的技术路线,可参见文末“注2”)


将显存从主芯片外移到主芯片旁边


早在2008年,尔必达攻坚3D DRAM的同一时期,AMD就与海力士半导体结为联盟共同攻克HBM。当时,全球范围内只有东芝和海力士拥有3D NAND闪存的堆叠经验,但东芝在2001年就退出了DRAM业务,海力士成了AMD唯一的选择。


2015年前后,4K分辨率开始普及,AMD希望借助4K游戏对带宽的需求,抄一波英伟达的后路。随后,搭载AMD Fiji的Radeon R9 Fury X,功耗比超越了英伟达同年的Kepler架构新品,首次在纸面性能上压了对手一头。



但遗憾的是,由于老旧的GCN架构拖后腿,没能让HBM的好处完全凸显出来。同时,相对于主流的DDR/GDDR路线,HBM的高成本问题依然难以解决,无法在消费级市场大面积铺开。


苹果的MacBook曾推出过一款HBM显存的机型,选配价格感人:



AMD厉兵秣马多年,最终换来了一个铩羽而归的结局,但HBM的春天却在人工智能的浪潮中意外到来。


韩国人的游戏


2016年,谷歌的AlphaGo在全球社交媒体的注视下,战胜围棋世界冠军李世石,深度学习横空出世,将科幻作品中的人工智能变得触手可及。


抛开文艺作品的滤镜,深度学习的本质是数学和概率论,其核心在于通过海量数据训练模型,确定函数中的参数,在决策中代入实际数据得到最终的解。在这当中,承担模型训练的就是AI芯片。


理论上来说,数据量越大得到的函数参数越可靠,这就给AI芯片的数据吞吐量及数据传输的延迟性带来了挑战。这也是AlphaGo使用英伟达的GPU作为模型训练芯片的原因:在当时,没有什么芯片比英伟达的GPU数据吞吐量更高、更适合训练模型的了。


但这还不够,因为AI模型对算力的需求正在以月为单位指数级暴涨,OpenAI在2018年发布过一份报告:AI算力需求每个月翻番,这是被芯片行业奉为圭臬的摩尔定律花费18个月才能完成的事情。



于是,原本在GPU/CPU上只是稍显棘手的性能瓶颈,放在AI芯片上,就变成了刻不容缓解决的大问题。在这个节骨眼上诞生的HBM,其高带宽、低延迟的特性,几乎是为AI芯片量身定做的。


2017年,AlphaGo再战另一世界围棋冠军柯洁,训练芯片却换上了自家研发的TPU。在芯片设计上,从第二代开始的每一代TPU,都采用了HBM的设计。


同一时期,英伟达紧跟AMD推出了针对数据中心和深度学习的新款GPU:Tesla P100,搭载了三星的首个第二代HBM内存(HBM2)


目前,面向高性能计算市场的GPU芯片,几乎都配备了HBM内存。


伴随AI的快速繁荣,存储巨头们围绕HBM的竞争也迅速展开,但主角只有韩国人。


2010年,三星就紧随SK海力士开始了HBM内存的研发,并在2016年抢先SK海力士成功量产HBM2,将每个HBM堆栈容量提升至8GB,此后又率先量产第三代HBM的青春版HBM3E。


2021年10月,一直紧咬三星的SK海力士又成功量产HBM3,重新夺回主动权。


韩国公司你追我赶的时候,内存三巨头之一的美光却因为技术路线判断失误意外掉队,成为了一个尴尬的旁观者。


2022年,全球50%的HBM出货来自SK海力士,40%来自三星,美光只有10%(TrendForce口径)。TrendForce预测,今年SK海力士会将占比进一步扩大至53%,三星将拿下38%,美光则将下滑至9%。


至此,HBM彻底成为了韩国人的游戏。


韩国人做对了什么?


存储曾是日本半导体产业的一块金字招牌,在经历了美国人领导20年(1966~1986)、日本人垄断的12年(1986~1998)后,已经迎来韩国人统治的第25年。


提及韩日在半导体产业的多年鏖战,三星“越亏越投”的反周期大法似乎是绕不开的环节,但这并不足以概括韩国人从落后到反超的原因。


存储芯片是一类特殊的芯片产品,它需要技术上的领先,但新技术的普及又需要下游终端市场的带动。同时,由于产品高度标准化,再高端的技术路线也需要与成本相权衡。


HBM并不是一项新技术,但由于长期缺乏规模足够大的下游市场,导致HBM一直无法普及,直到深度学习的出现改变了这一点。


即便在日韩存储产业竞争最激烈的时期,韩国公司的思路依然是:不花费太多成本研究最先进的技术,只需要做到“日本人有的我们也有”。


2007年,东芝率先量产了3D NAND闪存,尔必达随后成功试产3D DRAM,但三星和SK海力士迅速推出了类似的技术,并且依靠更强大的生产能力与产业链覆盖实现了反超。


由于HBM大多需要与GPU/CPU封装在一起,涉及到制造、封装等多个芯片生产流程,并非存储企业单兵作战可以解决。尔必达当年虽然做出了3D DRAM的技术方案,但在最关键的良率爬坡环节,不得不向中国台湾地区的代工、封装企业求援。


比起三番五次求日本银行业贷款支援的尔必达,韩国公司无论是资源整合能力,还是对本国产业链的号召力,在全球半导体市场几乎都独一无二,在SK海力士开发HBM的过程中,就有多家韩国本土供应商加入,大大加快了开发进程。


虽然HBM目前的市场规模还不到整个存储芯片市场的1/10,也不乏其他技术竞争,但决定其能否普及的成本问题,恰恰却是三星和SK海力士最擅长解决的——依靠大规模生产能力快速降低成本,拉高其他公司参与竞争需要的投资门槛。


有些讽刺的是,用大规模生产能力将诞生在美国的新技术快速产业化,恰恰是日本存储芯片在80年代大放异彩的原因。90年代后,日本社会普遍不满足于生产制造环节的成功,尤其是以贝尔实验室为代表的大公司研究院模式,更是被日本反复学习效仿。


对技术的崇信可以在一些产业获得巨大的成功,比如至今仍被日本垄断的半导体材料。但在存储市场,技术并不是唯一的胜负手。


尔必达的3D DRAM纵然在移动设备上有无可比拟的技术优势,但并没有阻挡成本更低的LPDDR方案迅速普及。当更适合AI的HBM迅速增长时,日本人早就下了牌桌。正如汤之上隆在书中概括:


日本人通常把性能和质量放在第一位,往往忽视生产成本。这是因为日本人拥有一种独特的感性认识,他们习惯将技术和金钱划清界限,主张技术神圣,金钱肮脏。


技术的领先可以毕其功于一役,但一个产业的拔地而起,既需要产业链的合理布局,又需要强大的资源整合能力与供应链上下游的密切协作,以及技术与商业上的反复权衡。日本在技术上一度领先,但韩国人最终获得了商业的胜利。


坂本幸雄反复念叨的“尔必达技术世界第一”并没有什么问题,直到破产那天,尔必达的生产工艺和技术储备依然领先韩国人。但在京畿道城南市三星电子总部彻夜的欢呼声中,他的不甘与叹息是如此不值一提。


注1:与依靠晶体管传递电气信号的逻辑芯片(如CPU)不同,大部分存储器依靠核心单元中电荷的多寡区分“0”和“1”,用这种手段来存储信息。随着存储器2D平面(也就是不堆叠的一块晶圆)微缩进入纳米制程,这种运行机制带来的不稳定性越发凸显:


用于存储电荷的单元越小,电荷越容易跑出去,也就是我们常说的“漏电”,最终的结果是数据错误,可靠性下降。问题并非不可解决,也就是用更先进的制程。但这样做的话,成本也会大幅度提高。


苹果的A系列芯片已经用上了3nm制程,但主流的存储芯片还在“考虑”是否应用10nm。


注2:作为存储器市场最大的两个品类,NAND闪存和DRAM垂直堆叠上有相似之处,但也有不同的地方:


NAND闪存是存储器阵列(memory array)堆叠,字位线(bitline)竖着做,可以想象成公寓楼的架构。目前,主要的生产商已经堆叠到了300层。


但3D DRAM堆叠的难处在于,电容器是柱状结构,要从竖着做变成横着放,字位线也要相应地竖着做,与NAND堆叠难度不在一个级别。


伴随尔必达破产,3D DRAM昙花一现便被束之高阁,厂商们继续着DDR内存规格的迭代升级,寻找着除了2D平面微缩之外提高存储颗粒密度的其他办法,比如从传统的6F2架构改成4F2架构等。


NAND闪存堆叠方法


DRAM堆叠方法



本文来自微信公众号:硅基研习社 (ID:gh_8448ad119f2e),作者:何律衡,编辑:李墨天