2011年9月,英特尔开发者论坛(IDF)的最后一天,英特尔首席技术官贾斯汀·拉特纳(Justin Rattner)在长达一小时的演讲中,抽出了大约一分钟的时间介绍了一项革命性的技术——HMC(Hybrid Memory Cube,混合内存立方体)


这项技术由美光和英特尔共同合作开发,虽然被一笔带过,但它的重要性,其实并不比处理器架构迭代要差多少,因为这是内存产业又一次的革命,有望彻底解决过往DDR3所面临的带宽问题。


实际上,早在IDF开始前的8月,美光研究员兼首席技术专家Thomas Pawlowski就在Hot Chips上详细介绍了HMC,当时虽然没有透露与英特尔的合作,但他表示,HMC是一种三维集成电路创新,它超越了三星等公司展示的处理器-内存芯片堆叠技术,是一种全新的内存-处理器接口架构。


对于美光来说,HMC就是反杀三星海力士两大韩厂的最有力武器。


内存革命


在介绍HMC的时候,Pawlowski对当时DRAM标准的落后提出了质疑,他认为,出于继续增加带宽并降低功耗和延迟以满足多核处理的需求,对内存的直接控制必须让位于某种形式的内存抽象,DRAM厂商总是需要一个行业标准机构(例如JEDEC),就用于指定DRAM的约80个参数达成一致,从而产生“最低公分母”解决方案。


他的言外之意就是,美光不打算继续一起慢吞吞地坐下来协商了,既然内存带宽吃紧,那就开发一种全新的高带宽标准,抛开JEDEC那堆框框架架的束缚,自己另立一个山头,而盟主呢,自然就是美光了。


在Pawlowski所公布的全新 HMC 标准中,从处理器到存储器的通信是通过高速SERDES数据链路进行的,该链路会连接到DRAM堆栈底部的本地逻辑控制器芯片,IDF上所展示的原型里,4个DRAM通过硅通孔(TSV)连接到逻辑芯片,还描述了多达8个DRAM的堆叠。值得一提的是,原型里的处理器没有集成到堆栈中,从而避免了芯片尺寸不匹配和散热问题。


HMC本质上其实是一个完整的DRAM模块,可以安装在多芯片模块或2.5D无源插接器上,从而更加贴近CPU。除此之外,美光还介绍了一个“远存储器”的配置,在这一配置中,一部分HMC连接到主机,而另一部分HMC则通过串行链接连接到其他HMC,以此来形成存储器立方体网络。


以今天的目光来看,HMC不可谓不先进,而Pawloski也颇感自豪,他表示HMC无需使用复杂的内存调度程序,只需使用一个薄仲裁器即可形成浅队列。HMC从架构上就消除了复杂的标准要求,时序约束不再需要标准化,只有高速 SERDES 接口和外形尺寸才需要标准化,而这部分规范完全可以通过定制逻辑IC进行调整以适应应用,大容量DRAM芯片在众多应用中都是相同的。



在许多人担心的延迟问题上,Pawlowski也表示,虽然HMC的串行链路会略微增加系统延迟,但整体的延迟反而是显著降低的,尤其是它的DRAM周期时间(tRC)在设计上较低,较低的队列延迟和较高的存储体可用性还进一步缩短了系统延迟。


他同时也展示了第一代 HMC原型的具体数据,美光同英特尔合作,通过将1Gb 50nm DRAM阵列与 90nm原型逻辑芯片相结合,构建了第一代27mm x 27mm HMC原型,其在每个立方体上使用4个40GBps(每秒十亿字节)链路,每个立方体的总吞吐量为160 GBps,DRAM立方体的总容量为512MB,由此产生的性能比下一代DDR4显着提高了约3倍的能效(以 pj/bit 为单位)



HMC解决了传统DRAM的带宽问题,一时之间成为了大家的新宠儿,但实质上是集不断发展的硅通孔(TSV)技术于大成,并不能全然归功于美光和英特尔。


什么是TSV呢?TSV全称为Through Silicon Via,是一种新型三维堆叠封装技术,主要是将多颗芯片(或者晶圆)垂直堆叠在一起,然后在内部打孔、导通并填充金属,实现多层芯片之间的电连接。相比于传统的引线连接多芯片封装方式,TSV能够大大减少半导体设计中的引线使用量,降低工艺复杂度,从而提升速度、降低功耗、缩小体积。


早在1999年,日本超尖端电子技术开发机构(ASET)就开始资助采用TSV技术开发的3D IC芯片项目“高密度电子系统集成技术研发”,也是最早研究3D集成电路的机构之一。之后的2004年,日本的尔必达也开始自己研发TSV,并于2006年开发出采用TSV技术的堆栈8颗128Mb的DRAM架构。


闪存行业先一步实现了3D堆叠的商业化,东芝在2007年4月推出了具有8个堆叠裸片的NAND闪存芯片,而海力士则是在同年9月推出了具有24个堆叠裸片的NAND闪存芯片。


而内存行业相对稍晚一点,尔必达在2009年9月推出了第一款采用TSV的DRAM芯片,其使用8颗1GB DDR3 SDRAM堆叠封装而来。2011年3月,SK海力士推出了使用TSV技术的16GB DDR3内存(40 nm级别),同年9月,三星推出了基于TSV的3D堆叠32GB DDR3(30 nm级别)


集合了最新TSV技术的HMC,不仅荣获了2011年The Linley Group(《微处理器报告》杂志出版商)所颁发的最佳新技术奖,还引发了一众科技公司的兴趣,包括三星、Open-Silicon、ARM、惠普、微软、Altera和赛灵思在内的多家公司,与美光组成了混合内存立方联盟(HMCC),美光开始磨拳霍霍,准备开始一场更加彻底的内存技术革命。


JEDEC的反击


前面提到了美光技术专家Pawlowski对于旧内存标准的抨击,尤其是JEDEC机构,似乎成了一个十恶不赦的坏蛋,仿佛是因为它的存在,内存技术才迟迟得不到改进。


那么JEDEC又是何方神圣呢?


JEDEC固态技术协会(Solid State Technology Association)是固态及半导体工业界的一个标准化组织,最早历史可以追溯到1958年,由电子工业联盟(EIA)和美国电气制造商协会(NEMA)联合成立的联合电子设备工程委员会(Joint Electron Device Engineering Council,JEDEC),其主要职责就是制定半导体的统一标准。而在1999年后,JEDEC独立成为行业协会,确立了现在的名字并延续至今。


作为一个行业协会,JEDEC制定了DRAM组件的封装标准,并在20世纪80年代末制定了内存模块的封装标准。“ JC-42及其小组委员会制定的标准,是我们能够如此轻松地升级 PC 内存的原因。”自20世纪70年代以来一直担任JEDEC志愿者的Mark Bird说道:“我们对各个组件配置、SIMM、它们所在的插槽以及每一个设备的功能进行了标准化。”


虽然说做DRAM的厂商,肯定离不开JEDEC所制定的标准,但JEDEC本质上并不具备强制性,其第一大原则就是开放性与自愿性标准,所有标准都是开放性、自愿性的,不会偏袒某一个国家与地区而歧视其他国家或地区,拥有近300家会员公司的它还奉行着一家公司一票与三分之二多数制的制度,从而降低了标准制定程序被任何一家或一批公司所把控的风险。


不管是美光也好,三星海力士也罢,它们并没有能力去干涉JEDEC标准的制定,即使DRAM厂商早已屈指可数,但标准的话语权并不由三巨头所掌握,只有大家真正认可,才会最终被推行为正式标准。


这时候问题来了,行业还在JEDEC所制定的标准下前行,美光却要单独跳出来自己干,还组建了属于自己的联盟,这听起来有点像苹果才会做的事,如同火线接口、早期雷电接口和Lighting接口等,东西是好东西,但是独此一家别无分号。


要是美光这HMC技术足够先进也就罢了,领先JEDEC四五年,也能像苹果一样赚笔小钱,也能和韩国厂商分庭抗礼了,只可惜这技术只领先了一两年左右,甚至可能还没有这么久。


在美光公布HMC的2011年,JEDEC就公布了关于Wide IO的JESD229标准,作为一项3D IC存储器接口标准,其正是为了解决DRAM带宽而来,基本概念是使用大量引脚,每个引脚的速度相对较慢,但功率较低。


2012年1月,该标准正式通过,其中规定了4个128位通道,通过单数据速率技术连接到以200MHz频率运行的DRAM,总带宽为100Gb/S,虽然还是不能与HMC的带宽相媲美,但也从侧面证明了JEDEC的标准并非一直原地踏步和一无是处。


当然,如果只有Wide IO也就算了,毕竟HMC的理念足够先进,虽然价格也很昂贵,但是总会有一部分高带宽需求的产品来买单,前景还是挺光明的。



但到了2013年,又杀出了一个程咬金——AMD和海力士宣布了它们共同研发的HBM,其使用了128位宽通道,最多可堆叠8个通道,形成1024位接口,总带宽在128GB/s至256GB/s之间,DRAM芯片堆叠数为4至8个,且每个内存控制器都是独立计时和控制的。


就成本和带宽而言,HBM是一个看似中庸的选择,既不如Wide I/O便宜,带宽也比不上HMC,但中庸的HBM却通过GPU确定了自己的地位,AMD和英伟达先后都选择了HBM来作为自家显卡的内存。


而给了美光HMC致命一击的是,HBM刚推出没多久,就被定为了JESD235的行业标准,一个是行业内主要科技公司都加入的大组织,一个是美光自己拉起来的小圈子,比赛还没正式开始,似乎就已经分出了胜负。


HMC的末路


2013年4月,HMC 1.0规范正式推出,根据该规范,HMC使用16通道或8通道(半尺寸)全双工差分串行链路,每个通道有10、12.5或15 Gbit/s串行解串器,每个HMC封装被命名为一个cube,它们可以通过cube与cube之间的链接以及一些cube将其链接用作直通链接,组成一个最多8个cube的网络。


当然,在HMC 1.0发布时,美光依旧是信心满满,美光DRAM营销副总裁Robert Feurle表示:“这一里程碑标志着内存墙的拆除。” “该行业协议将有助于推动HMC技术的最快采用,我们相信这将彻底改进计算系统,并最终改进消费者应用程序。”


而在2014年1月举行的“DesignCon 2014”上,美光首席技术专家Pawlowski表示JEDEC并没有在DDR4之后做出任何新的努力,“HMC需要的只是一个SerDes(串行器/解串器)接口,其具有简单指令集,不需要所有细节,未来的趋势是HMC取代DDR成为DRAM的新标准。”他说到。


事实真的和美光说的一样吗?


当然不是,HMC看似强大的带宽,是建立在昂贵成本之上的,从2013年第一版规范开始算起,真正采用了HMC技术的产品,也只有天文学项目The Square Kilometer Array、富士通的超级计算机 PRIMEHPC FX 100、Juniper的高性能网络路由器和数据中心交换机以及英特尔的Xeon Phi协处理器。


看到英特尔也别太兴奋,据美光公司称,虽然Xeon Phi协处理器的内存解决方案采用与HMC相同的技术,但它专门针对集成到英特尔的Knight's Landing平台中进行了优化,没有标准化计划,也无法提供给其他客户,什么意思呢?就是英特尔没完全遵循HMC,自己另外搞了一套标准。


而且,别说普通消费者了,连英伟达和AMD的专业加速卡都与HMC无缘,HBM已经足够昂贵了,HMC比起它还要再贵一些,美光虽然没有公布过具体的费用,但我们相信,这个价格一定会是大部分厂商所不能承受之重,内存带宽重要是不假,但过于昂贵的成本,只会劝退客户。


值得一提的是,三星和海力士虽然也一度加入过HMCC联盟中,但它们并不是主要推动者,甚至没有大规模量产过HMC产品。2016年之后,两家都专注于HBM了,除了几个铁哥们愿意支持一下美光,HMCC的成员更多是重在参与。


时间来到2018年,HMC早就没有了2011年时的风光,用门可罗雀来形容也不过分,人工智能在这一年开始兴起,高带宽成为了内存行业的重心,但背后的市场几乎都被HBM招徕走了,主推该标准的海力士与三星成了大赢家。


Objective Analysis首席分析师吉姆·汉迪(Jim Handy)在2018年1月接受媒体采访时,对美光发出了警告:“英特尔未来也会从HMC变体转向HBM,考虑到二者间没有太大区别,如果美光必须转型,损失也不会太大。”


好在美光没有执迷不悟,在2018年8月宣布正式放弃HMC,转而追求具有竞争性的高性能存储技术,也就是HBM,但大家都准备搞HBM2E了,美光此时再入场,不论是吃肉还是喝汤都轮不到它,只能慢慢追赶。


2020年3月,美光的HBM2也就是第二代HBM才姗姗来迟,其最新量产的HBM也止步于HBM2E,明显落后于两家韩厂,而市场也忠实反馈了这一差距,根据TrendForce的最新数据,SK海力士占据全球HBM市场50%的份额,位居第一;三星紧随其后,占据40%的份额;而美光位居第三,仅占据10%的份额。


不过有意思的是,美光似乎对HMC并未完全死心。


2020年3月,美光公司高级计算解决方案副总裁Steve Pawlowski表示,美光是HMC技术最早和最有力的支持者之一,如今的重点是该架构如何能够满足特定用例(包括人工智能)的高带宽内存需求,事实上在HMC最初构想时,人工智能并不存在。“我们怎样才能在低功耗、高带宽方面获得最大的性价比,同时能够为我们的客户提供更具成本效益的封装解决方案?”他说到。


Pawlowski还表示,美光继续通过“探路计划”探索HMC的潜力,而不是遵循最初的规格更新计划,从性能角度来看,HMC是一个出色的解决方案,但客户也在寻求更大的容量,新兴的人工智能工作负载更注重带宽,因此这正是HMC架构的潜力所在。


“HMC似乎仍有生命力,它的架构可能适用于最初构想时并不存在的应用。”Pawlowski 说,“HMC是领先于时代的技术的一个极好例子,它需要建立一个生态系统才能被广泛采用,我的直觉是,HMC 风格的架构就属于这一阵营。”


遥遥落后的美光


如今是2024年年初,HBM已经火爆了一整年,SK海力士、三星和美光无不以下一代HBM3E乃至HBM4为目标,努力保证自家的技术领先。尤其是美光,为了改善自己在HBM市场中的被动地位,它选择了直接跳过第四代HBM即HBM3,直接升级到了第五代。


2023年9月,美光宣布推出HBM3 Gen2(即HBM3E),后续表示计划于2024年初开始大批量发货HBM3 Gen2内存,同时透露英伟达是主要客户之一,美光总裁兼首席执行官Sanjay Mehrotra也在公司财报电话会议里表示:“我们的HBM3 Gen2产品系列的推出引起了客户的浓厚兴趣和热情。”


对于美光来说,技术迎头赶上只是第一步,更重要的是能不能在标准上掌握话语权。2022年1月,JEDEC发布了最新的HBM3标准,其主要贡献者就是美光老对手,也是HBM的创造者之一——SK海力士,而现在被普遍认可的HBM3E这一名称,同样来源于SK海力士。


成为标准贡献者有啥好处呢?那就是SK海力士所推出的HBM3E可以大方宣称自己的向后兼容性,即使在没有设计或结构修改的情况下,也能将这一产品应用于已经为HBM3准备的设备上,不管是英伟达还是AMD,都可以轻松升级原有的产品,满足更多客户的需要。


而据Business Korea报道,英伟达已经与SK海力士签订HBM3E优先供应协议,用于新一代B100计算卡,虽然美光和三星都向英伟达提供了HBM3E的样品,完成验证测试后就会正式签约,但有业内人士预计,SK海力士仍然会率先取得HBM3E供应合同,并从中获得最大的供应份额。


此前我们谈到过,存储巨头们一直梦想着一件事情,就是摆脱传统的半导体周期,过上更为安稳的日子,HMC曾是美光的一个梦想,用新标准取代旧标准,用封闭生态代替开放生态,希望凭借它来成为DRAM技术领导者,但它却陷入到一个怪圈当中:HMC价格更昂贵—客户缺乏意向—成本增加导致价格上涨—流失更多潜在客户。


目前来看,HBM是一个更好的切入口,它在新型DRAM的市场和利润间取得了一个微妙平衡,而SK海力士就是三巨头里走得最远的一家,考虑到未来AI芯片的性能很大程度上受到HBM的放置和封装方式的影响,SK海力士很有可能成为第一个跳出周期的厂商。


美光首席技术专家Pawlowski在2011年的Hot Chip上大力批判了落后的内存标准,但他绝对不会想到的是,看似先进的HMC最终会被纳入JEDEC标准的HBM所击败。美光空耗了六七年时间,最终甜美果实却被韩厂摘走,让人感慨不已。


参考资料:

Beyond DDR4: The differences between Wide I/O, HBM, and Hybrid Memory Cube——extremetech

HBM Flourishes, But HMC Lives——eetimes

'기술' 타이밍 놓치면 순식간 '몰락'… 설 자리 잃은 '마이크론'——newdaily


本文来自微信公众号:半导体行业观察 (ID:icbank),作者:邵逸琦