华尔街遭遇中国企业IPO估值问题，发展越快越难估值
06-18
近年来，在AI高算力需求的推动下，HBM大放异彩。
尤其是进入新年后，以ChatGPT为代表的生成式AI市场的疯狂扩张，不仅使得AI服务器的需求迅速增加，也带动了HBM高端存储产品的销量。
TrendForce数据显示，2018年全球HBM装机总容量将达到2.9亿GB，同比增长近60%，预计2020年将再增长30%。
SK海力士预测HBM市场到2020年复合增长率将达到82%。
在这种发展势头下，HBM作为AI芯片的主流解决方案受到了巨头的高度关注。
自2018年SK海力士首次成功研发HBM以来，三星、美光等存储企业也纷纷入局，针对HBM展开升级竞争。
目前，HBM已从第一代HBM升级到第四代HBM3，拥有产品带宽和最高数据传输率记录。
正在不断刷新。
下一代HBM3E超带宽解决方案也处于样品测试阶段，HBM4也已提上日程。
HBM的发展历程 借助AI东风，HBM的需求不断增加，三大原厂推动了HBM新一代产品的开发和生产线的扩张。
与此同时，台积电还宣布将其CoWoS产能增加两倍，以更好地支持不断增长的HBM需求。
近日，NVIDIA H的推出有望再次掀起HBM布局热潮。
未来，在AI大模型日益复杂的趋势下，随着存储巨头的不断发力，产业链上下游企业也将紧密布局，HBM的影响力将逐步扩大并带来新的机遇。
本文将重点关注HBM发展过程中的一个环节——硅中介层（Si-Interposer），详细介绍其价值、瓶颈和未来技术趋势。
01 硅中介层，挑战重重 谈到硅中介层，我们首先需要了解HBM的结构。
与传统DDR内存不同，HBM采用硅通孔技术（TSV）和微凸块（ubumps）垂直堆叠多个DRAM芯片，并通过封装基板中的硅中介层将它们直接连接到GPU、CPU或ASIC，从而具有高带宽、高容量、低延迟、低功耗等优点。
相同功耗下，其带宽是DDR5的三倍以上。
因此，HBM突破了内存瓶颈，成为当前AI GPU存储单元的理想解决方案和关键组件。
HBM 架构图 HBM 是一种标准化的堆栈存储技术，为堆栈内以及内存和逻辑组件之间的数据提供高带宽通道。
HBM 封装堆叠内存芯片并通过 TSV 将它们连接在一起，以创建更多 I/O 和带宽。
从上图可以看到，这种硅中介层可以理解为一种精密电路芯片，内部布置有密集的电信号传输通道，帮助芯片与封装基板进行电互连，实现芯片与芯片、芯片与芯片的交换。
封装基板之间的信息可以用来提高芯片的性能和带宽，并使芯片更加紧凑，从而减少信号传输延迟和功耗。
总体而言，硅中介层是一种成熟的技术，具有高细间距I/O密度和TSV形成能力，在2.5D IC芯片封装中发挥着关键作用。
硅中介层有两种技术路线，以台积电的CoWoS和Intel的EMIB为代表。
TSMC CoWoS-S 通过硅中介层承载处理器和 HBM。
处理器和几个HBM的投影面积决定了硅中介层的尺寸。
中介层的面积受到光刻掩模尺寸的限制，这将限制使用的HBM数量。
。
这成为早期HBM应用的瓶颈——高性能大型芯片往往需要HBM，而大型芯片本身的规模已经接近掩模尺寸限制，留给HBM的面积非常有限。
对此，台积电先后攻克多重难关，突破了中介层的尺寸限制。
单个芯片逐渐可以封装4个、6个、甚至12个HBM。
硅中介层领域的这样的发展不仅解决了尺寸限制，还带来了新的挑战，那就是成本越来越高。
以8GB HBM2为例，其成本约为1美元，其中硅中介层成本约为25美元，而同时8GB GDDR5仅需52美元。
在不考虑封装和测试的情况下，HBM的成本已经是GDDR的三倍左右。
尤其是随着HBM的演进，中间层的面积越来越大，包括所有Die，这大大增加了成本。
另外，中介层采用半导体工艺生产，成本非常高，且难以大面积覆盖。
为了降低中介层的成本和尺寸，Intel发明了EMIB，它通过“Si Bridge”实现die-die互连。
硅桥嵌入衬底内部，通过传统方法实现芯片与衬底的连接。
这种方法可以大大减少硅中介层的面积，降低成本，并缓解多芯片封装的限制。
Intel EMIB架构图 值得注意的是，EMIB以非常小的凸块间距提供高互连密度，允许芯片之间更高的带宽，并且由于功耗走线长度较短而比使用有机基板更低的带宽。
它类似于微型硅中介层，仅覆盖小芯片之间需要进行连接的区域。
然而，虽然EMIB充分利用了硅中介层和有机载板的技术和电气特性，但它也存在组装成本高的缺点，因为它需要嵌入有机载板中，这增加了工艺复杂性和成本。
限制了包装容量。
董事会选择。
因此，为了进一步降低成本，行业厂商开始研究放弃硅中介层的技术和方法。
SK海力士：将HBM4直接堆叠在处理器上 据悉，SK海力士已经开始招募CPU、GPU等逻辑半导体设计人员，希望将HBM4直接堆叠在处理器上。
这不仅将改变逻辑芯片和存储器的典型互连方法，还将改变其制造方式。
目前，HBM 堆栈集成了 8 个、12 个或 16 个存储设备，以及一个类似集线器的逻辑层。
HBM堆栈放置在CPU或GPU旁边的中间件上，并通过位接口连接到处理器。
SK海力士的目标是将HBM4堆栈直接放置在处理器上，完全消除中间层。
据悉，SK海力士正在与包括Nvidia在内的多家公司讨论其HBM4集成设计方法。
SK海力士和Nvidia很可能会从一开始就共同设计该芯片，并在台积电生产。
台积电还将使用晶圆键合技术将SK海力士的HBM4安装到逻辑芯片上。
为了使存储器和逻辑半导体在同一芯片上作为一个整体工作，联合设计是不可避免的。
台积电目前也有 SoIC 等更先进的 3D 封装工艺，确实可以更好的在芯片上堆叠显存，就像 AMD 的 3D V-Cache 处理器就采用了这种工艺，但这款处理器 * 的问题是发热，还有诸如作为产量和成本。
它尚不适合 HBM 视频内存。
业内人士表示，直接连接存储器和逻辑芯片在经济上是可行的。
不过，虽然将HBM4堆栈直接放置在逻辑芯片上可以在一定程度上简化芯片设计、降低成本，但同时也带来了另一个挑战——散热。
散热本身是 HBM 长期面临的挑战之一。
HBM的2.5D封装结构会积聚热量，靠近CPU和GPU的布局会进一步增加热量。
以Nvidia的H处理器为例，它消耗数百瓦的功率并散发数百瓦的热能，而且HBM内存也相当耗电。
目前，如果发热问题能够得到解决，HBM的“游戏规则”可能会改变，存储器和逻辑半导体之间的连接可能会变得像一台一体机，而不需要中间件。
三星：将HBM存储与芯片封装解耦 三星还认为，随着封装变得越来越大，带来了组装和可靠性等诸多挑战。
为此，三星通过提供在逻辑芯片上堆叠 DRAM 芯片的方法，将功耗效率提高了 40%，并将延迟降低了 10%。
在另一个解决方案中，三星将 Cash DRAM 堆叠在逻辑芯片上，这将功耗效率提高了 60%，并将延迟降低了 50%。
从三星的角度来看，这是一个更好的、面向未来的解决方案。
展望未来，三星进一步指出，光互连将发挥重要作用。
使用光纤I/O后，您将获得非常高的带宽密度；同时，该解决方案还可以带来非常低的功耗。
从三星的角度来看，光纤I/O将逻辑封装和存储封装连接在一起。
同时，该技术还可以将HBM存储与芯片封装完全解耦，将HBM模块与芯片本体分离，并通过光学技术将其连接到逻辑处理单元。
这样就无需处理内插器带来的芯片封装复杂性，并且这种方式简化了HBM和逻辑单元的芯片制造和封装成本，并避免了复杂的数字到光信号的内部转换。
随着巨头环球存储的深入介入，上述挑战或将得到解决，HBM市场的激烈争夺将进一步加剧。
除了原有的存储厂商外，台积电等厂商也在开发不同类型的中介层或使用不同的材料来实现成本节约。
以台积电为例。
台积电不断尝试降低下一代HBM的成本，宣布拥有多种不同类型的中介层：除了硅中介层之外，还有RDL中介层，以及其他试图摆脱的技术探索中介层。
例如CoWoS-R、CoWoS-L等。
前者用有机RDL代替硅中介层，可以降低成本，但缺点是牺牲了I/O密度；后者是台积电专门为AI训练芯片设计的，结合台积电CoWoS-S和信息技术优势，预计稍后才能应用。
资料来源：台积电官网 此外，集成扇出封装技术（INFO）也在考虑集成 HBM 作为硅中介层等的经济替代方案……Cadence IP 团队产品营销总监 Marc Greenberg 表示，如果如果业界能够齐心协力，决定适合标准封装的内存标准，那么就可以以低得多的成本提供与 HBM 类似的带宽。
可见，放弃硅中介层或者进一步降低成本正在成为HBM未来一条新的技术创新路线。
除了成本因素外，HBM去掉硅中介层还可以减少传输路径，提高传输速率，并使体积更小。
02 Chiplet 也想摆脱中介层。
除了HBM放弃硅中介层的迹象之外，Chiplet也在这方面进行探索（其实从某种程度上来说，HBM也是Chiplet的一种）。
迄今为止，业界唯一的小芯片互连需要先进的封装和昂贵的硅中介层。
Eliyan公司已经验证了他们在高性能chiplet互连方面的突破。
作者在之前的文章中已经详细介绍过这一点。
凭借其 Nulink 技术，Eliyan 可以为各种封装基板上的芯片间互连提供功耗、性能和成本优势。
由于这种PHY接口允许不同的芯片直接在有机基板上实现高速互连，而无需使用CoWoS、EMIB或硅中介层等昂贵的先进封装方法，因此在加快产品制造周期的同时降低了成本。
从上图可以看出，左边是当今常见的使用硅中介层的chiplet互连方式；右边是Eliyan的NuLink技术，可以实现最高带宽的小芯片互连，而不需要硅中介层。
可见NuLink通过简化系统设计来降低系统成本。
更重要的是，Eliyan 可以增加芯片之间的距离，对于生成式 AI，NuLink 为每个 ASIC 提供更多的 HBM 内存，从而提高配备 HBM 的 GPU 和 ASIC 上内存密集型应用程序的性能。
使用硅中介层的传统chiplet解决方案和使用有机基板的Eliyan Nulink Eliyan还展示了其首款NuLink PHY工作芯片，该芯片采用5nm标准制造工艺实现，允许chiplet与不同工艺的裸片混合搭配。
不需要硅中介层等先进封装技术。
NuGear 消除了对大型硅中介层的需求：“当今行业的一大需求是能够获得足够大的中介层，以便您可以构建越来越大的具有大内存的 GPU 或 TPU，”Eliyan 指出。
不考虑成本因素，Nulink有机基板的尺寸可以达到硅中介层的三到四倍，同时提供相同或更好的功率效率和带宽。
这会降低成本、加快制造速度并提高每个封装的计算能力。
同时，NuLink还为HBM DRAM提供最佳的热性能，消除HBM-ASIC之间的热串扰，允许ASIC时钟速度提高20%，以及更简单/更低成本的冷却。
测试和产量是另一个优势。
传统的硅中介层需要使用微凸块将小芯片连接到中介层引线。
微凸块限制了全面测试晶圆的能力，使良率面临风险。
Nulink 使用有机基板缓解了这个问题，允许使用具有标准尺寸凸块的小芯片，从而可以更有效地进行测试。
因此，芯片良率可以从60%提高到90%左右。
总之，Eliyan 消除了小芯片设计中对先进封装（例如硅中介层）的需求，这些封装具有尺寸有限、产量低、成本高、冷却困难、供应链有限、测试以及所有相关限制和复杂性的特点。
NuLink技术可以实现DRAM扩容、节省材料成本、提高产量以及缩短芯片上市时间等优势。
Eliyan认为，其Chiplet互连产品可以超越英特尔和台积电等芯片的先进封装技术，或有望成为英特尔和台积电实现下一波高性能芯片架构的首选。
NVIDIA、英特尔、AMD 和谷歌等公司可以授权 NuLink IP 或从 Eliyan 购买 NuGear 小芯片，以消除因硅中介层尺寸限制造成的性能瓶颈，从而使他们能够实现更高性能的 AI 和 HPC SoC。
然而，任何技术都有两个方面，并不能提供完整的优势。
例如，Eliyan的新技术可以将chiplet从2.5D封装要求切换到2D，但不可避免地需要提高线速度以换取更低的线密度要求。
然而，速率的增加会给 PHY 设计带来显着的额外延迟和能耗。
03 写在最后 总的来说，无论是HBM、Chiplet异构集成，还是die堆叠，这些先进的封装技术正在逐步解决传统芯片微缩遇到的问题，也为未来的芯片设计提供了更多的机会。
灵活性和效率。
同时，随着互连技术的演进，有望进一步推动HBM或Chilet封装技术的进步，为业界带来更低功耗、更高性能和更低成本的解决方案。
无论是哪一种技术，都有自己的优点和缺点，总会面临新的瓶颈和挑战。
需要根据实际需要进行设计和选择。
然而，它仍然忠于其最初的原则。
不断提升性能、降低成本无疑是行业发展的“涅槃”。
【本文由投资界合作伙伴微信公众号授权：半导体行业观察者。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-17
06-17
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态