首页 > 科技浪潮 > 内容

我们如何实现1万亿晶体管GPU - 半导体的进步推动了人工智能的蓬勃发展

发布于:2024-06-06 编辑:匿名 来源:网络

半导体核心技术编译 刘马克是台积电董事长。

Philip Wong是斯坦福大学医学院教授台积电工程师兼首席科学家。

台积电当年,IBM的深蓝超级计算机击败了国际象棋世界冠军加里·卡斯帕罗夫。

这是超级计算机技术的突破性展示,也是高性能计算有一天可能超越人类智能的第一个暗示。

在接下来的10年里,我们开始将人工智能用于许多实际任务,例如面部识别、语言翻译、推荐电影和产品等等。

又过了十五年,人工智能已经发展到可以综合知识的地步。

生成式人工智能,如 ChatGPT 和 Stable Diffusion,可以创作诗歌、创作艺术、诊断疾病、编写总结报告和计算机代码,甚至可以设计与人类制造的集成电路相媲美的集成电路。

人工智能将面临巨大机遇,成为人类所有工作的数字化助手。

ChatGPT 是人工智能如何使高性能计算的使用民主化、造福社会每个人的一个很好的例子。

所有这些令人惊叹的人工智能应用都归功于三个因素:高效机器学习算法的创新、用于训练神经网络的大量数据的可用性,以及通过半导体技术的进步实现节能计算的进步。

尽管其贡献无处不在,但生成式人工智能革命并未得到应有的赞誉。

在过去的三十年里,人工智能领域的重大里程碑是通过当时领先的半导体技术实现的,没有这些技术就不可能实现。

“深蓝”是利用0.6微米和0.35微米节点的混合芯片制造技术实现的。

赢得 ImageNet 竞赛并开创当前机器学习时代的深度神经网络是使用 40 纳米技术实现的。

AlphaGo 使用 28nm 技术征服了围棋游戏,ChatGPT 的初始版本是在采用 5nm 技术构建的计算机上进行训练的。

最新版本的 ChatGPT 由采用更先进的 4nm 技术的服务器提供支持。

相关计算机系统的每一层,从软件和算法到架构、电路设计和设备技术,都是人工智能性能的倍增器。

但可以公平地说,基本晶体管器件技术是上述各层技术进步的基础。

如果人工智能革命要以目前的速度继续下去,半导体行业将需要更加努力。

十年内,它将需要 1 万亿个晶体管 GPU,这意味着 GPU 的数量是当今典型设备数量的 10 倍。

AI 模型规模持续增长 在过去五年中,AI 训练所需的计算量和内存访问量增加了几个数量级。

例如,训练 GPT-3 需要相当于每秒超过 50 petaflops 的操作(即每天 5 petaflops)和 3 TB (3 TB) 的内存容量。

新的生成式人工智能应用所需的计算能力和内存访问都在持续快速增长。

我们现在需要回答一个紧迫的问题:半导体技术如何跟上步伐?从集成器件到集成芯片 自从集成电路发明以来,半导体技术一直在缩小特征尺寸,以将更多晶体管塞进缩略图大小的芯片中。

如今,集成已达到新的水平;我们正在超越二维缩放进入三维系统集成。

现在我们正在将许多芯片组装成一个紧密集成、大规模互连的系统。

这是半导体技术集成的范式转变。

在AI时代,系统的能力与系统中集成的晶体管数量成正比。

主要限制因素之一是光刻芯片制造工具的设计目的是制造不大于一平方毫米的集成电路,称为“掩模版限制”。

然而,我们现在可以将集成系统的尺寸扩展到光刻掩模版的极限之外。

通过将多个芯片连接到更大的中介层(一块具有内置互连的硅片),我们可以集成一个包含比单个芯片更多设备的系统。

例如,台积电的CoWoS技术(晶圆上基板芯片)可以容纳多达六个计算芯片的掩模版区域,以及十几个高带宽内存(HBM)芯片。

Nvidia如何使用CoWoS先进封装技术 CoWoS是台积电先进的硅上芯片封装技术,目前已应用于产品中。

示例包括 Nvidia Ampere 和 Hopper GPU。

每个都由一个 GPU 芯片和六个高带宽内存立方体组成,全部位于硅中介层上。

计算 GPU 芯片的尺寸与当前芯片制造工具允许的尺寸大致相同。

Ampere有1亿个晶体管,Hopper有1亿个。

从 7nm 技术到更密集的 4nm 技术的转变使得在基本相同的面积上封装的晶体管数量增加了 50%。

Ampere 和 Hopper 是当今大型语言模型 (LLM) 训练的主力。

训练 ChatGPT 需要数以万计的此类处理器。

HBM 是对人工智能日益重要的关键半导体技术的另一个例子:通过将芯片堆叠在一起来集成系统的能力,我们在台积电称之为集成芯片系统 (SoIC)。

HBM 由控制逻辑 IC 顶部的一组垂直互连的 DRAM 芯片组成。

它使用称为硅通孔 (TSV) 的垂直互连来拾取信号并穿过每个芯片和焊料凸点以在存储芯片之间形成连接。

如今,HBMm 广泛应用于高性能 GPU。

展望未来,3D SoIC 技术可以为当今传统 HBM 技术提供“无凸点替代方案”,在堆叠芯片之间提供更密集的垂直互连。

最近的发展表明,HBM 测试结构具有使用混合键合的 12 层芯片堆叠,这是一种比焊料凸点更高的铜对铜连接密度。

该存储系统被低温粘合在总厚度仅为微米的更大的基本逻辑芯片上。

高性能计算系统由数十个运行大型人工智能模型的芯片组成,高速有线通信会迅速限制计算速度。

如今,光学互连用于连接数据中心的服务器机架。

在不久的将来,我们将需要基于硅光子技术、与 GPU 和 CPU 封装在一起的光学接口。

这为 GPU 到 GPU 的直接光通信提供了更高的功率和面积效率带宽,允许数百台服务器作为具有统一内存的单个巨型 GPU 运行。

由于人工智能应用的需求,硅光子技术将成为半导体行业最重要的使能技术之一。

迈向万亿晶体管 GPUAMD 如何使用 3D 技术 AMD MIA 加速处理器单元不仅利用 CoWoS,还利用台积电的 3D 技术 – SoIC。

MIA 结合了 GPU 和 CPU 内核,旨在处理最大的人工智能工作负载。

GPU执行AI的密集矩阵乘法运算,而CPU控制整个系统的操作,高带宽内存(HBM)为两者服务。

九个采用 5nm 技术制造的计算芯片堆叠在四个采用 6nm 技术制造的基础芯片之上,这些芯片专用于缓存和 I/O 流量。

基础芯片和 HBM 放置在硅中介层的顶部。

处理器的计算部分由数十亿个晶体管组成。

如前所述,用于人工智能训练的典型 GPU 芯片已经达到了标线范围的极限。

他们有大约一亿个晶体管。

晶体管数量持续增加的趋势将需要多个芯片通过 2.5D 或 3D 集成互连来执行计算。

通过 CoWoS 或 SoIC 以及相关的先进封装技术将多个芯片集成在一起,使得每个系统的晶体管总数大大超过单个芯片的晶体管总数。

我们预测,十年内多芯片 GPU 将拥有超过 1 万亿个晶体管。

我们需要将所有这些芯片以 3D 堆栈的方式连接在一起,但幸运的是,业界已经能够快速缩小垂直互连的间距并提高连接密度。

而且还有足够的空间容纳更多。

我们认为互连密度没有理由不能增加一个数量级,甚至更多。

GPU 的节能性能趋势 那么,所有这些创新硬件技术如何提高系统性能呢?如果我们看能效性能(EEP)的稳步提升,就能看到服务器GPU的发展趋势。

EEP是系统能源效率和速度的综合衡量标准。

在过去的 15 年里,半导体行业的能效表现大约每两年提高了 3 倍。

我们相信这一趋势将以历史性的速度继续下去。

推动这一趋势的将是多方面的创新,包括新材料、器件和集成技术、极紫外(EUV)光刻技术、电路设计、系统架构设计以及所有这些技术要素的联合优化等。

我们在此讨论的封装技术将有助于提高 EEP。

此外,系统技术协同优化(STCO)等概念将变得越来越重要。

在STCO中,GPU的不同功能部分被分离到各自的芯片上,并使用性能最好、最经济的技术来构建每个部分。

3D 集成电路的 Mead-Conway 时刻 1999 年,加州理工学院教授 Carver Mead 和 Xerox PARC 的 Lynn Conway 发明了一种集成电路的计算机辅助设计方法。

他们使用一组设计规则来描述芯片的缩放比例,以便工程师无需太多工艺技术知识即可轻松设计超大规模集成电路(VLSI)。

3D芯片设计也需要这种能力。

如今,设计人员需要了解芯片设计、系统架构设计以及硬件和软件优化。

我们如何实现1万亿晶体管GPU - 半导体的进步推动了人工智能的蓬勃发展

制造商需要了解芯片技术、3D IC技术和先进封装技术。

正如我们在 中所做的那样,我们再次需要一种通用语言来以电子设计工具可以理解的方式描述这些技术。

这种硬件描述语言使设计人员可以自由地设计 3D 集成电路系统,而无需考虑底层技术。

它即将推出:当今大多数技术公司和电子设计自动化 (EDA) 公司都使用名为 3Dblox 的开源标准。

隧道之外的未来人工智能时代,半导体技术是实现人工智能新能力和应用的关键因素。

新的 GPU 不再局限于过去的标准尺寸和外形尺寸。

新的半导体技术也不再局限于在二维平面上缩小下一代晶体管的尺寸。

集成的人工智能系统可以由尽可能多的节能晶体管、适合专业计算工作负载的高效系统架构以及优化的软硬件关系组成。

过去50年半导体技术的发展就像在隧道中行走。

前方的道路是清晰的,因为有一条清晰的道路。

每个人都知道需要做什么:缩小晶体管。

现在,我们已经到达隧道的尽头。

从此以后,半导体技术的发展将变得越来越困难。

然而,除了隧道之外,还有更多的可能性。

我们不再受过去的束缚。

【线下苏州会议】行业学习?资源对接?尽在5月22-23日苏州会议! “专业展会+泛半导体产业论坛+独家权威专访+展区特色活动”四合一,助您解锁大会新玩法。

两天多场论坛,国内外领先企业齐聚一堂,产学研用深度融合。

我们如何实现1万亿晶体管GPU - 半导体的进步推动了人工智能的蓬勃发展

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 瑞萨电子芯片工厂又遭遇“火情”

    瑞萨电子芯片工厂又遭遇“火情”

    4月17日刚刚宣布复工的瑞萨电子中工厂12英寸厂房N3栋,近日差点再次起火。 我们从瑞萨官网获悉,4月21日16时30分左右,工厂内发现冒烟,疑似火灾隐患,但很快被值班员工扑灭。 事件发生后,那卡12英寸工厂N3栋1楼和2楼的生产线被停工检查。 经消防人员确认,生产线于当晚20:0

    06-06

  • 1919成都码头公司获政府背景资金1.5亿元投资,发展“重管理、轻资产”模式

    1919成都码头公司获政府背景资金1.5亿元投资,发展“重管理、轻资产”模式

    投资界消息7月28日公告称,旗下成都易久易久码头企业管理有限公司成都码头公司(简称“成都码头公司”)获得四川省中小企业发展股权投资基金(简称“四川省中小企业基金”)1.5亿元投资。 本次融资标的成都码头公司是四川一九一九码头企业管理有限公司(简称四川码头公司)的

    06-17

  • Cybertruck传递无法粉碎的悲观消息?

    Cybertruck传递无法粉碎的悲观消息?

    作为电动汽车行业公认的标杆企业,特斯拉也交出了一份不及格的成绩单。 10月19日上午,孔夫子公布最新财报。 财报显示,今年Q3,受车型更新换代和工厂升级影响,特斯拉汽车总产量43.1万辆,环比下降10%,总交付量为43.1万辆。 43.5万辆,环比下降7%。 尽管市场对此早有预期,

    06-18

  • 顺新将在越南设立子公司

    顺新将在越南设立子公司

    DIGITIMES Asia 鸿海科技集团(富士康)旗下专注系统级封装(SiP)模组的顺新科技宣布计划斥资1万美元开设子公司越南子公司。 讯鑫在向台湾证券交易所(TWSE)提交的文件中表示,新子公司讯鑫科技(越南)被视为该公司的长期股权投资。 讯欣在越南有两家工厂,一间在河内,一

    06-06

  • 海泰新光今日在上交所科创板上市

    海泰新光今日在上交所科创板上市

    海泰新光科技股份有限公司今日在上海证券交易所科创板挂牌上市。 2020年2月26日,青岛海泰新光科技股份有限公司(股票代码:77)在上海证券交易所科创板挂牌上市。

    06-17

  • 专注ADC抗肿瘤新药研发,「普方生物」完成超千万美元Pre-A轮融资

    专注ADC抗肿瘤新药研发,「普方生物」完成超千万美元Pre-A轮融资

    「普方生物」近期完成超千万美元Pre-A轮融资。 本轮融资由先锋启云领投,高榕资本、长安资本跟投。 本次募集资金将主要用于推动公司ADC抗肿瘤新药产品管线的开发。 普方生物科技成立于2017年,是一家专注于开发治疗实体瘤的ADC药物的生物科技公司。 致力于通过专有平台开发创

    06-18

  • 五家公司投资205亿美元,印度芯片制造业有望崛起?

    五家公司投资205亿美元,印度芯片制造业有望崛起?

    据悉,印度政府已收到5家公司在当地制造芯片和显示器的计划,总投资约1亿美元。 Vedanta、新加坡 IGS S Ventures 以及与富士康成立合资企业的 ISMC 已提出总计约 1 亿美元的投资计划,用于本地制造可用于从 5G 设备到电动汽车等各种产品的芯片。 3家公司已根据计划向印度政府

    06-08

  • WPS AI来了,比ChatGPT更适合办公,而且也更懂中文

    WPS AI来了,比ChatGPT更适合办公,而且也更懂中文

    当我拿到金山Office代号“WPS AI”的内测资格时,我的嘴角忍不住扬起几下度,脑海里慢慢浮现出一句话:好了,你可以钓鱼了。 体验一个可以提高写作效率的工具不就像长跑时骑自行车一样吗?没错,这篇文章是我“骑着自行车”写的。 3大场景,轻文档不轻。 金山办公的生成式人工

    06-21

  • 「北岛」完成数千万元Pre-A轮融资,SIG海纳亚洲创业投资基金和靖亚洲资本联合领投

    「北岛」完成数千万元Pre-A轮融资,SIG海纳亚洲创业投资基金和靖亚洲资本联合领投

    投资圈(ID:pedaily)6月27日消息,成立于2017年客户成功平台“Hokdo”(以下简称Hokdo)近日完成数千万元Pre-A轮融资。 本轮融资由SIG海纳亚洲创业投资基金普天资本联合领投,老股东齐继创谭跟投。 曲可多采用标准的SaaS订阅方式进行收费,其使命是“帮助全球企业实现可持续

    06-17

  • 越秀产业基金与南昌高新区战略合作及产业项目及基金签约仪式举行

    越秀产业基金与南昌高新区战略合作及产业项目及基金签约仪式举行

    4月3日,越秀产业基金与南昌高新区战略合作及产业项目及基金签约仪式在南昌高新区举行。 在江西南昌举行。 南昌市委副书记、市长万光明,南昌市委常委、常务副市长胡晓海,南昌市委常委、市委书记王万政南昌高新区党工委,江西金控集团党委副书记、副董事长、总经理熊义江,越

    06-17

  • 科技行业IPO有望迎来强劲需求或领跑美股

    科技行业IPO有望迎来强劲需求或领跑美股

    导读:外媒今日撰文称,虽然近期美股IPO(首次公开募股)交易数量有所减少,但由于华尔街街头银行家和基金经理结束假期,科技行业新股发行有望迎来强劲需求,引领整个市场。   以下为文章全文:   经历了近期的股灾之后??,美国IPO市场也遭遇了“严夏”。 然而,当银行家

    06-18

  • 压倒蔡成功风厂,逼迫老周反“贾成功”,贷款威力过猛?

    压倒蔡成功风厂,逼迫老周反“贾成功”,贷款威力过猛?

    老周最近有点累。 今年10月,老周创办的“王牌汽车”失去了昔日的辉煌。 在政策和市场的压力下,这个最早的行业玩家以及业内知名的独角兽已经显露出疲态。 当时在A股风头正劲的“贾成功”找到他,想以战略投资的方式收购易风70%的股权。 老周狠了,一跺脚,说道:“好吧!”贾

    06-18