厦门美日丰创光罩项目投产
06-06
11月初，年度国家科学技术奖励名单出炉，“深度学习新范式”陈云霁主持的“学习处理器架构”项目荣获国家自然科学奖二等奖。
本次获奖项目的参与者均来自中国科学院计算技术研究所。
除了陈云霁研究员之外，还有陈天石研究员、杜子东博士、孙凝晖院士和郭崎研究员。
可以说，它汇聚了人工智能和高性能计算领域的两组大师。
。
计算机领域无人不知：陈云霁、陈天石等人研发出全球首款深度学习处理器芯片寒武纪1号，引起全球广泛关注。
陈云霁和陈天石还被国际顶级科学期刊《科学》杂志评为AI芯片的“先驱”。
传统上认为，处理器芯片的研究和创新往往是“从无到有”的一系列发明。
此次，计算所团队的工作荣获处理器芯片领域历史上首个国家自然科学二等奖。
国家自然科学奖是我国五个国家科学技术奖之一，奖励在基础研究和应用基础研究中阐明自然现象、特征和规律并取得重大科学发现的公民。
因此，《AI技术评论》立即联系了陈云霁本人，并就本次获奖项目及深度学习处理器相关研究内容与陈云霁教授进行了深入交流。
据陈云霁介绍，他们此次获得国家自然科学二等奖的项目，主要从理论上阐明了深度学习算法在硬件上执行的通用基本规则，从而形成了深度学习处理器的新架构范式。
。
例如，他们发现了深度学习计算中最基本的五个运算符：向量、矩阵、距离、非线性函数和排序。
就像乐高插件一样，基于这五个算子设计的深度学习处理器可以处理数千种不断发展的深度学习算法。
这为后来者开发深度学习处理器提供了重要指导。
此外，陈云霁表示，这十年来，他们主要做了两件事：一是研发深度学习处理器来辅助人工智能计算，二是用人工智能的方法来指导芯片的设计。
这个方向也越来越受欢迎。
学者们的关注。
1. 获奖项目详情 《人工智能技术评论》：能否介绍一下本次获奖项目（“深度学习处理器架构新范式”）的研究背景？陈云霁：人类社会逐渐进入智能时代，核心技术之一就是深度学习。
深度学习有非常大的计算需求，因为里面的模型往往是大规模的多层人工神经网络。
一般来说，模型越大、层数越多，其潜在的表达能力就越强。
从某种意义上说，计算量与智力水平之间是正相关的关系。
那么这就带来了一个问题：传统芯片并不一定适合深度学习计算模型。
因此，我们提出了深度学习处理器等新的架构范式来应对深度学习任务。
所谓“范式”，就是指“被广泛认可的模式”。
例如，CPU（中央处理单元）就是一个范例。
许多公司基于CPU范式制造了各种CPU。
GPU（图形处理单元）也是一种范例。
AMD和NVIDIA也基于GPU范式设计GPU芯片。
我们提出的深度学习处理器也是一个范例。
你可以参考这个范式来设计各种处理器芯片。
AI科技评论：深度学习处理器是您和陈天石教授共同提出的，大概是在同一时间。
这个项目也是基于当时的研究吗？陈云霁：是的，他们是同根同源的。
一开始我们设计了一个特定的深度学习处理器结构，比如2016年我们和法国INRIA（法国国家计算与自动化研究所）合作的DianNao。
但架构背后的基本法则和范式是什么？这是我们对这个项目的贡献。
雷锋网图注：全球首款深度学习处理器芯片寒武纪一号AI技术点评：你说的是理论研究突破吗？陈云霁：是的。
所谓“范式”就像一个模板。
基于这个模板可以推导出具体的深度学习处理器架构。
过去，我们设计一个特定的深度学习处理器固然有意义，但它可能更多的是一个发明。
这次我们工作中最重要的事情就是找到深度学习处理器架构背后的共同范式。
有了这个范式，其他大学和公司就可以参考这个范式来设计自己的芯片。
雷锋网人工智能技术评论：能否详细阐述一下范式的内涵？陈云霁：我们最重要的是找到深度学习算法在硬件上执行的通用基本规则，包括计算、内存访问和通信。
以计算为例。
我们发现，如果要设计一个深度学习处理器，可以通过多种方式来设计，但它必须至少支持五个最基本的运算符：向量、矩阵、距离、非线性函数和排序。
只要支持这五个算子，就可以支持数千种深度学习算法。
雷锋网就像乐高积木。
乐高积木使用基本的连接器来搭建各种城堡、飞机等。
我们找到了最基本的乐高连接器。
深度学习可能会继续进化或者产生新的深度运算，但是没关系，我可以用这五个小乐高来搭建它。
所以这是我们根据自然科学规律得出的一个发现。
AI科技评论：这个项目什么时候开始的？陈云霁：最早的是年。
那时我们就开始探索人工智能和芯片设计的交叉点。
我从2000年就开始从事芯片设计，我弟弟陈天石从2000年读研究生就开始研究人工智能算法。
那么让我们探讨一下人工智能和芯片设计的交叉点。
雷锋网AI科技点评：我们看到杜子东·博士、孙凝晖院士、郭崎研究员也参与了这个项目。
他们什么时候开始加入的？陈云霁：一开始是陈天石和我，后来孙凝晖院士、杜子东·博士、郭崎研究员也加入进来。
深度学习处理器是我们每个人都做出贡献的一系列努力。
陈天石和我可能在各个方面都参与得更多。
杜子东也比较早地参与了这项工作。
从研究生开始，他就在运营商之间的融合运营模式中发挥了非常关键的作用。
郭奇从2000年开始也参与其中，当时他还是博士的学生，主要做一些存款方面的工作。
孙凝晖院士既担任我院（中国科学院计算技术研究所）学术主任，又担任我院计算机体系结构国家重点实验室主任。
我们的工作是一个架构工作，孙院士在探索计算和通信的架构规则方面做出了重要贡献。
AI科技评论：深度学习处理器是高性能计算与人工智能的结合吗？陈云霁：我认为它在很多思想和方法上结合了这两方面。
如果你回到十多年前，你可能会认为高性能计算和人工智能之间没有直接的关系，因为当时深度学习方法还没有那么流行。
当时人工智能的主流是支持向量机等方法，需要的计算量比较小，模型也比较小。
但现在情况并非如此。
有一个非常著名的例子：2016年，Google Brain使用了16000个CPU核心进行深度学习训练，教系统如何识别人脸、猫脸等，这是高性能计算和人工智能结合在一起的明显例子，而芯片是高性能计算最关键的部分。
这也与我们计算所的悠久渊源有关。
20世纪80年代末，李国杰院士从国外归来，成立了国家智能计算机研究开发中心。
李院士任第一任所长，后孙院士任第二任所长。
我们的研究其实就是沿着这个思路传承下来的。
这让我们会员对人工智能的发展脉络有了更清晰的认识，其次也启发我们思考人工智能算法的通用计算模型是什么。
AI科技评论：与寒武纪相比，这个项目更多的是学术研究项目还是产业研究项目？陈云霁：这完全是一个基础理论研究项目。
国家自然科学奖全部奖励于基础科学研究。
基础研究的特点之一就是推动整个人类的进步。
尤其是像计算所这样的国家级科研机构，应该能够通过技术研究造福国内同行、国外同行乃至整个社会。
当然，寒武纪1号芯片也受到了该项目论文的影响。
理论指导非常重要。
例如，如果没有爱因斯坦的质能方程（E=MC^2），所有核电站都不会存在。
所以需要有一个基础理论，然后大家可以根据这个理论来设计各种具体的芯片。
因此，它的目标是促进整个社会的进步。
2.深度学习处理器研究观察AI技术回顾：根据您的观察，深度学习所使用的处理器的架构特点是什么？它们与用于通用计算的处理器有何相似或不同？陈云霁：我们从计算和内存访问两个维度来谈谈。
从计算角度来看，一般计算主要涉及加减乘除，但对于深度学习处理器来说，最基本的就是我刚才讲的这五个运算符。
从内存访问的角度来看，通用CPU在访问内存时充当一个通道，而深度学习算法有一个共同点，就是里面的数据可以分为三个流，就像孩子放学回家时一样，它们会自动排队成三个流。
路组，如输入神经元、输出神经元和连接权重。
基于这些客观规律，我们在设计深度学习处理器的组件时，就会有针对性地进行设计。
在计算层面，我们还可以将其分解为五种常见的基本算法。
在内存访问层面，可以抽象为内存访问数据流，最终自动聚合为三个流。
从实用的角度来看，您可以根据需要设计特定的芯片。
本来你可以强迫每个人进入一个频道。
但我们把理论的客观规律告诉学术界和工业界之后，大家通常会设计三个独立的通道，把兵力分成三路。
那么效率肯定会提高。
AI科技评论：据您所知，哪些公司正在设计的芯片受到您团队提出的理论的影响？陈云霁：有很多组织引用了我们的研究结果。
我们这里有一个粗略的统计，说现在有5大洲、30个国家/地区、机构引用或者追踪了我们的工作。
其中近一半是美国机构，被引用者包括15位中美院士等。
ACM/IEEE 院士。
全球排名前100的大学（QS排名）中超过一半引用了我们的工作，包括哈佛大学、斯坦福大学、麻省理工学院、普林斯顿大学等。
许多业界顶级芯片公司，包括英伟达、谷歌、华为、联发科、英特尔、三星、IBM、高通、微软、台积电、苹果、AMD等，都在引用我们项目的成果，并进行相关研究。
因此，图灵奖获得者 Yoshua Bengio 撰写的深度学习领域最权威的教材《Deep Learning》（又称“花书”）也引用了我们的工作。
我记得一位院士说过，做科研有两个目标，一是进入教科书，二是上架。
无论哪一个能够实现，那就太好了。
对于我们计算所来说，我们最期待的就是进入教科书。
过去，我们的基础理论工作能够进入教科书的并不多。
AI科技评论：所以您更关心它的学术突破，对吗？陈云霁：是的。
学术上的突破也会引起我们国际同行企业的关注。
例如，仅NVIDIA就引用了我们的工作超过50次，NVIDIA的首席科学家Bill Dally在他的一些核心研究中也多次引用了我们的工作，并明确指出他们的方法与我们之前的工作类似。
。
包括谷歌出品的第一篇深度学习处理器论文，作者包括一位图灵奖获得者和三位美国工程院院士，他们也引用了我们项目的多项成果。
AI科技评论：您对深度学习处理器的研究主要分为系统架构设计阶段和理论完善阶段吗？或者还有其他的划分方法吗？陈云霁：不应该这样分。
从2006年开始，我们就将理论与实践紧密结合起来。
中国科学技术大学的校训是“理论与实践相结合”。
一方面，我想设计一款特定的芯片，但另一方面，我们也需要弄清楚芯片背后的规则是什么。
以冯诺依曼架构为例。
它是怎么出来的？美国制造了第一台通用计算机，称为“ENIAC”。
设计 ENIAC 的两位工程师是 John Mauchly 和 Presper Eckert。
建造ENIAC的人当然有很多宝贵的经验，但也有很多事情他们没有考虑清楚。
所以ENIAC初步完成后，他们邀请冯·诺依曼来做顾问。
注：冯·诺依曼，第一台通用计算机ENIAC，仔细分析了这台机器的优缺点，然后提出了冯·诺依曼架构。
之后，我们都按照冯·诺依曼架构来构建计算机。
。
所以从某种意义上说，没有ENIAC，就不会有冯·诺依曼架构。
但如果没有冯·诺依曼架构，没有取得理论上的突破，仅仅遵循当年的ENIAC，就不会有今天的计算机，因为当时的ENIAC存在很多问题。
让我举一个例子。
如果你想听音乐或听完音乐后看电影，只需更换应用程序即可。
无需拆卸手机或拆卸电路板并重新组装。
但当时 ENIAC 的情况并非如此。
如果你想让它做别的事情，你就必须拔插机器内部的电线和管子，而且需要很长时间才能改变任务。
然后冯·诺依曼总结了ENIAC的得失，进行了科学探索，形成了冯·诺依曼架构，形成了我们现在计算机最基本的范式。
AI技术评论：所以从今年开始，您一直在理论和实践两方面努力。
陈云霁：是的，我们一直都是这样。
理论和实践应该相互印证。
记得毛主席的实践论提到，认识的第一次飞跃是从感性认识到理性认识，然后是第二次飞跃，从理性回到实践，如此循环往复。
理论和实践是密不可分的。
AI技术评论：您如何划分深度学习处理器的研究？陈云霁：这十几年，我们实际上做了两件事。
一是开发深度学习处理器帮助人工智能处理，二是利用人工智能帮助芯片设计。
这个问题（利用人工智能帮助芯片设计）现在也很热门。
例如，当我们设计一个特定的芯片时，里面有很多参数。
如果我们不知道哪个选择是最好的，我们可以使用人工智能方法来帮助我们做出选择。
还有布局和布线问题。
现在谷歌也在利用人工智能来做芯片布局布线（Placement & Routing）。
一块芯片里有数十亿甚至数百亿个晶体管。
它们需要用电线连接。
那么某个晶体管应该放在哪里呢？如何连接它们？这是一个非常复杂的问题，完全手动完成是不现实的。
AI技术评论：您的标志性作品之一获得了2018年ASPLOS最佳论文奖，所以您从2010年到2018年主要做了这两件事，对吗？陈云霁：是的。
这个过程其实是非常痛苦和具有挑战性的。
当时我们在做人工智能和芯片设计交叉研究的时候，就像身处迷雾森林，不知道东、西、北、南，甚至不知道有没有出口。
我们很困惑。
当我们告诉大家我们已经打造了一个深度学习处理器时，其实最困难的部分就已经结束了。
在最困难的时候，我们甚至不知道自己在做什么。
我们只知道我们要把人工智能和芯片设计结合起来。
合并后会发生什么？我们不知道。
AI科技评论：哪一刻你觉得自己有了线索？陈云霁：可能是这一年左右我开始有点感觉了。
AI科技评论：当时有哪些突破让你感觉不那么茫然了？陈云霁：不是。
我们不是坐在那里突然灵光一现，而是慢慢摸索，取得了很多小成功，最后汇成一个大突破。
在之前，我们最大的挑战可能是我们所做的研究没有得到当时学术界的认可，业界也不关心。
那么我们就无法发表论文或者申请这个（深度学习处理器）项目。
但我们相信自己的学术理想，所以最终能够坚持下来。
事实上，世界上有很多聪明人。
只要你有清晰的愿景并坚持下去，我想基本上是可以看到结果的。
AI科技评论：获得2017年ASPLOS最佳论文后，您的研究内容有变化吗？陈云霁：20年来，我们继续在这方面做了一系列工作。
例如，我们开发了全球首个深度学习处理器指令集Cambricon，并在ISCA上发布（获得最高分）。
我们获得国家自然科学奖的很多成果都体现在那篇文章（下）中，因为它总结了一些最基本的计算和内存访问知识。
论文链接：是的，现在想起来我还是蛮无知、无所畏惧的。
我觉得那个时候最重要的是有一个更好的环境。
坦白讲，现在国内学术界年轻研究者的压力其实很大。
他们必须被评为副教授、教授、博士生导师。
在如此巨大的生存压力下，他们还有勇气吗？你想走一个不被国际主流学术界认可的方向吗？另一方面，如果你想做一个国际原创的作品，那么在作品完成之前，肯定是不会被认可的。
做一件不被全世界认可的工作，然后通过自己的努力让这个工作得到国际学术界的认可，成为国际学术界的主流，这是最理想的情况。
这条道路的风险非常高，所以现在大多数年轻的研究人员只能屈服于生存的压力，朝着国际主流学术界认可的方向做一些贡献工作。
发表文章比较容易，职称评审的风险也会更小。
但真正原创和创新的工作往往是年轻的博士刚毕业时就完成的。
例如，爱因斯坦提出狭义相对论时只有25岁。
那么我们25岁的人现在还敢承担这么大的问题吗？这是个问题。
然而，没有人是圣人，必须考虑自己的实际生活。
我觉得还有一个选择，就是年轻的研究者可以花一半的时间做国际主流的研究，然后再花一半的时间做一些非共识的研究，这样可以平衡风险和收益。
我们当时也做了同样的事情。
AI科技评论：当时除了做深度学习处理器之外，还做了其他研究吗？陈云霁：是的。
从我刚毕业到被任命为研究员博士生导师，我的主要工作就是做龙芯的通用CPU。
当时胡伟武先生让我担任龙芯三号的主要架构师，龙芯三号是传统芯片。
所以我把大部分的精力都花在这上面了。
AI技术回顾：如果我当时all in，可能会受不了。
陈云霁：是的。
作为一名刚毕业的博士学生，我无法发表论文。
即使计算所不对我做什么，我也会感到不安。
但你不能说一个人没有被任命为教授就不能做出真正的原创性创新。
雷锋网AI科技点评：您刚才谈到了冯·诺依曼架构。
20世纪90年代，国际上掀起了开发神经网络计算机的热潮。
目前深度学习和神经网络处理器的研究与过去相比有哪些突破？解决了哪些当时无法解决的问题？陈云霁：20世纪90年代，别说国外，国内李国杰、陈国梁等院士都在这方面做了工作。
但当时的主要问题是他们当时能处理的神经网络非常小。
一般来说，有几层神经网络和一个神经元。
在深度学习时代，我们要处理的神经网络没有上限。
理论上，它可以达到数百层和数十亿个神经元。
这就带来了一个质的变化：如何用有限规模的硬件来处理它？无限规模的算法？这是20世纪90年代的工作不一定能解决的问题。
AI技术评论：您提出的深度学习处理器可以解决多大的神经网络？陈云霁：不受规模的限制。
AI技术点评：大模型预训练现在已经成为趋势，但由于对计算资源要求高、运行时间长、成本高，中小企业很难接受。
您对这一趋势有何看法？你们的研究能否弥补中小企业人工智能研究的短板？陈云霁：我认为随着计算技术的不断发展，大型模型会逐渐进入每个企业、每个人的视野。
就像视频编解码器一样。
在上个世纪，视频编码是只有大机器才能做的事情，也就是只有大公司才能做的事情。
但现在我们的手机可以对视频进行编码。
您可以拍摄视频，它会在手机上为您编码。
所以我非常看好大型模型，但这需要时间并遵循“摩尔定律”。
摩尔定律仍然非常强大。
雷锋网图解：英特尔联合创始人戈登·摩尔在2006年提出摩尔定律，认为“集成电路芯片上集成的晶体管数量每18个月增加一倍”，带来芯片计算能力的提升。
指数级增长也推动了通用计算机的快速发展。
AI科技评论：这不是意味着摩尔定律已经过期了吗？陈云霁：我上大学的时候就说过摩尔定律要过期了，但是现在还没有过期。
在晶体管结构、封装和器件材料方面也有很多创新，这可能会延续摩尔定律更长的时间。
我上大学的时候就听过一个说法，地球上的石油XX年就会用完，但是现在大家都说还有很多（石油）。
雷锋网AI科技点评：在您设想的通用智能处理器架构中，深度学习处理器、CPU、GPU分别扮演什么角色？陈云霁：他们的目标领域不同。
GPU是图形处理的，DSP是信号处理的，深度学习处理器是智能处理的，CPU是万能的。
在现代计算机架构中，CPU就像一个指挥官。
它不再以计算为主要职责，而是更多地扮演管理和调度的角色。
3、AI芯片人才培养 AI科技点评：据您观察，近年来AI芯片人才缺口是否有所改善？陈云霁：我们国家很多大学都设立了人工智能专业，或者人工智能学院。
但根据我以往的观察，人才培养还存在很大的不足。
不仅数量缺乏，修炼方法也缺乏。
大家都训练学生如何编写人工智能算法或者编写人工智能APP。
我们雷锋网长期存在的问题之一就是“头重脚轻”。
我们在应用层做得很好，但软硬件基础水平一般，基本不培养核心软硬件人才。
这是一个大趋势。
有一年，斯坦福大学邀请我教授一门关于智能计算系统基础软硬件的短期课程。
我上网查了一下，斯坦福没有这样的课程，所以就请我来教。
而中国没有这样的课程。
雷锋网我当时就在想，我们是不是应该做点什么？因此，2019年我们在中国科学院大学开设了国内首个课程，希望培养一批全面了解人工智能基础软硬件的人才。
AI科技评论：现在还提供课程吗？有效果吗？陈云霁：这个课程还在进行中，这几年取得了比较好的效果。
目前该课程已在全国80所高校开设。
我们把教材、教案、PPT、MOOC都写好了，放到网上。
我们还搭建了一个很大的云平台，供大家做实验。
雷锋网（公众号：雷锋网）从数据观察，我们现在已经培训了大约13000名学员。
本课程已被国立科学技术大学、中国科学技术大学、北京大学、清华大学、北京航空航天大学、复旦大学、上海交通大学等学校列入其本科生或研究生培养计划。
我们还为多所学校举办过多期辅导班/助教班，培训聘任教师、聘任助教。
雷锋网人工智能科技评论：您对人才培养有何建议和看法？哪些领域还需要加大投入？陈云霁：我们还是要理论联系实际。
不能只教理论，一定要让学生做实验。
我们程序员行业有句名言：Talk is Cheap。
显示代码。
（空谈是廉价的，给我看你的代码。
）如果你不实际编写代码，你就无法理解真正的智能。
计算系统如何工作。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-06
06-18
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态