21上半年北美风险投资同比增长116%至1550亿美元，新增独角兽161家
06-17
从今年下半年开始，随着深度学习的发展，以Diffusion、ChatGPT为代表的颠覆性AI应用破圈，标志着重大突破在人工智能领域引发全球共鸣。
很多人把ChatGPT的出现比作“蒸汽机”，人工智能进入了“工业时代”。
作为上海市市级产业投资基金，上海人工智能产业投资基金按照打造人工智能“上海高地”的战略部署，始终密切跟踪人工智能产业链技术及技术带来的商业模式变化。
。
以下是我们近期对人工智能技术和产业发展趋势的思考： 核心观点： ??ChatGPT 展现出极强的语义理解能力、多轮沟通对话能力、推理推理能力，代表着人工智能的变革。
情报研究范式。
基于Transformer的软硬件标准化趋势的确立，让我们有理由相信并兴奋：我们正站在AI产业革命的转折点——而不是说ChatGPT证明了某项的成功AI研究路线，倒不如说它更大的意义在于，它证明了AI这些年一直在趋同但仍然有多种路线可供选择。
最终，它真的会找到出路：AI产业技术革命终将到来。
??大语言模型采用自然语言交互，颠覆了原有的人机交互方式。
从键盘鼠标、触摸屏、语音，人机交互方式的变化重塑了信息产业的形态。
人工智能驱动的自然语言交换不仅加速了虚拟世界的建立，带来生产力的革命，而且重塑了生产关系。
现实世界的下游应用有望被重构。
??随着参数规模不断增大，计算能力和训练成本仍然存在瓶颈。
大型机型的性能天花板还远未到来。
甚至算法也需要基于硬件进行优化，包括芯片级优化、数据中心架构优化、机器学习分布等。
包括框架在内的软硬件联合调优等算力创新将成为破局、转动AI算力-AI应用的产业飞轮的关键。
??大模型参数是社会底层知识和学习材料的载体，具有极高的社会、经济和文化价值。
考虑到全球政策环境、企业私有化部署的需要以及跨境数据的合规风险等因素，在中国建立独立的大规模模型的紧迫性可见一斑。
路虽阻且长，但旅程即将来临。
如何用好人工智能工程这一构建大模型的核心能力，利用中国的规模效应快速普及大模型、完善闭环，是破局的机会。
============================================= 1. 拐点即将到来：大模型研发范式的改变，标志着人工智能真正走向工业化生产。
ChatGPT 的功能如何出色？与之前的Chatbot相比，我们可以看到一个令人惊叹的ChatGPT：它对用户意图有着出色的理解和把握，具有良好的多轮沟通对话、记忆、归纳和演绎能力，能够识别高级答案，并且懂得如何回答。
一次进行一步。
一步解决用户问题，逻辑有序地输出答案。
ChatGPT背后的技术突破和能力发展？任何人工智能技术都不是空中楼阁。
在惊叹以ChatGPT和Diffusion为代表的AIGC惊人能力的同时，我们看到的却是经过深度学习算法、算力提升、数据积累三波浪潮以及背后数十年的“奇迹”。
酝酿多年。
??大型语言模型（LLM）标志着AI研究范式的转变：拉长NLP技术的发展时间周期，早期（2016年左右）的NLP任务采用传统的“特征提取+机器学习”进行研究，而第二阶段的转型则是“预训练模型+微调”范式，他们都致力于“训练模型”，即根据下游任务调整预训练模型来帮助机器了解人类的意图。
以ChatGPT为代表的GPT3.0“预训练模型+提示”范式中，通过“训练大模型”大大缩小预训练任务与下游任务之间的统计分布差距，让计算机适应人类习惯的命令表达提高整体任务的多功能性和用户体验，使通用基础模型成为可能。
??模型规模激发能力突变：研究表明，大型模型能力的许多惊人突破并不是一个线性过程，而是当模型规模达到一个数量级时会发生突然的“进化”（Scaling Law）。
当LLM参数数量达到一定数量（比如1亿）时，模型的能力会发生突变。
GPT 3.0模型下亿级参数“涌现”的强大智能性能验证了ScalingLaw的有效性，从而获得了大模型而不是小模型所存在的涌现能力。
更深层次的人类活动信息变成可用数据，进一步激发模型数据飞轮效应。
从神经网络的角度来看，人脑大约有数万亿个神经元。
GPT-3有1亿个参数，预计OpenAI的GPT-4模型参数量会变得更大，但距离人脑数万亿个神经元还很远。
随着算力的进步，参数规模的增加是否能够带来新的特征，值得期待。
我们相信，随着参数和模型规模的增加，大语言模型的新能力将进一步释放。
??标准化趋势正在加速：在算法层面，大模型的核心Transformer有统一算法的趋势。
图像、自然语言理解、多模态等主要技术路线基本都是基于Transformer实现的。
算法的收敛在一定程度上使得硬件收敛成为可能，Transformer加速引擎成为算力的必备。
虽然算法、软件、硬件尚未完全标准化，但我们可以清晰地看到LLM标准化进程正在加速，“通用技术”的三大特征逐渐显现，即普遍适用性、动态演进性、创新互补性。
它有望成为推动工业革命的增长引擎。
2、推陈出新。
人机交互方式的变化引发产业生产力变革，产业链将被重构。
回顾科技进步和产业变革的历史，我们可以发现，历次科技革命和产业革命都给人类生产生活带来了变化。
技术、产品和服务。
科技革命的标志性科学成果和工业革命的主导技术往往具有颠覆性，都对解放生产力、推动人类文明演进产生了深远影响。
??大语言模型推动的本质变革是改变人机交互的方式。
自然语言已经成为人机交互的媒介。
计算机可以理解人类的自然语言，不再依赖固定代码、特定模型等中间层。
以手机、平板等为载体的人机交互可能会在元宇宙场景中以更加自然的方式展现，移动互联网时代的人工智能应用可能会被重塑。
??交互方式的改变将引发各行各业的生产力革命：用来嫁接计算机和人类的软件“中间层”将不复存在，产品形态将发生变化，软件可以快速支持自然语言界面而无需开发并调用它们。
API接口。
劳动对象和生产关系将发生相应变化，人工智能软件开发门槛降低，用户群体扩大，企业内部研发与产品的界限越来越模糊；产品将根据用户反馈直接进行调整，产业链将进一步缩短，生产效率将提高。
新的需求、职业、市场空间、商业模式即将出现。
数据模型叠加的工业飞轮将彻底改变很多传统产业和产业格局。
??大规模工业生产格局有望体现：生产方式将从“农业时代”走向“工业时代”，AI产业生态将从各垂直领域各有模式转变以往的应用领域多采用大型机型进行应用，具有更大的通用性。
AI产业链将呈现底层基础设施（芯片/云服务商）——大模型——PromptEngineering平台——终端应用的横向分工。
我们大胆推测，由于预训练模型需要大量的成本和技术投入，类似于台积电和英伟达，大型模型/AI平台的进入门槛较高，一般参与者仍以大型互联网公司和行业为主。
巨人。
，未来可能只有1-2家公司扩展该模式的底层基础设施。
原本希望通过垂直化、场景化、个性化的模式和应用工具拓展为平台型企业的中型企业之间的竞争可能会变得越来越激烈；了解行业痛点，快速提取生成场景化、定制化、能够打造个性化小模型、实现不同行业、领域的工业流水线部署的企业才能生存。
贴近业务的应用型企业依靠人工智能在实施场景中为真实数据带来更大的价值。
这在一定程度上体现了工业生产规模化的特点，即产业分工化、标准化、规模化。
??所有下游应用都有望被重构：随着基础模型和工具层的兴起，构建应用的成本和难度将大大降低。
对于应用开发者来说，所有下游应用都值得重构。
传统企业（+AI）将享受低成本构建应用模型的便利，利用场景和行业知识的优势更快地拥抱数字化转型，大幅提升效率和体验；初创公司（AI+）聚焦高价值场景，颠覆现有业务，在自己擅长的方向上突破，在大公司之前搭建一个数据飞轮，形成壁垒。
3、超越摩尔定律，算力瓶颈下的软硬件联合优化成为打破局面的关键。
新工业革命的主导技术和产业不再呈现单一特征，有可能演变成多种交叉技术组成的技术集群。
不断地同步、约束、叠加和“纠缠”。
回顾人工智能行业的发展历史，每一波重大发展都与计算能力的提升和数据的爆炸相结合。
软件和算力的供需失衡和能力追赶持续催生对创新技术的需求。
关键技术一旦取得突破，将带动整个产业群的发展。
??受摩尔定律影响，AI训练成本高昂，目前硬件算力的成本和供给远远不能满足不断增长的内存和计算需求。
呈指数级增长的不仅仅是大型语言模型的参数大小。
LLM直接将更大、更深层次的人类活动信息转化为可用数据，引发全球数据量激增。
根据Google统计，DNN的内存和计算需求每年增长约1.5倍（内存增长0.97-2.16，计算能力增长1.26-2.16）；但计算能力供给不能满足需求。
从 2017 年到 2017 年，每美元的 NVIDIA GPU 计算能力增加了 7.5 倍（P4 GFLOPS/$ 到 H30 GFLOPS/$），GPU 计算能力增加了约 69 倍（P2TFLOPS 到 HTFLOPS），GPU 效率增加了约 59 倍（ P73.3 TFLOPS /kw 至 HT FLOPS/kw)。
虽然GPU在各种效率上有了显着提升，但从长远来看，算力需求每年增长约1.5倍，这有些不可持续。
我们估计，在最好的情况下，基于一般技术渗透率，NVIDIA GPU的计算能力每年将增长1倍。
根据规则，算力水平仍需要一定程度的优化，否则难以与应用形成良好的正反馈效应，从而提高行业的渗透率。
如何实现AI算力的技术突破、降低成本、扩大规模、提高AI训练的边际效益将成为技术创新的重点。
由此产生的算力创新需求包括：芯片级优化。
过去十年，芯片性能的提升有60%以上直接或间接受益于半导体工艺的改进，而只有17%来自芯片架构的升级。
随着摩尔定律放缓，每米门的成本将继续增加（例如从 28 纳米的 1.30 美元增加到 7 纳米的 1.52 美元），这主要是由制造这些芯片的复杂性增加所驱动的——制造步骤的增加远远超过了制造步骤的增加。
从经济上。
同时，制造难度的增加也会增加良率带来的损失。
有必要通过将大芯片分成更小的Chiplet来提高产量/良率并降低制造成本。
数据中心架构优化。
据NVIDIA预计，到2020年，数据中心能耗将占社会总能耗的3-13%，数据中心架构也在不断演变，从最初的CPU作为计算能力的单一来源，到引入CPU软件架构定义，到GPU和DPU的加入 GPU和DPU的引入，使得数据中心内的三大计算芯片之间的分工明确，从而提高了整个数据中心的效率。
机器学习的分布式框架。
大模型、大算力必然需要多机多卡训练。
以ChatGPT为例，一次训练需要3.14×E23 FLOPS算力。
然而，在从训练到推理的过程中，模型参数的数量保持不变，分布式框架对加速优化有很大帮助。
以NVIDIA A为例，A的早期训练效率仅为20%。
分布式框架优化后，效率可提升30%~40%，整体效率提升至50%~%。
4、时不我待：中国自主大型模式的必然性、机遇与挑战。
以OpenAI、微软等为代表的发达国家巨头新一轮技术创新和产业升级密集投入的效应正在逐步显现。
新一轮科技革命和产业革命“技术经济范式”的变化逐渐清晰。
科技和产业革命必然伴随着观念、知识、制度乃至社会价值观和国际话语权的深刻变革，引发新一轮国际经济竞争。
ChatGPT的出现意味着AI行业横向分工的条件基本成熟。
世界不需要很多大型模型，但大型模型的参数作为社会底层知识和学习材料的载体，具有极高的社会、经济和文化价值。
基于全球政治环境、代表中国大中型企业私有化部署的需求以及跨境数据的合规风险和安全考虑，我们相信中国一定会有自己的LLM（大型模式）。
毫不夸张地说，中国自主大型模型的建设是一场人工智能领域的全方位军备竞赛。
这就需要超大规模的智能计算平台来优化从芯片、系统、网络、存储到数据的整个系统。
它还需要一个能够独立控制更多环节的解决方案，以实现全局优化。
虽然目前我们在算力、优质数据集、专业人力资源、应用生态等方面与海外存在较大差距，但以百度、腾讯、阿里巴巴为代表的中国科技公司已经在云、数据、芯片、云计算等领域取得了长足的进步。
复杂系统初步获得了参加本次ChatGPT竞赛的“入场券”。
尽管各方面还存在较大代沟，但我们坚信，基于多年的建模、训练和参数调整积累，加大长期资金和人才投入，深度融合数据和场景，以及底层训练数据，我们能够独立自主大车型的闭环业务还是有机会的。
如何追赶？核心能力在于工程能力和应用规模。
人工智能作为一个系统工程项目，需要庞大团队的支持。
类比搜索引擎公司，搜索引擎的障碍不在于算法本身，而在于工程要求。
例如，谷歌搜索引擎和今日头条推荐都需要很强的工程能力。
从OpenAI的GPT-1到GPT-3再到现在的ChatGPT，模型结构完全没有改变（transformer解码器）。
一个产品仍然需要数百名正式员工和数千名注释者花费三年的时间来打磨——人工智能工程正是中国的机会。
与此同时，中国几乎所有的互联网公司都是人工智能公司。
中国的规模效应有望让大型车型快速普及完善闭环，成为中国企业奋起直追的机会。
================================================= 人工智能已经为经济的自动化、智能化做出贡献，大型AI模型的最终目标是AGI（通用人工智能）。
大的AI模型可以更好地学习人类用来传递信息的载体，在此基础上，各种媒体之间的互操作成为可能。
当这一目标实现后，人类各种经济活动所产生的信息的生产、传输、分配和消费都可以程序化，万物的智能成本将无限降低，人类的生产力和创造力将进一步解放。
相信长期的力量。
上海人工智能基金坚持长期主义，帮助人工智能从业者在这场系统性持久战中保持冷静。
上海人工智能产业基金经上海市政府批准，由国盛集团、临港集团联合市财政、市大型产业集团共同发起设立。
上海临港科技创新投资管理有限公司担任基金管理人。
旨在落实世界人工智能大会成果，加快上海人工智能高质量发展。
基金聚焦人工智能核心技术和关键应用，同时注重优秀企业家的支持和生态资源的不断积累。
致力于打造连接人工智能产业发展各要素的“一站式”平台，助力打造人工智能“上海高地”。
，同时为产业升级转型创造长期价值。
ChatGPT的能力为人工智能产业链注入了新的活力。
尽管仍处于起步阶段，但其创意能力充满想象力，有望带动AIGC应用的快速爆发。
作为驱动数据经济的底层技术，人工智能技术有望迎来新的发展机遇，赋能数字时代人类生产力和创造力进一步解放和创新。
上海人工智能基金将通过技术引领和场景赋能，持续推动人工智能成为推动新一轮科技革命和产业变革的重要力量。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-17
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态