首页 > 科技未来 > 内容

独家-创新工场首席科学家与周明:NLP与金融的“联姻”,从买得起的小模型开始

发布于:2024-06-18 编辑:匿名 来源:网络

6月6日,创新工场首席科学家、兰州科技创始人周明博士代表兰州科技在京与华夏基金签署战略合作协议宣布成立“金融NLP联合实验室”。

这是周明去年12月离开微软亚洲研究院后的又一重大举措。

周明·博士是我国自然语言处理(NLP)研究的先驱之一:他是中国第一个中英翻译系统CEMT-I(哈尔滨工业大学)、日本最著名的中日机器翻译产品J -北京(日本高密度株式会社开发者,曾任国际计算语言学协会(ACL)主席、中国计算机学会理事、中文信息技术专委会主任、术语工作委员会主任、 2008年,周明加入微软亚洲研究院,随后担任自然语言研究组的负责人、微软亚洲研究院副院长。

2020年,他从微软辞职,随后以首席科学家的身份加入创新工场。

2016年6月,他孵化了兰舟科技,7月推出了轻量级模型——“孟子”,在汉语理解评测CLUE排行榜上多项指标名列前茅。

登顶第一名便引起了众多关注。

如今,不到一年的时间,兰州科技就与华夏基金成立了“金融NLP联合实验室”,致力于实现NLP技术在金融场景的落地,成长速度确实很快。

根据《AI技术评论》与周明博士的对话,在这场与金融的“联姻”中,轻量级模型“孟子”将扮演重要角色。

华夏基金首席数据官陈一新表示,在过去的“金融+NLP”建设中,他们经常面临模型对行业场景适应性差、训练成本高、中文理解能力不足等问题。

面对金融领域高度专业化的文本和不断变化的应用场景,构建快速实现、易于迭代、适应金融垂直领域的中文NLP模型是迫切需要实现的目标。

这时,“孟子”的轻量级优势就发挥出来了。

周明对《AI技术评论》表示,“孟子”等轻量级模型部署成本低、可快速迭代、用户压力小、适应性强。

另外,通过知识融合和数据增强,能力可能不逊于大型模型,非常适合金融场景的需求,也更容易实现。

以下是雷锋网-AI科技评论与周明博士的对话: AI科技评论:您能简单介绍一下兰州科技与华夏基金成立金融NLP联合实验室的背景吗?周明:我年底离开微软亚洲研究院,到创新工场担任首席科学家职务。

我去年6月孵化了兰州科技。

兰州科技的核心技术是自然语言理解,可以用来实现文本的智能理解、搜索、问答、摘要、翻译、知识图谱等,但具体实现需要找场景。

当我刚创办兰州科技时,我首先想到的是金融。

当时我想,如果我想进入金融领域,我不应该与别人孤立,而应该有更紧密的合作。

我们需要了解金融的需求,金融方面也需要知道我们的技术优势和劣势,所以我开始寻找能够与我们紧密合作的金融合作伙伴。

就在去年10月,我受邀参加在上海举行的智能投资研究会议并做了专题报告,介绍了兰州科技的自然语言处理技术,包括“孟子”预训练模型。

华夏基金的杨思成就在观众席上,对我们很感兴趣。

他把我介绍给了华夏基金首席数据官陈一新,我们一拍即合。

我们都认为,过去科技公司和金融公司的项目合作模式还不够紧密。

项目制是甲乙双方制定需求,我围绕需求提供技术并按时交付。

但技术的不断迭代需要技术和场景的紧密结合,所以我和陈一新最终决定用“联合实验室”的方式,把大家放在一个篮子里,让AI能够随着市场的变化快速迭代,企业也可以更好地理解人工智能。

AI科技评论:项目制是目前AI/NLP与其他领域结合的主流合作形式吗?联合实验室相对较少吗?周明:是的。

这里我想说明一下,金融是一个特殊的领域。

与一些领域能够实现相对标准化服务不同,“AI+金融”或者“金融+AI”目前还没有定论。

金融需求不那么明确,场景多样。

与此同时,AI技术也在不断迭代。

例如,大型模型大约每三个月需要迭代一次。

因此,金融行业的人们对AI充满渴望,但又觉得太复杂,跟不上AI的步伐。

这样一来,项目体系就会产生一些问题,而联合实验室可以更灵活地应对这种快速变化的情况,发挥出双方的优势和特长。

AI科技评论:据您观察,目前国内落地NLP或者借助NLP技术进入金融领域的企业有很多吗?周明:两者都没有太多。

由于技术限制,NLP 实施起来比较困难,因此全球范围内 NLP 公司相对较少。

但百度、微软、谷歌等背后都有NLP团队,主要是服务于自己的业务和产品。

作为一个组件,比如拼写检查、文档分析、索引等,但是专门研究NLP技术的公司却很少。

近两年大模型出现后,NLP的能力得到了很大的提升。

一些人已经开始尝试基于NLP技术创业。

但由于疫情影响,他们无法实施,很多研究人员仍在等待机会。

也有一些公司使用NLP作为应用,比如客服公司,但他们并不专门研究NLP。

AI科技评论:金融业务有哪些特点? NLP在金融场景下能解决哪些问题?周明:我们先谈谈NLP(自然语言处理)技术。

目前,NLP领域有很多基于互联网海量数据训练的大规模预训练模型,在过去几年也引起了全世界的广泛关注。

然而兰州科技做出来的却是“孟子”轻量化典范。

该模型体积小、易于实现,并且具有分析、搜索、翻译、生成的能力。

NLP的这些能力在金融领域有很多用途,比如智能信息提取。

几乎所有财务单位都必须处理许多非结构化、结构化或半结构化文档,例如带有表格和字段的网页。

例如,资金的变化、昨天的价格、今天的价格、资金数量、买家数量、交易量、增减等,都可以写在年报中或者网页上。

我们将利用智能文档分析技术提取重要信息,形成数据库。

想想其他能力,NLP几乎贯穿于金融业务的方方面面,因此金融机构非常重视NLP技术。

然而,要很好地开发和部署NLP能力并以极低的成本快速、轻松地使用它们并不容易。

AI科技评论:在这次NLP与金融的结合中,“孟子”模式的落地是如何体现的?周明:“孟子”将体现在兰州公司的所有技术体系中,包括智能文档、信息抽取、知识图谱、搜索问答、文本生成等。

这些核心技术将全部进入公司与华夏共同建立的联合实验室中。

“孟子”会根据一些金融数据进行训练,获得处理金融数据的能力。

独家-创新工场首席科学家与周明:NLP与金融的“联姻”,从买得起的小模型开始

基于《孟子》,我们希望能够做金融领域的文档智能信息提取、OCR、舆情分析、雷暴事件分析、报警、风控等。

还可以对国内外金融信息进行提取、汇总、检索,自动生成年报。

呵呵市场预测等等,还有金融行业需要的客户服务、获客、客户优秀产品推荐、客户追踪、用户画像等。

AI科技解说:《孟子》强调小模型。

小模型在处理金融领域的问题上是否有独特的优势?周明:在一定情况下,模型越大、参数越多,泛化能力越强、水平越高。

这是共识。

然而,训练一个巨大的模型需要巨大的计算能力。

当使用大型模型时,推理也需要大型计算集群。

需要购买数百或数千张卡来支持运营。

一般企业(包括金融机构)承担不起。

性价比也降低了。

轻量级的模型给用户带来的压力非常小。

一般只使用少量的GPU,甚至有些任务只能使用CPU。

可以大大降低部署成本,而且快速、准确。

尽管性能可能比较大型号差一点,但对于大多数用户来说还是很划算的。

也是基于这个市场,我们在成立兰州科技的时候就决定做轻量化车型。

兰州科技是国内最早研究轻量化模型的企业之一。

我们在学习《孟子》的时候,以为模型的能力会被明显削弱,但后来我们发现,如果轻量级模型的算法通过考验,再加上知识的融合和数据的增强,轻量级模型未必会输给大模特。

这是一件非常了不起的事情。

注:今年7月,《孟子》横扫排行榜,在汉语理解评测CLUE排行榜中多项指标位居榜首。

AI科技评论:训练“孟子”需要多少算力?周明:算力比较低,孟子轻量级模型用16块GPU就可以训练,训练两三周就可以了。

当然,卡越多,速度就越快。

AI科技评论:轻量化模型更经济实用吗?周明:是的,尤其是对于中国用户而言。

“孟子”模式其实是一种妥协,不一味追求大模型,也不一味追求一两点能力的提升。

为了提高真实场景中的一两点能力,可以使用其他方法,例如更多的用户数据、应用知识迭代等。

当用户使用小模型时没有成本压力并且可以快速上手时,不仅帮助企业数字化转型,也帮助我们这样的科技公司尽快落地。

所以我觉得无论从哪个角度考虑,都应该朝着轻量化的模型方向努力。

AI科技评论:“孟子”模型之所以能在某些基准上超越大型模型,是因为它是针对特定任务进行训练的吗?周明:对于自然语言分析、理解、生成等一般任务,孟子的能力不亚于大型模型。

另外,由于与业务场景的紧密结合,包括与华夏的密切合作,我们知道问题的症结是有针对性的,可以添加新的数据或知识来提高下游任务的能力。

当提供给用户时,用户不会感知模型是大还是小、快还是慢、能力高还是低,而只关心解决任务的能力。

因此,与大模型相比,孟子实际上胜出。

AI科技解说:在金融这样的特定场景下,是不是更有利于“孟子”这样的轻量级训练模型的发展?周明:金融领域很特殊。

由于其数据不公开,大型模型不太适用。

应用于金融领域的模型应具有良好的适应性。

他们应该能够在收到数据后快速适应,并根据自己的任务特点快速迭代。

这样的模型其实是非常有能力的。

也因为金融的特殊性,场景过于复杂,需求过于多样化。

迄今为止,还没有一家NLP公司能够称霸金融领域。

AI科技评论:您一直是轻量化模型的追随者吗?周明:是的,我也是一名倡导者。

当其他人在做巨大的定量模型时,我却在做相反的事情。

当时很多人都笑我,说你穷,造不起大模型。

他们说得没错,但即使我有足够的资金,我仍然觉得我应该做轻量级的模型。

我不能因为片面追求人工智能最大化而浪费资源,造成大量污染。

这是错误的。

必须有社会责任。

另外,你还必须站在客户的角度考虑问题。

实施后,小型模型的成本是最低的。

我认为中国企业不能像谷歌、微软那样靠烧钱,而应该专注于算法、智能、商业场景。

这也是我们的特点,也更有可能成为我们的优势。

阅读原文,转载自雷锋网。

如需转载,请前往雷锋网官网申请授权。

听,中小企业反馈平台倾听用户的需求,倾听企业家的声音,解决中小企业的痛点。

点击立即参与调查并获得礼物。

独家-创新工场首席科学家与周明:NLP与金融的“联姻”,从买得起的小模型开始

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 整装待发,乐视人工智能之路

    整装待发,乐视人工智能之路

    8月14日晚上11点30分,我和左志坚约在进贤路“小龙虾”。 那家店是他的朋友和张嘉佳开的。 我两次上网发起众筹,一听说开业,就淹没了上海文艺圈的朋友圈。 左志坚经常来这个地区吃宵夜,会见各种各样的人,谈论一些与工作无关的事情。 在上海呆了近20年,虽然感觉城市之间没

    06-17

  • 男士综合洗护品牌“理然”完成近1.5亿B轮融资

    男士综合洗护品牌“理然”完成近1.5亿B轮融资

    投资社区(微信ID:pedaily)1月21日,男士综合洗护品牌“理然”完成近1.5亿B轮融资,由M31领投与五源资本共同领投,老股东SIG、虎扑等机构持续加大投资。 这是其推出一年多以来完成的第五轮融资。 理然品牌于今年1月正式推出,定位为男士综合个人护理品牌。 产品线涵盖面部护

    06-18

  • 通用微完成5000万元A+轮融资,大辰创投领投

    通用微完成5000万元A+轮融资,大辰创投领投

    据投资界7月10日消息,GMEMS Technologies, Inc.已完成1万元A+轮融资。 本轮融资由大辰创投领投。 晨光创投领投,汉桥资本跟投,原投资方北极光创投继续跟投。 通用微还于2016年获得了北极光创投的A轮融资。   通用微成立于今年6月,是一家端侧智能语音传感器芯片和整体智

    06-17

  • 合并Nest的背后,谷歌要打造统一的智能家居平台

    合并Nest的背后,谷歌要打造统一的智能家居平台

    你还在为朋友圈里的各种弹窗广告、硬广告、挡不住的弹窗广告而烦恼吗?你是否出于同情而被迫向朋友转发广告,或者你在公众号上阅读故事,毫无防备地突然弹出广告?从今天起,一个名为《互联网广告管理暂行办法》的规定将为您解决这些烦恼。 9月1日起,国家工商总局颁布的《互

    06-18

  • 深圳:交易参考价将成为按揭贷款重要依据,四大银行实施细则仍在起草中

    深圳:交易参考价将成为按揭贷款重要依据,四大银行实施细则仍在起草中

    记者从招商银行深圳分行获悉,该行将使用二手房市住房城乡建设局发布的房屋交易参考价作为贷款发放的重要参考依据,具体细则仍在起草中,但此类贷款明确包括“全部房地产抵押贷款”。 中国建筑工建四大国有银行深圳分行已明确,政府发布的二手房交易参考价格将作为按揭贷款的

    06-17

  • 我国首条金属溅射薄膜压敏芯片生产线预计10月在浏阳竣工

    我国首条金属溅射薄膜压敏芯片生产线预计10月在浏阳竣工

    湖南省人民政府门户网站《奋力拼搏,高质量完成净化车间建设并启动安装》我国第一条自主研发的金属溅射薄膜压敏芯片生产线预计10月份建成投产。 ”湖南奇泰传感科技有限公司董事长王国秋表示。 湖南师范大学理学院博士生导师。 王国秋教授带领团队自主研发压敏传感芯片10年,

    06-06

  • 李斌不妨反其道而行之

    李斌不妨反其道而行之

    作为一名连续创业者,李斌不乏主动否定自我的经历。 2004年,时任易车CEO的李斌曾想围绕汽车行业建立一个庞大的媒体矩阵。 在鼎盛时期,它不仅拥有四本杂志、十多个报纸专栏、十多个广播节目,还拥有一个数字电视频道。 但李斌高估了协调的作用,却低估了其成本。 到了这一年

    06-17

  • 【融资24小时】2022年9月6日投融资事件汇总及详情

    【融资24小时】2022年9月6日投融资事件汇总及详情

    今日国内市场共发生16起投资披露事件,3家企业服务(凯王数据、九丈云极速DataCanvas、ILLA云)艾拉云科)、医疗健康案例3个(康迪泰克、益诚健康、苏州百脉生物)、本土生活案例2个(吉客众创、麦子燕茶)、先进制造案例2个(一化、宁夏汉尧)、传统制造案例2个(良品)友排

    06-17

  • IDG因对未来不满意或增持“兄弟项目”8次退出乌镇旅游

    IDG因对未来不满意或增持“兄弟项目”8次退出乌镇旅游

    7月23日,中青旅宣布收购IDG持有的“乌镇旅游”15%股权控股公司。 本次交易完成后,公司将持有乌镇旅游股份有限公司66%的股份。 乌镇2012年净利润2.3亿元/ROE 15.3%,13H1净利润约1.34元。 双方确定交易金额约1万美元,约11倍PE(目前休闲文化景区PE约20~30倍),IDG近8.4倍回

    06-18

  • 大更新!你不用再在微信上从头听起60秒的长语音了,随时可以暂停

    大更新!你不用再在微信上从头听起60秒的长语音了,随时可以暂停

    1月15日,微信iOS版8.0.17更新。 乍一看,它仍然是“解决一些已知问题”的常规更新,但大多数人不知道的是,大家期待的“语音进度条”有不同的解决方案——暂停播放。 对于长语音,在播放过程中按住可暂停语音。 右侧将出现“继续播放”按钮。 单击该按钮,语音将继续播放。

    06-21

  • 黑格科技完成6000万美元B1轮融资,由阿联酋科技巨头G42集团投资

    黑格科技完成6000万美元B1轮融资,由阿联酋科技巨头G42集团投资

    据投资界12月6日消息,黑格科技正式宣布完成1万B1轮融资,投资方为阿联酋科技巨头G42集团。 此前,黑格科技11月宣布完成IDG领投的3.25亿元人民币A轮融资。 此次投资的G42集团是阿联酋多项国家战略科技项目的承担者,重点关注人工智能、大数据和云计算。 集团拥有中东最大、最

    06-17

  • 辉瑞创新偏头痛特效药首发美团购药平台上线

    辉瑞创新偏头痛特效药首发美团购药平台上线

    3月9日,辉瑞新一代偏头痛特效治疗口服靶向口腔崩解片在美团购药平台上线上线。 作为全球首个也是唯一一个采用口腔崩解片专利技术的降钙素基因相关肽(CGRP)受体拮抗剂,这一创新药物可以帮助患者有效阻断与偏头痛发作相关的关键通路。 美团即时配送和自营买药平台的上线,将

    06-18