首页 > 科技未来 > 内容

独家-创新工场首席科学家与周明:NLP与金融的“联姻”,从买得起的小模型开始

发布于:2024-06-18 编辑:匿名 来源:网络

6月6日,创新工场首席科学家、兰州科技创始人周明博士代表兰州科技在京与华夏基金签署战略合作协议宣布成立“金融NLP联合实验室”。

这是周明去年12月离开微软亚洲研究院后的又一重大举措。

周明·博士是我国自然语言处理(NLP)研究的先驱之一:他是中国第一个中英翻译系统CEMT-I(哈尔滨工业大学)、日本最著名的中日机器翻译产品J -北京(日本高密度株式会社开发者,曾任国际计算语言学协会(ACL)主席、中国计算机学会理事、中文信息技术专委会主任、术语工作委员会主任、 2008年,周明加入微软亚洲研究院,随后担任自然语言研究组的负责人、微软亚洲研究院副院长。

2020年,他从微软辞职,随后以首席科学家的身份加入创新工场。

2016年6月,他孵化了兰舟科技,7月推出了轻量级模型——“孟子”,在汉语理解评测CLUE排行榜上多项指标名列前茅。

登顶第一名便引起了众多关注。

如今,不到一年的时间,兰州科技就与华夏基金成立了“金融NLP联合实验室”,致力于实现NLP技术在金融场景的落地,成长速度确实很快。

根据《AI技术评论》与周明博士的对话,在这场与金融的“联姻”中,轻量级模型“孟子”将扮演重要角色。

华夏基金首席数据官陈一新表示,在过去的“金融+NLP”建设中,他们经常面临模型对行业场景适应性差、训练成本高、中文理解能力不足等问题。

面对金融领域高度专业化的文本和不断变化的应用场景,构建快速实现、易于迭代、适应金融垂直领域的中文NLP模型是迫切需要实现的目标。

这时,“孟子”的轻量级优势就发挥出来了。

周明对《AI技术评论》表示,“孟子”等轻量级模型部署成本低、可快速迭代、用户压力小、适应性强。

另外,通过知识融合和数据增强,能力可能不逊于大型模型,非常适合金融场景的需求,也更容易实现。

以下是雷锋网-AI科技评论与周明博士的对话: AI科技评论:您能简单介绍一下兰州科技与华夏基金成立金融NLP联合实验室的背景吗?周明:我年底离开微软亚洲研究院,到创新工场担任首席科学家职务。

我去年6月孵化了兰州科技。

兰州科技的核心技术是自然语言理解,可以用来实现文本的智能理解、搜索、问答、摘要、翻译、知识图谱等,但具体实现需要找场景。

当我刚创办兰州科技时,我首先想到的是金融。

当时我想,如果我想进入金融领域,我不应该与别人孤立,而应该有更紧密的合作。

我们需要了解金融的需求,金融方面也需要知道我们的技术优势和劣势,所以我开始寻找能够与我们紧密合作的金融合作伙伴。

就在去年10月,我受邀参加在上海举行的智能投资研究会议并做了专题报告,介绍了兰州科技的自然语言处理技术,包括“孟子”预训练模型。

华夏基金的杨思成就在观众席上,对我们很感兴趣。

他把我介绍给了华夏基金首席数据官陈一新,我们一拍即合。

我们都认为,过去科技公司和金融公司的项目合作模式还不够紧密。

项目制是甲乙双方制定需求,我围绕需求提供技术并按时交付。

但技术的不断迭代需要技术和场景的紧密结合,所以我和陈一新最终决定用“联合实验室”的方式,把大家放在一个篮子里,让AI能够随着市场的变化快速迭代,企业也可以更好地理解人工智能。

AI科技评论:项目制是目前AI/NLP与其他领域结合的主流合作形式吗?联合实验室相对较少吗?周明:是的。

这里我想说明一下,金融是一个特殊的领域。

与一些领域能够实现相对标准化服务不同,“AI+金融”或者“金融+AI”目前还没有定论。

金融需求不那么明确,场景多样。

与此同时,AI技术也在不断迭代。

例如,大型模型大约每三个月需要迭代一次。

因此,金融行业的人们对AI充满渴望,但又觉得太复杂,跟不上AI的步伐。

这样一来,项目体系就会产生一些问题,而联合实验室可以更灵活地应对这种快速变化的情况,发挥出双方的优势和特长。

AI科技评论:据您观察,目前国内落地NLP或者借助NLP技术进入金融领域的企业有很多吗?周明:两者都没有太多。

由于技术限制,NLP 实施起来比较困难,因此全球范围内 NLP 公司相对较少。

但百度、微软、谷歌等背后都有NLP团队,主要是服务于自己的业务和产品。

作为一个组件,比如拼写检查、文档分析、索引等,但是专门研究NLP技术的公司却很少。

近两年大模型出现后,NLP的能力得到了很大的提升。

一些人已经开始尝试基于NLP技术创业。

但由于疫情影响,他们无法实施,很多研究人员仍在等待机会。

也有一些公司使用NLP作为应用,比如客服公司,但他们并不专门研究NLP。

AI科技评论:金融业务有哪些特点? NLP在金融场景下能解决哪些问题?周明:我们先谈谈NLP(自然语言处理)技术。

目前,NLP领域有很多基于互联网海量数据训练的大规模预训练模型,在过去几年也引起了全世界的广泛关注。

然而兰州科技做出来的却是“孟子”轻量化典范。

该模型体积小、易于实现,并且具有分析、搜索、翻译、生成的能力。

NLP的这些能力在金融领域有很多用途,比如智能信息提取。

几乎所有财务单位都必须处理许多非结构化、结构化或半结构化文档,例如带有表格和字段的网页。

例如,资金的变化、昨天的价格、今天的价格、资金数量、买家数量、交易量、增减等,都可以写在年报中或者网页上。

我们将利用智能文档分析技术提取重要信息,形成数据库。

想想其他能力,NLP几乎贯穿于金融业务的方方面面,因此金融机构非常重视NLP技术。

然而,要很好地开发和部署NLP能力并以极低的成本快速、轻松地使用它们并不容易。

AI科技评论:在这次NLP与金融的结合中,“孟子”模式的落地是如何体现的?周明:“孟子”将体现在兰州公司的所有技术体系中,包括智能文档、信息抽取、知识图谱、搜索问答、文本生成等。

这些核心技术将全部进入公司与华夏共同建立的联合实验室中。

“孟子”会根据一些金融数据进行训练,获得处理金融数据的能力。

独家-创新工场首席科学家与周明:NLP与金融的“联姻”,从买得起的小模型开始

基于《孟子》,我们希望能够做金融领域的文档智能信息提取、OCR、舆情分析、雷暴事件分析、报警、风控等。

还可以对国内外金融信息进行提取、汇总、检索,自动生成年报。

呵呵市场预测等等,还有金融行业需要的客户服务、获客、客户优秀产品推荐、客户追踪、用户画像等。

AI科技解说:《孟子》强调小模型。

小模型在处理金融领域的问题上是否有独特的优势?周明:在一定情况下,模型越大、参数越多,泛化能力越强、水平越高。

这是共识。

然而,训练一个巨大的模型需要巨大的计算能力。

当使用大型模型时,推理也需要大型计算集群。

需要购买数百或数千张卡来支持运营。

一般企业(包括金融机构)承担不起。

性价比也降低了。

轻量级的模型给用户带来的压力非常小。

一般只使用少量的GPU,甚至有些任务只能使用CPU。

可以大大降低部署成本,而且快速、准确。

尽管性能可能比较大型号差一点,但对于大多数用户来说还是很划算的。

也是基于这个市场,我们在成立兰州科技的时候就决定做轻量化车型。

兰州科技是国内最早研究轻量化模型的企业之一。

我们在学习《孟子》的时候,以为模型的能力会被明显削弱,但后来我们发现,如果轻量级模型的算法通过考验,再加上知识的融合和数据的增强,轻量级模型未必会输给大模特。

这是一件非常了不起的事情。

注:今年7月,《孟子》横扫排行榜,在汉语理解评测CLUE排行榜中多项指标位居榜首。

AI科技评论:训练“孟子”需要多少算力?周明:算力比较低,孟子轻量级模型用16块GPU就可以训练,训练两三周就可以了。

当然,卡越多,速度就越快。

AI科技评论:轻量化模型更经济实用吗?周明:是的,尤其是对于中国用户而言。

“孟子”模式其实是一种妥协,不一味追求大模型,也不一味追求一两点能力的提升。

为了提高真实场景中的一两点能力,可以使用其他方法,例如更多的用户数据、应用知识迭代等。

当用户使用小模型时没有成本压力并且可以快速上手时,不仅帮助企业数字化转型,也帮助我们这样的科技公司尽快落地。

所以我觉得无论从哪个角度考虑,都应该朝着轻量化的模型方向努力。

AI科技评论:“孟子”模型之所以能在某些基准上超越大型模型,是因为它是针对特定任务进行训练的吗?周明:对于自然语言分析、理解、生成等一般任务,孟子的能力不亚于大型模型。

另外,由于与业务场景的紧密结合,包括与华夏的密切合作,我们知道问题的症结是有针对性的,可以添加新的数据或知识来提高下游任务的能力。

当提供给用户时,用户不会感知模型是大还是小、快还是慢、能力高还是低,而只关心解决任务的能力。

因此,与大模型相比,孟子实际上胜出。

AI科技解说:在金融这样的特定场景下,是不是更有利于“孟子”这样的轻量级训练模型的发展?周明:金融领域很特殊。

由于其数据不公开,大型模型不太适用。

应用于金融领域的模型应具有良好的适应性。

他们应该能够在收到数据后快速适应,并根据自己的任务特点快速迭代。

这样的模型其实是非常有能力的。

也因为金融的特殊性,场景过于复杂,需求过于多样化。

迄今为止,还没有一家NLP公司能够称霸金融领域。

AI科技评论:您一直是轻量化模型的追随者吗?周明:是的,我也是一名倡导者。

当其他人在做巨大的定量模型时,我却在做相反的事情。

当时很多人都笑我,说你穷,造不起大模型。

他们说得没错,但即使我有足够的资金,我仍然觉得我应该做轻量级的模型。

我不能因为片面追求人工智能最大化而浪费资源,造成大量污染。

这是错误的。

必须有社会责任。

另外,你还必须站在客户的角度考虑问题。

实施后,小型模型的成本是最低的。

我认为中国企业不能像谷歌、微软那样靠烧钱,而应该专注于算法、智能、商业场景。

这也是我们的特点,也更有可能成为我们的优势。

阅读原文,转载自雷锋网。

如需转载,请前往雷锋网官网申请授权。

听,中小企业反馈平台倾听用户的需求,倾听企业家的声音,解决中小企业的痛点。

点击立即参与调查并获得礼物。

独家-创新工场首席科学家与周明:NLP与金融的“联姻”,从买得起的小模型开始

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 当地文旅,在抖音

    当地文旅,在抖音

    排队“讨饭”抖音这一周追随者最快的达人是谁抖音? 河南文旅至少可以获得一项提名。 自1月9日起,原本仅有10万多粉丝的河南文旅抖音账号粉丝数量已增至数万。 不到一周,河南文旅就发了超过短视频关于当地文旅的帖子,官方调侃:“电脑冒烟了”。 随后,山东、河北、山西、沉

    06-17

  • 广电总局:打击利用广播电视、网络视听平台实施金融诈骗

    广电总局:打击利用广播电视、网络视听平台实施金融诈骗

    近日,广电总局召开打击电信网络诈骗工作会议。 会议强调,一方面要配合公安和广播管理部门加强对“黑广播”的管理,大力整顿“灰色广播”的无序行为;另一方面,要加强广告播出管理,坚决打击利用广播、电视、网络视听平台实施电信诈骗行为。 、金融诈骗等行为,坚决纠正虚

    06-18

  • 在线协同文档“一起写”获780万美元B轮融资,快手投资

    在线协同文档“一起写”获780万美元B轮融资,快手投资

    据投资界7月14日消息,国内在线协同文档服务商“一起写”宣布获得1万美元融资美元B轮融资以快手美元投资。 Write Together创始人蔡建表示:“国内文档协作市场已经打开。 未来,Write Together将持续开发办公系列应用功能,将产品矩阵延伸到整个办公场景。 本轮融资正是为了

    06-18

  • 韩国三星将停止向俄罗斯供应电话通讯设备和芯片

    韩国三星将停止向俄罗斯供应电话通讯设备和芯片

    央视(总台记者 王德禄 唐鑫)据多家外媒5日报道,韩国三星将停止向俄罗斯供应电话通讯。 设备和芯片。 此前,三星发表声明称,鉴于当前地区局势,已暂停前往俄罗斯的货船。 三星表示,停止向俄罗斯供货的原因是物流和运输出现问题。 公司目前正在积极关注当前复杂形势,制定

    06-06

  • 中科微通基于PCPHY PC802基带SoC的5G NR小基站通过运营商现网测试

    中科微通基于PCPHY PC802基带SoC的5G NR小基站通过运营商现网测试

    Bikochi通过运营商现网测试,充分验证了PCPHY SoC和基于其开发的5G小基站的能力商用部署和交付 近日,5G小基站基带芯片和电信级软件提供商Picocom宣布推出配备其PC小基站基带/物理层(PHY)片上系统(SoC)的集成5G NR。 该小基站产品近日通过中国运营商现网测试。 测试结果表

    06-06

  • 继苹果之后,微软也将打造“发电厂”

    继苹果之后,微软也将打造“发电厂”

    从Windows到Surface电脑,微软的大部分产品都给人一种特殊的感觉——直接、粗糙,非常科学和工程。 这一特点甚至体现在微软总部园区的设计中。 与Apple Park“船”形营造的奇幻相比,位于西雅图雷德蒙德的微软总部显得有些普通,没有特别引人注目的建筑。 您周围的社区。 这或

    06-21

  • “科创中国”新时代企业家谈话活动数字经济新势力创新创业沙龙在郑州举行

    “科创中国”新时代企业家谈话活动数字经济新势力创新创业沙龙在郑州举行

    10月22日下午,“科创中国”新时代企业家谈话活动数字经济新力量创新创业沙龙全国大众创业周在郑州主会场举行。 沙龙围绕数字经济新趋势、新场景、创新方向进行研讨交流,邀请创新创业先锋分享创业经验,鼓励更多年轻人抓住机遇,投身数字经济。 此次沙龙活动是在全国热议“数

    06-18

  • Aedikon完成新一轮8800万美元融资,凯雷仍为单一第一大股东

    Aedikon完成新一轮8800万美元融资,凯雷仍为单一第一大股东

    投资界(ID:pedaily)1月26日消息,第三方独立医学检测机构Aedikon控股有限公司及其旗下控制实体公司(以下简称“Adikon”)和凯雷投资集团(在美国纳斯达克上市,股票代码:CG,以下简称“凯雷”)今天宣布,Adikon已完成10,000美元优先股的发行融资。 此次融资获得超额认购

    06-18

  • 再次聚焦智能制造,“科创中国”专题路演成功举办

    再次聚焦智能制造,“科创中国”专题路演成功举办

    6月4日下午,“科创中国”系列路演首场活动——“科技传播助力智能制造(二)” )”成功举办。 智慧未来、逸飞智能、瑞坤科技、微库客等四家中小型科技公司参加了路演。 中国投资协会副会长、股权与创业投资专业委员会主任委员沈志群作为主办方代表致辞表示,线上路演有效促

    06-17

  • 《心血管系列报告8》聚焦移动心脏监测,看大象医疗如何舞动

    《心血管系列报告8》聚焦移动心脏监测,看大象医疗如何舞动

    大象医疗是中国科学院计算技术研究所(ICT)旗下子公司,专注于移动心脏监测的研发和销售心脏监护产品,并获得ICT孵化器智慧城市中科天使投资。 预计很快,全球首款为运动员或严肃运动爱好者量身定制的智能服装将面世。 这款智能服装通过织物电极与皮肤接触,可以监测心率、心

    06-17

  • 价值几十块钱的“冰淇淋刺客”让人心碎,价值上百块钱的毛绒玩具让大人争相掏钱

    价值几十块钱的“冰淇淋刺客”让人心碎,价值上百块钱的毛绒玩具让大人争相掏钱

    大人不想生孩子,却想养孩子。 宝贝是一个总称,可以是猫、狗,可以是泡泡玛特,可以是高达模型,也可以是毛绒玩具。 毛绒玩具行业的顶尖玩家中,除了IKEA Shark之??外,还有2001年创立于伦敦的Jellycat。 有一个小朋友非常喜欢Jelly和Cat,一想到把两者结合起来就会咯咯笑。

    06-21

  • 商务部:中国依然是全球外资重要目的地

    商务部:中国依然是全球外资重要目的地

    商务部新闻发言人高峰介绍,今年以来,我国吸收外资实现快速增长。 从近5个月的情况来看,外国投资者持续看好中国经济发展前景和中国市场的巨大潜力。 包括欧洲企业在内的各国投资者用实际行动证明,中国仍然是全球外资重要投资目的地。 商务部将继续推进高水平开放平台建设,

    06-18