首页 > 科技启迪 > 内容

适配低端计算芯片,APUS-xDAN大模型4.0(MoE)正式开源

发布于:2024-06-17 编辑:匿名 来源:网络

4月2日,APUS与战略合作伙伴新丹智能联合训练开发千亿MoE(Mixture of Experts)架构模型,在 GitHub 上正式开源。

从适配低端计算芯片实现行业普惠,到提升国内最开源MoE架构千亿参数大模型模型的质量和效率,APUS-xDAN大模型4.0的应用趋势(教育部)预计会来。

与国内其他大型模特公司相比,此次与APUS联合开大型模特的新丹智能年龄稍显年轻,但其创始团队却相当豪华:这是一支由清华大学、伯克利分校、腾讯、Meta等顶尖学者组成的团队。

与精英在工程界组建的团队包括全球最大开源AI社区的知名开发者以及腾讯云高层架构师。

今年3月初,完成了由APUS和AI行业领投的千万级天使轮融资。

资深投资人周弘扬共同投资。

此次两方强强联手,整合各方优势,让APUS-xDAN Large Model 4.0(MoE)的综合性能在GPT-4等低端计算芯片上达到GPT-4的90%。

这一突破将为中国企业应用大模型技术提供更大价值,并通过算法优化进一步成功解决“算力卡顿”问题。

适配低端算力芯片,开启普惠科技新时代。

面对国内计算资源的限制和国际技术封锁,APUS董事长兼首席执行官李涛表示:“中国必须突破美国设计的‘算力陷阱’。

‘一方面,我们需要进化算法,一方面,我们需要用低端算力构建高端模型;另一方面,我们需要不断推动应用生态的演进,只有坚持双向演进,才能实现突破。

” 。

是的,APUS-xDAN Large Model 4.0(MoE)是一个具有数千亿参数的大型模型,集数据、工程和芯片上的平滑运行于一体。

APUS-xDAN大型模型4.0(MoE)进一步打破美国半导体出口管制,成功帮助中国AI产业在模型应用上实现普惠利益。

实际测试显示,在技术指标方面,APUS-xDAN Large Model 4.0(MoE)的GSM8K数学能力得分为79分,MMLU理解能力为73分,BBH推理能力为66分。

综合性能超过了GPT3.5,接近GPT4,甚至在数学能力上碾压马斯克的开源Grok。

对于政府来说,APUS-xDAN大型模型4.0(MoE)的诞生,意味着我国在国内计算资源有限的情况下,仍然可以独立构建和运行最超大规模的语言模型,大大提高国家水平的技术自我-充足性。

能力和战略安全。

对于企业和个人开发者来说,尤其是资金有限的小创业者,不需要花费巨资购买A、H等高端GPU,只需要使用相对经济的GPU来控制这个强大的AI工具,这大大降低了成本。

实现人工智能技术普及和广泛应??用的创新门槛。

国内千亿参数MoE架构模型开源,重塑性能边界。

不难发现,开源的APUS-xDAN大模型4.0首次引入MoE(Mixture of Experts)架构,成为国内最开源的千亿参数MoE架构大模型。

与其他声称拥有MoE架构但未经开源验证的模型相比,APUS-xDAN Large Model 4.0(MoE)真正将MoE架构应用于超大规模模型。

值得一提的是,APUS-xDAN Large Model 4.0(MoE)采用了与GPT4类似的MoE架构。

它的特点是多专家模型的组合。

仅同时激活和使用2个子模块。

实际运行效率相比同尺寸的传统Dense模型有所提升。

%,推理成本降低%。

在实际部署中,通过进一步的高精度微调和量化技术,模型尺寸缩小了10%,形成了可在消费级显卡上运行的最大1000亿MoE的中英文模型。

这些特性赋予了APUS-xDAN Large Model 4.0(MoE)在处理复杂任务时优异的学习效率和模型能力,为人工智能的边界扩展注入澎湃动力,为中国AI产业开辟了新的突破路线,成为先行者在国产大型车型的创新探索中。

此次APUS-xDAN大模型4.0(MoE)拥有令人瞩目的亿参数规模,超越目前国内开源模型——阿里巴巴的钱文72B(亿参数),综合性能达到TOP水平主流大型车型。

这一历史性突破不仅见证了我国在超大规模预训练模型研发领域的重大飞跃,也有效展示了我国在人工智能科研实力和技术创新方面的国际地位。

打造AI行业应用生态,赋能千行百业。

“人工智能的发展和应用离不开大模型的支持。

开源大模型的出现,让更多的企业和开发者能够利用这些模型构建更多的人工智能+应用。

”李涛表示,这次开源大模型APUS-xDAN Large Model 4.0(MoE)的源码填补了我国千亿参数模型开源的空白,也为人工智能技术提供了良好的基础。

开发和应用带来更多可能性。

自2007年成立以来,APUS推出了剩余的应用产品,涵盖工具、内容和服务等多个场景。

APUS转型人工智能后,重构原生产品矩阵,以工具+AI、内容+AI、服务+AI三层应用赋能全线产品,探索孵化用户端超级应用。

在行业应用场景方面,从可用于G端网络信息领域智能辟谣的“APUS智能信任模型”,到支持B端智能诊疗的“APUS奇黄大模型”医院、智慧电商营销“APUS小叔大模”、C端具备智能绘画能力的“APUS墨染大模”、国创领域具备AI书写能力的“APUS云梦大模” 、以及文胜视频能力的“APUS莫视大模型”的实现……APUS正在加速实现普惠性大模型,让AI应用变得更加简单。

在APUSAI开放实验室,开发者可以通过API接口快速部署自己的创意应用。

如今,AI开放实验室汇聚了来自世界各地的顶尖AI人才。

他们在APUS算力的支持下,联合开源、开放最新的大型AI模型,从而推动AI产业的健康发展。

据悉,开源APUS-xDAN大模型4.0(MoE)也是APUS继与深圳大学国家工程实验室联合开源APUS大模型3.0(灵力)之后带来的又一重大突破。

大模型标志着APUS在AI通用大模型布局上的进一步推进。

未来,面对人工智能行业的发展和挑战,APUS将通过持续的技术研发和社区共建,积极探索解决方案,不断提高开源大模型的稳定性和泛化能力,确保能够在各类复杂的应用场景中始终保持最佳优势,进一步赋能千行百业。

【本文经授权发表,不代表投资界立场。

本平台仅提供信息存储服务。

适配低端计算芯片,APUS-xDAN大模型4.0(MoE)正式开源

】如有疑问,请联系投资界()。

#阿里云#创新创业#创业支持#创业资讯我们关注国内外最热门的创新创业动态,提供一站式资讯服务,实时传递行业热点新闻、深度评论和前瞻观点帮助企业家掌握新兴技术。

趋势和行业变化,以及对未来技术趋势的洞察。

适配低端计算芯片,APUS-xDAN大模型4.0(MoE)正式开源

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 我峰科技助力WhatApp全球客户服务系统成功连接

    我峰科技助力WhatApp全球客户服务系统成功连接

    .wp-block-column h3{margin-left:0} 在数字时代,客户服务不再只是一种单向支持渠道,它已经演变成一种互动和建立关系的关键环节。 WhatApp全球客服系统对接是实现这一目标的有力工具,而沃峰科技就是成功的合作伙伴。 数字时代的客户服务转型 1、实时互动:WhatApp全球客户

    06-18

  • 如果你拿不到钱,你就得死!映客告诉我们,打铁需要富爸爸

    如果你拿不到钱,你就得死!映客告诉我们,打铁需要富爸爸

    年初以来一直传出卖身传闻的映客,终于在5月9日找到了金主。 A股上市公司轩亚国际(12)公告称,当晚预计将收购映客不少于50%的股权。 这个曾经领先的直播平台的出售,给本已冰冷的直播行业又增添了一层寒意。 同样是在5月9日的《致焦虑的风险投资人》文章中,蓝湖资本的合伙

    06-18

  • Imagination 与 Apple 签署新协议

    Imagination 与 Apple 签署新协议

    英国伦敦,2019 年 1 月 2 日 – Imagination Technologies(“Imagination”)宣布已于 2020 年 2 月 6 日与 Apple 签订新的多年期许可协议,以取代之前的第一份协议宣布多年许可协议。 根据新签署的协议,苹果可以使用 Imagination 更广泛的知识产权 (IP) 并支付许可费。 关

    06-06

  • 告别,一人爆款

    告别,一人爆款

    5月23日,随着总决赛三强的形成,云智易物联网平台与云瀚核心城联合举办的第一个为期9个月的“《智慧产品圈》”活动“寻找热点”智能硬件产品展”在深圳会展中心正式落下帷幕。 从行业角度来看,本次活动的意义不在于奖项本身,而在于为智能硬件行业打造爆款产品梳理思路。 现

    06-18

  • Facebook创始人扎克伯格:不急于上市或进入中国

    Facebook创始人扎克伯格:不急于上市或进入中国

    北京时间11月8日上午消息,Facebook创始人和首席执行官马克扎克伯格(马克扎克伯格)周一在接受美国公共广播公司(PBS)采访时表示,该公司并不急于上市或进入中国市场。   扎克伯格重申Facebook将在适当的时候进行IPO,但目前并不急于这样做。 “说实话,我现在每天都不会

    06-18

  • 美力科技完成数千万元A+轮融资,加速纳米孔基因测序技术研发和产品迭代

    美力科技完成数千万元A+轮融资,加速纳米孔基因测序技术研发和产品迭代

    投资界(ID:pedaily)4月26日消息,深圳市美力纳米孔科技有限公司(以下简称“美力纳米孔”)简称“美力科技”)完成数千万元A+轮融资。 本轮融资由安图生物独家战略投资,投资将主要用于继续深化纳米孔基因测序技术的研发,加速系列产品的迭代和终端落地。 美力科技成立于2

    06-18

  • 乐高版《堡垒之夜》将是下一个儿童的元宇宙

    乐高版《堡垒之夜》将是下一个儿童的元宇宙

    相信很多乐高迷或者看过乐高电影的朋友(无论大人还是小孩)都幻想过自己可以缩小10倍。 进入乐高世界,一切都是由砖块制成的。 那里的街道是由灰色颗粒状的正方形组成的。 街上有银行和乐高城市系列的百货公司。 路上行走着不同风格的乐高小人仔。 时不时还有布加迪乐高跑车

    06-21

  • 一季度我国软件业务收入同比增长26.5%

    一季度我国软件业务收入同比增长26.5%

    工信部近日公布一季度我国软件产业经济运行情况。 数据显示,一季度,我国软件和信息技术服务业收入继续快速增长,实现业务收入0亿元,同比增长26.5%,比1-2月提高5.2个百分点。 其中,3月份软件业务收入增长33.0%。

    06-17

  • 乌兹别克斯坦启动400MW光伏项目招标

    乌兹别克斯坦启动400MW光伏项目招标

    近日,乌兹别克斯坦宣布将对装机容量40万千瓦的光伏项目进行招标。 据乌兹别克斯坦能源部长阿利舍尔苏丹诺夫介绍,本次招标计划将分为两部分。 一是今年年底前完成20万千瓦光伏项目招标。 这是向世界各地的能源公司开放的国际招标,其中还将包括电力传输。 线路等配套工程。

    06-08

  • 深圳芯医疗获数千万天使轮融资,成功研发超小型磁悬浮人工心脏

    深圳芯医疗获数千万天使轮融资,成功研发超小型磁悬浮人工心脏

    11月27日投资界消息。 近日,记者获悉,人工心脏研发公司“深圳芯医疗”科技有限公司”深圳市芯医疗科技有限公司(以下简称深圳芯医疗)获得和唐创业投资管理(北京)有限公司(以下简称和唐创投)投资的数千万元天使轮融资。 本轮融资将主要用于GMP车间建设、磁悬浮离心式人

    06-17

  • “你敢赔我就敢赔”,喊了15年,支付宝的信心是什么?

    “你敢赔我就敢赔”,喊了15年,支付宝的信心是什么?

    本周,支付宝以戏剧的形式发布了最新的社会责任报告。 这部名为《请回答》的剧讲述了支付宝15年来只做了一件事:建立信任。 剧中还透露,支付宝“你敢付,我敢赔”计划今年也将进入第15个年头。 当初电子支付刚出来的时候,很多人担心它不够安全。 “你敢付,我就敢赔”的保证

    06-18

  • 皇宝车出行完成5000万美元C+轮融资,深创投领投

    皇宝车出行完成5000万美元C+轮融资,深创投领投

    据投资界6月25日消息,中国包车出行品类代表品牌皇宝车出行宣布,今年一季度已完成1万美元C+轮融资。 以深创投为首,其他投资机构紧随其后。 黄包机旅游成立于2018年12月,其创新商业模式主要基于对中国出境游的语言障碍、交通不便、不熟悉当地文化等痛点的观察。 黄包机旅游

    06-18