首页 > 科技启迪 > 内容

适配低端计算芯片,APUS-xDAN大模型4.0(MoE)正式开源

发布于:2024-06-17 编辑:匿名 来源:网络

4月2日,APUS与战略合作伙伴新丹智能联合训练开发千亿MoE(Mixture of Experts)架构模型,在 GitHub 上正式开源。

从适配低端计算芯片实现行业普惠,到提升国内最开源MoE架构千亿参数大模型模型的质量和效率,APUS-xDAN大模型4.0的应用趋势(教育部)预计会来。

与国内其他大型模特公司相比,此次与APUS联合开大型模特的新丹智能年龄稍显年轻,但其创始团队却相当豪华:这是一支由清华大学、伯克利分校、腾讯、Meta等顶尖学者组成的团队。

与精英在工程界组建的团队包括全球最大开源AI社区的知名开发者以及腾讯云高层架构师。

今年3月初,完成了由APUS和AI行业领投的千万级天使轮融资。

资深投资人周弘扬共同投资。

此次两方强强联手,整合各方优势,让APUS-xDAN Large Model 4.0(MoE)的综合性能在GPT-4等低端计算芯片上达到GPT-4的90%。

这一突破将为中国企业应用大模型技术提供更大价值,并通过算法优化进一步成功解决“算力卡顿”问题。

适配低端算力芯片,开启普惠科技新时代。

面对国内计算资源的限制和国际技术封锁,APUS董事长兼首席执行官李涛表示:“中国必须突破美国设计的‘算力陷阱’。

‘一方面,我们需要进化算法,一方面,我们需要用低端算力构建高端模型;另一方面,我们需要不断推动应用生态的演进,只有坚持双向演进,才能实现突破。

” 。

是的,APUS-xDAN Large Model 4.0(MoE)是一个具有数千亿参数的大型模型,集数据、工程和芯片上的平滑运行于一体。

APUS-xDAN大型模型4.0(MoE)进一步打破美国半导体出口管制,成功帮助中国AI产业在模型应用上实现普惠利益。

实际测试显示,在技术指标方面,APUS-xDAN Large Model 4.0(MoE)的GSM8K数学能力得分为79分,MMLU理解能力为73分,BBH推理能力为66分。

综合性能超过了GPT3.5,接近GPT4,甚至在数学能力上碾压马斯克的开源Grok。

对于政府来说,APUS-xDAN大型模型4.0(MoE)的诞生,意味着我国在国内计算资源有限的情况下,仍然可以独立构建和运行最超大规模的语言模型,大大提高国家水平的技术自我-充足性。

能力和战略安全。

对于企业和个人开发者来说,尤其是资金有限的小创业者,不需要花费巨资购买A、H等高端GPU,只需要使用相对经济的GPU来控制这个强大的AI工具,这大大降低了成本。

实现人工智能技术普及和广泛应??用的创新门槛。

国内千亿参数MoE架构模型开源,重塑性能边界。

不难发现,开源的APUS-xDAN大模型4.0首次引入MoE(Mixture of Experts)架构,成为国内最开源的千亿参数MoE架构大模型。

与其他声称拥有MoE架构但未经开源验证的模型相比,APUS-xDAN Large Model 4.0(MoE)真正将MoE架构应用于超大规模模型。

值得一提的是,APUS-xDAN Large Model 4.0(MoE)采用了与GPT4类似的MoE架构。

它的特点是多专家模型的组合。

仅同时激活和使用2个子模块。

实际运行效率相比同尺寸的传统Dense模型有所提升。

%,推理成本降低%。

在实际部署中,通过进一步的高精度微调和量化技术,模型尺寸缩小了10%,形成了可在消费级显卡上运行的最大1000亿MoE的中英文模型。

这些特性赋予了APUS-xDAN Large Model 4.0(MoE)在处理复杂任务时优异的学习效率和模型能力,为人工智能的边界扩展注入澎湃动力,为中国AI产业开辟了新的突破路线,成为先行者在国产大型车型的创新探索中。

此次APUS-xDAN大模型4.0(MoE)拥有令人瞩目的亿参数规模,超越目前国内开源模型——阿里巴巴的钱文72B(亿参数),综合性能达到TOP水平主流大型车型。

这一历史性突破不仅见证了我国在超大规模预训练模型研发领域的重大飞跃,也有效展示了我国在人工智能科研实力和技术创新方面的国际地位。

打造AI行业应用生态,赋能千行百业。

“人工智能的发展和应用离不开大模型的支持。

开源大模型的出现,让更多的企业和开发者能够利用这些模型构建更多的人工智能+应用。

”李涛表示,这次开源大模型APUS-xDAN Large Model 4.0(MoE)的源码填补了我国千亿参数模型开源的空白,也为人工智能技术提供了良好的基础。

开发和应用带来更多可能性。

自2007年成立以来,APUS推出了剩余的应用产品,涵盖工具、内容和服务等多个场景。

APUS转型人工智能后,重构原生产品矩阵,以工具+AI、内容+AI、服务+AI三层应用赋能全线产品,探索孵化用户端超级应用。

在行业应用场景方面,从可用于G端网络信息领域智能辟谣的“APUS智能信任模型”,到支持B端智能诊疗的“APUS奇黄大模型”医院、智慧电商营销“APUS小叔大模”、C端具备智能绘画能力的“APUS墨染大模”、国创领域具备AI书写能力的“APUS云梦大模” 、以及文胜视频能力的“APUS莫视大模型”的实现……APUS正在加速实现普惠性大模型,让AI应用变得更加简单。

在APUSAI开放实验室,开发者可以通过API接口快速部署自己的创意应用。

如今,AI开放实验室汇聚了来自世界各地的顶尖AI人才。

他们在APUS算力的支持下,联合开源、开放最新的大型AI模型,从而推动AI产业的健康发展。

据悉,开源APUS-xDAN大模型4.0(MoE)也是APUS继与深圳大学国家工程实验室联合开源APUS大模型3.0(灵力)之后带来的又一重大突破。

大模型标志着APUS在AI通用大模型布局上的进一步推进。

未来,面对人工智能行业的发展和挑战,APUS将通过持续的技术研发和社区共建,积极探索解决方案,不断提高开源大模型的稳定性和泛化能力,确保能够在各类复杂的应用场景中始终保持最佳优势,进一步赋能千行百业。

【本文经授权发表,不代表投资界立场。

本平台仅提供信息存储服务。

适配低端计算芯片,APUS-xDAN大模型4.0(MoE)正式开源

】如有疑问,请联系投资界()。

#阿里云#创新创业#创业支持#创业资讯我们关注国内外最热门的创新创业动态,提供一站式资讯服务,实时传递行业热点新闻、深度评论和前瞻观点帮助企业家掌握新兴技术。

趋势和行业变化,以及对未来技术趋势的洞察。

适配低端计算芯片,APUS-xDAN大模型4.0(MoE)正式开源

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • “西湖心辰”获汤姆猫战略投资,深化AGI时代布局

    “西湖心辰”获汤姆猫战略投资,深化AGI时代布局

    投资界(ID:pedaily)4月23日消息,继3月底完成Pre-A轮融资后,西湖心辰(杭州)科技有限公司(以下简称“西湖心辰”)再次获得浙江金科汤姆猫文化产业有限公司(以下简称“汤姆猫”)战略领投投资),其老股东兰驰创投持续跟进并给予投资支持。 至此,汤姆猫将成为西湖心辰

    06-17

  • 中国电信:2020年上半年推出2000元5G手机 运营商收入增长看To B、To H

    中国电信:2020年上半年推出2000元5G手机 运营商收入增长看To B、To H

    雷锋网消息天翼生态博览会期间,中国电信公布了最新的5G终端战略。 中国电信董事长柯瑞文表示,中国电信将坚持全网终端,坚持超级上行和WiFi6,坚持NSA和SA双模全网标准,而且不限于手机、CPE等。 但包括AR/VR终端等业务终端、无人机模块等行业终端等,中国电信将推广全网智能

    06-18

  • 国际生物制药公司Transcendent Group完成1亿美元B+轮融资

    国际生物制药公司Transcendent Group完成1亿美元B+轮融资

    据投资界1月8日消息,国际生物制药公司Transcendent Group宣布完成1亿美元B+轮融资。 本轮融资由华润正大生命科学基金、达辰资本联合领投。 易普资本、招商资本国投并购基金、新中立作为新投资者参与。 礼来亚洲基金是现有投资者。 、淡马锡、高瓴资本、鹏悦基金、红杉资本中

    06-18

  • 京东方收购法国公司SES,进军零售物联网领域

    京东方收购法国公司SES,进军零售物联网领域

    据投资界3月19日消息,京东方(股票代码:25)近日宣布完成对SES-imagotag(以下简称“SES-imagotag”)的收购。 称为“SES”)股份。   具体公告如下:   6月16日,京东方科技集团股份有限公司(以下简称“公司”)第八届董事会第十五次会议审议通过《关于收购 SES-ima

    06-17

  • 阿里云【AI24小时】2024年4月23日

    阿里云【AI24小时】2024年4月23日

    阿里云创业平台推出AI24小时系列文章,汇集国内外最新的AI人工智能前沿资讯,帮助AI创业者掌握最新行业资讯。 1. AI驱动的城市模型如何改变治理>>NVIDIA科学家团队将GPT-4连接到Minecraft游戏,创建了AI智能代理Voyager,它可以独立探索和学习生存技能。 与此同时,腾讯研究院

    06-18

  • 融合四大安全引擎360安全大脑为Win7盾全面防护

    融合四大安全引擎360安全大脑为Win7盾全面防护

    1月17日,由中国计算机学会计算机安全专业委员会、中国智能终端运营商协会指导主办的“面对Win7停运”活动系统产业联盟。 服务,我们该如何回应?”研讨会在北京举行。 会上,中国计算机学会计算机安全专业委员会秘书长唐前林、中国智能终端操作系统产业联盟秘书长曹冬致辞。

    06-17

  • 手机怎么能拍出如此惊艳的照片呢? vivo Xplay5超摄极限运动

    手机怎么能拍出如此惊艳的照片呢? vivo Xplay5超摄极限运动

    如果你问大家你最想要智能手机中的什么功能,答案可能会很奇怪,但如果你问大家智能手机中最不可缺少的功能是什么,我相信大多数人都会说拍照。 。 确实,自从2006年夏普推出首款配备摄像头的手机以来,拍照就已经成为手机最重要的功能之一。 智能手机时代,随着硬件和软件的

    06-18

  • 张一鸣九周年演讲全文:以平常心回应公司快速发展的焦虑

    张一鸣九周年演讲全文:以平常心回应公司快速发展的焦虑

    上头条3月30日,字节跳动创始人张一鸣在公司九周年庆典上发表演讲《平常心做非常事》,分享了他的想法“一颗平常心”思考:如何用一颗平常心对待自己、对待公司业务、行业竞争、成功与失败。 他表示,只有心态更加稳定,才能扎根得更加牢固,才有勇气和想象力。 面对“去年公

    06-18

  • 专访苹果高层副总裁Craig、副总裁Alan:iPhone诞生16年后,交互设计走向何方?

    专访苹果高层副总裁Craig、副总裁Alan:iPhone诞生16年后,交互设计走向何方?

    16年前,一台3.5英寸的大屏设备,配备了设计工整的圆角矩形应用程序,改变了智能手机潮流的方向,互联网从此被装进了每个人的口袋。 在图形界面主导个人电脑和智能手机上的人机交互数十年之后,软件仍在吞噬世界,但 iPhone 的人机界面正在酝酿一场革命。 苹果软件工程高级Cr

    06-21

  • 58同城在无锡设立新10亿基金

    58同城在无锡设立新10亿基金

    投资界-解码LP获悉企查查显示,无锡神骐奋斗私募股权合伙企业(有限合伙)于5月19日成立,投资10.03亿元,执行事务合伙人它就是五霸旗下的无锡神骐千行创业投资合伙企业(有限合伙)(简称:神骐资本)。 经营范围包括与私募股权基金从事股权投资、投资管理、资产管理等活动;

    06-18

  • 汽车智能科技公司“一卡通科技”获A+轮融资

    汽车智能科技公司“一卡通科技”获A+轮融资

    汽车智能科技公司“一卡通科技”获A+轮融资。 本次融资由中国国有资本风险投资基金领投,融资金额超过2亿美元。 融资完成后,一卡通科技整体估值超过20亿美元。 据官方介绍,未来一卡通科技还将深化在汽车芯片、智能座舱、智能驾驶、高精度地图、大数据和车联网云平台等方面的

    06-18

  • Vincross科技完成1000万美元B轮融资,联想创投领投

    Vincross科技完成1000万美元B轮融资,联想创投领投

    据投资界2月20日消息,机器人初创公司Vincross宣布完成1万美元B轮融资。 本轮融资由联想创投领投,纪源资本、索道投资跟投。 此前,奇弩科技于2018年3月获得真格基金1万美元天使轮融资,2020年1月获得纪源资本领投真格基金1万美元A轮融资。 今年4月奇弩(北京)科技有限公司成

    06-18