首页 > 科技未来 > 内容

700亿参数LLaMA2训练加速195%，基础大模型最佳实践升级

发布于：2024-06-18 编辑：匿名来源：网络

ChatGPT引发的大模型热潮愈演愈烈。

全球科技巨头和明星初创公司竞相入局，以人工智能大模型为核心创造竞争力和多样性。

满足商业使用要求。

其中，LLaMA系列模型凭借良好的基础能力和开放生态，积累了大量的用户和实际应用案例，成为无数开源模型后来者模仿和竞争的标杆。

然而，如何降低大型LLaMA2类模型的预训练成本，以及如何通过基于LLaMA2的持续预训练和微调，以低成本构建大型AI模型的实际应用，仍然是AIGC面临的关键瓶颈相关公司。

作为全球最大、最活跃的大型模型开发工具和社区，Colossal-AI再次迭代，提供开箱即用的LLaMA2训练、微调和推理解决方案，将1亿参数的训练加速%，并提供一站式云平台解决方案，大大降低大型模型开发和实施的成本。

开源地址：LLaMA2训练加速% Meta开源的LLaMA系列大模型进一步激发了构建类ChatGPT模型的热情，并由此衍生出很多项目和应用。

最新的7B~70B LLaMA2大模型进一步提升了语言模型的基础能力。

然而，由于LLaMA2的预训练预计大部分来自通用英语知识，仅通过微调可以提高和注入的领域知识和多语言能力相对有限。

此外，高质量的专业知识和数据集通常被认为是各个行业和公司的核心资产，只能以私有化的形式保存。

因此，LLaMA2系列大模型的低成本预训练/持续预训练/微调，结合高质量的私有化业务数据积累，帮助业务降本增效，是很多行业的迫切需求和瓶颈和企业。

但LLaMA2大模型只发布了原始模型权重和推理脚本，不支持训练/微调，也不提供数据集。

针对上述差距和需求，Colossal-AI开源了LLaMA2全流程解决方案，该方案具有高度可扩展性，支持70亿到1亿参数的模型，从8卡到8卡都能保持良好的性能。

当使用 8 张卡训练/微调 LLaMA2-7B 时，Colossal-AI 可以实现约 54% 的硬件利用率（MFU），处于行业领先水平。

对于预训练任务，以A40GB预训练的LLaMA2-70B为例，由于显存不足而无法启动DeepSpeed ZeRO3策略，只能通过速度衰减较大的ZeRO3-offload策略启动。

由于其出色的系统优化和可扩展性，Colossal-AI仍然可以保持良好的性能并将训练速度加快%。

Colossal-AI LLaMA-2训练/微调解决方案的高性能来自于新的异构内存管理系统Gemini和高性能算子（包括Flash Attention 2）等系统优化。

新的 Gemini 提供了高度可扩展、强大且易于使用的界面。

其Checkpoint格式与HuggingFace完全兼容，降低了使用和转换成本。

其分段、卸载等设置更加灵活易用，可以覆盖更多硬件配置下的LLaMA-2训练/微调任务。

只需几行代码即可使用： from colossalai.booster import Booster from colossalai.booster.plugin import GeminiPlugin plugin = GeminiPlugin() booster = Booster(plugin=plugin) model, optimizationr, train_dataloader, criteria = booster.boost( model、optimizer、train_dataloader、criteria）ShardFormer多维细粒度并行虽然对于主流硬件条件和大部分模型来说，Colossal-AI的新Gemini已经能够提供不错的性能。

但对于一些极端的硬件条件或特殊模型，可能仍然需要多维并行细粒度优化。

其他现有的解决方案通常需要分布式系统的资深专家大规模地手动重构和调优代码。

Colossal-AI 的 ShardFormer 只需几行代码即可提供开箱即用的多维并行性和算子优化功能。

它随时可用，并在单机或大规模集群上提供良好的性能。

从 colossalai.booster 导入 Booster 从 colossalai.booster.plugin 导入 HybridParallelPlugin 从 Transformers.models.llama 导入 LlamaForCausalLM，LlamaConfig 插件 = HybridParallelPlugin(tp_size=2，pp_size=2，num_microbatches=4，zero_stage=1) booster = Booster(plugin= plugin) model = LlamaForCausalLM(LlamaConfig()) model, optimizationr, train_dataloader, criteria = booster.boost(model, optimizationr, train_dataloader, criteria) Colossal-AI ShardFormer 支持 LLaMA1/2、BLOOM、OPT、T5、GPT-2、Mainstream开源模型，包括 BERT 和 GLM，也可以使用 Huggingface/transformers 模型直接导入。

Checkpoint 格式也与 HuggingFace 完全兼容。

与Megatron-LM等需要重写大量代码的解决方案相比，易用性大大提高。

对于并行策略，已经支持以下多种并行方式：张量并行、流水线并行、序列并行、数据并行、零数据并行等，并且可以通过简单的配置命令组合使用多种并行方式。

适应各种复杂的硬件环境/模型。

同时内置了各种高性能算子，省去了繁琐的兼容/配置过程。

其中包括： Flash Attention 2 Memory effective Attention (xformers) Fused Normalization Layer JIT kernels 云平台大模型一站式解决方案为了进一步提升开发和部署效率，Colossal-AI团队还将上述系统优势与算力相结合提供Colossal-AI云平台，提供廉价算力和开箱即用的主流AI应用，包括大型对话模型、多模态模型、生物医学等，目前正在进行内部测试。

通过屏蔽底层分布式并行计算、内存、通信管理以及大型模型的优化，AI开发者可以继续专注于AI模型和算法设计，以更低的成本、更快的速度完成大型AI模型，帮助降低业务成本、提高效率。

700亿参数LLaMA2训练加速195%，基础大模型最佳实践升级

用户只需上传相关数据，无需代码即可训练个性化私有模型，并一键部署训练好的模型。

相关应用经过Colossal-AI团队精心优化。

得益于算法和系统的双面优化，可以大大降低模型训练和部署的成本。

Colossal-AI云平台：platform.luchentech.com Colossal-AI开源地址：雷锋网（公众号：雷锋网）雷锋网版权文章未经授权禁止转载。

详情请参见转载说明。

0人收藏分享：相关文章LLaMA2云平台大模型ShardFormer 百度智能云：千帆大模型平台接入Llama2、等33个模型... 百度智能云：千帆大模型平台接入Llama2、等33个模型。

站长声明

标签：

上一篇：商业航天企业零重力实验室完成千万融资，持续打造商业航天生态链接

下一篇：弘毅投资崔志芳：电影行业低谷期是投资布局的好时机

翼猫科技获数千万元A轮融资，量子资本领投

据投资界1月14日消息，翼猫科技宣布获得数千万元A轮融资。本轮由量子资本领投。晋商资本也参与了投资。　　据了解，南京翼猫信息技术有限公司是一家专注于商业智能的移动互联网公司。基于移动智能购物车系统的互联网+超市整体解决方案，帮助超市降低人力成本、提高效率、

06-18
ECVV供应链服务平台完成B+轮融资

5月18日，据投资界（微信ID：pedaily）消息，B2B跨境工业品电商平台ECVV.com宣布完成B+轮融资。本轮由长润资本投资。独家投资。基于中国工业品供应链优势，ECVV致力于为全球买家提供B端客户产品一站式采购服务。是一家基于互联网的跨境电子商务综合服务商。 ECVV服务于“

06-17
430亿欧元欧洲芯片法案讨论了什么？

昨天，欧盟发布了1亿欧元的芯片法案。现在，我们总结了其主要公告如下，以便您了解这项庞大法案的目标。以下为重要内容摘要：欧盟委员会提出了一套全面的措施，以确保欧盟在半导体技术和应用方面的供应安全、弹性和技术领先地位。《欧洲芯片法》将增强欧洲的竞争力和复原

06-08
30亿，山东熟菜产业基金启动

据投资界（ID：pedaily）消息，1月23日，山东中垦股权投资基金签约仪式暨基金投资发布会在诸城市举行。签约仪式的举行，标志着山东调理菜产业基金落户诸城。山东中垦股权投资基金将在诸城引入初始资本10亿元。诸城市发展调理菜产业具有得天独厚的现实条件和历史基础。经

06-17
1-4月中国城镇固定资产投资同比增长19.9%

国家统计局数据显示，1-4月中国城镇固定资产投资同比增长19.9% 4月份预期增长20%，前值增长25.6%。

06-18
清研智束完成1亿元A轮融资，由云晖资本、无锡实业巨峰、水木创投联合领投

投资界（ID：pedaily）12月23日消息，近日，中国电子束3D打印领导者清研智束宣布完成亿元A轮融资，为处于时代变革和机遇之中的中国3D打印行业的发展增添了进一步的动力。本轮融资由云晖资本、无锡实业巨峰、水木创投联合领投，钟鼎资本、华德资本等投资机构跟投。这些投资机

06-17
【投资日报】IPO重启不会阻碍并购升温，优狗之死

【首都事件】　　1.在前海设立百亿规模并购基金。 IPO的重启不会阻碍并购的升温。　　上半年中国并购市场累计交易完成以来，涉及交易金额达4200万美元，同比增长24%，环比增长取决于％。这是历年来中国并购市场半年交易总额最高的一次。　　在IPO暂停、退出渠道受阻的背

06-18
2023年电商：加强集中，关注本地生活

简介：过去的一年，电商行业组织不断重组，竞争激烈。 2017年电商行业的激烈争夺，可以体现在“组织架构调整”上。今年，阿里巴巴、京东、抖音、快手都经历了组织架构的“大地震”。阿里巴巴经历了“史上第一次组织变革”，结束了“张勇时代”；京东物流、京东零售相继缩短

06-18
破解特斯拉漏洞，教马斯克如何做“安全”

作者 |宫雪编辑|靖宇万物互联时代，虚拟世界与现实世界的界限日益模糊，网络安全攻防战不时惊心动魄。早年，通过U盘传播的“Stuxnet”病毒攻击了伊朗核设施的控制系统。通过修改程序指令，导致生产浓缩铀的离心机异常加速，导致离心机报废，伊朗核电站瘫痪。 Facebook上1万

06-17
【今年新零售三】阿里“不缺钱”，京东“优势大”，腾讯“先天不足”， 2018年谁将统治世界还不得而知！

网络巨头进入群体PK时代！在这里，阿里投资了联华超市和高鑫零售。那边，一周之内，腾讯已入驻永辉超市和唯品会。京东牵头腾讯推出“无界零售”解决方案……经过近一年的鏖战，互联网蓬勃发展。以Pu为首的新零售阵营已经开始崭露头角。阿里：“亲生儿子”成了网红，投资股

06-18
大公司忙“种草”：腾讯推出“企鹅惠麦”，抖音新功能内测

互联网各大公司都在冲进“种草”的千亿级赛道。近期，两大工厂开始筹划开拓新的植草业务。腾讯正在悄悄测试一个新的种草项目“企鹅惠麦”。这款种草产品融合了“本土、种草、社区”等属性，可能是今年刚下架的电商产品“小鹅”的后继产品。加油。 ”此外，抖音再次测试了

06-18
专注早餐外卖，七七十获千万元Pre-A轮融资

11月2日消息，据猎云网消息，七七十获北京耀明科技领投的Pre-A轮融资。其他个人跟投，共融资1000万元，投后估值5000万元。公开资料显示，七七十是一家专注于解决城市白领“吃早餐”问题的外卖平台。 2016年正式上线，平台用户主要针对一二线城市的年轻白领。用户前一天晚

06-17