首页 > 科技未来 > 内容

《普Laws数学推理大语言模型（LLM）》

发布于：2024-06-17 编辑：匿名来源：网络

本指南深入研究了阿里巴巴达摩院近期对《普Laws数学推理》大语言模型（LLM）的研究。

这项研究特别令人感兴趣，因为它探讨了如何通过简单的数据增强技术显着提高 GSM8K 等数学数据集上的模型性能。

该研究深入了解了预训练损失、监督数据量和增强数据量与监督 Yao 推理能力之间的关系。

它还表明，模型的预训练损失可能比参数或训练标记的数量更能反映其能力。

此外，该研究还探讨了组合多个模型的样本对增强推理路径的多样性和提高性能的影响。

这些发现不仅对该领域的研究人员有吸引力，而且凸显了数据质量和模型训练策略在 Yao 发展中的重要性。

该代码的开源发布鼓励更多的社区参与和贡献，使该内容与任何对 Yao 的未来及其在数学推理等复杂任务中的应用感兴趣的人相关。

- 阿里云开源了70亿参数的大规模通用问答模型Qwen-7B和Qwen-7B-Chat。

- 阿里巴巴达摩院在大型模型中研究Scali和Laws的数学能力。

- Scaling Laws意味着模型性能随着模型大小、数据集大小和计算浮点数的增加而提高。

- 数学和编码能力是大型模型的护城河，核心包括推理能力。

- 文章通过 RFT 数据增强提高了 Llama-7B 在数学数据集上的准确性。

- Pre-train loss与SFT和ICL的准确性呈负线性相关，是评估模型能力的指标。

- SFT的性能提升不如ICL。

- 随着监督数据量的增加，SFT 以对数线性方式改进。

- 随着预训练模型的改进，增加数据量的好处会减少。

- RFT的模型性能随着推理路径数量的增加而提高，但比SFT慢。

- 不同模型的答案增强了推理路径的多样性，以提高性能。

- 微调混合模型响应时，不同的模型对推理路径的贡献不同。

- LLaMA-7B、LLaMA2-7B、LLaMA-13B 和 LLaMA2-13B 的精度提升分别为 13.4、8.7、9.1 和 5.4。

《普Laws数学推理大语言模型（LLM）》

- 文章提供了更多细节和结论，请参考论文和github。

站长声明

标签：

上一篇：阿里云创业者计划助力到家服务行业云上创新

下一篇：智能营销服务商极智科技获光速中国1000万美元A轮投资

极客邦科技获2000万元A轮融资，银虎资本领投

据投资界11月1日消息，极客邦科技今日宣布获得1万元A轮融资。本轮融资由银虎资本领投。，慧科资本跟投。　　极客科技成立于2007年，其前身是InfoQ中国。 InfoQ是Geeknet科技最早的商业品牌。主要提供领导者、CTO、架构师、项目经理等研发团队中具有5至8年科技、互联网行业

06-18
浙江石宝IPO或将亏损，募集资金额缩水92%，低于新股发行费

新浪财经讯继洛钼之后，浙江世宝IPO再次缩水。 10月24日晚间消息，浙江世宝今晚在证监会网站发布公告称，拟以2.58元/股发行10000股A股，共募集资金10000元。　　作为10月份唯一一家IPO，浙江世宝回归A股格外引人关注。公司4倍H股的预估定价引发市场质疑不断。今晚的公告意

06-17
中微资本：亚洲VC的成长之路

2017年的一个周末，中微资本合伙人第一次见到了讯石科技CEO金良。姚安民印象深刻——这是一家专注于3D打印技术、为牙科提供数字化椅旁解决方案的初创公司。虽然其总部位于浙江绍兴，但其3D打印设备在北美非常受欢迎，市场份额超过50%。此前，中维资本在梳理3D打印行业国内

06-18
镁伽科技黄瑜清：智能自动化给生命科学带来巨大变革

近日，戈壁创投年度投资峰会在线上举行。戈壁创投邀请LP及被投企业经理参加会议，分享收获，共同努力。探索趋势，见证未来。 2019年，国际环境复杂严峻，资本市场波动剧烈，加上疫情影响，股权投资面临前所未有的考验。在“危机”与“机遇”交叉的环境下，戈壁创投继续保持

06-18
满帮集团上市首日收涨13%，总市值233亿美元

北京时间6月22日晚，货运平台满帮集团在纽交所正式挂牌上市，开盘逾18%，最终收涨13.16%，报21.5美元，市值5800万美元。

06-18
大模特上车了，特斯拉带好了吗？

，卡内基梅隆大学接到了美国军方的一个研究项目，内容涵盖了当时看来不可思议的自动驾驶。为此，研究人员为一辆翻新的军用应急车配备了一个看起来像探照灯的巨大摄像头、一个冰箱大小的处理器和一个紫外线发生器。尽管设备简陋、数据粗糙，例如据媒体报道，当时的车顶摄像头

06-18
虾苗数据完成数千万元天使轮融资，投资方为银杏谷

投资社区（ID：pedaily）。 5月19日消息，专注于企业智能数据管道的创业公司“虾苗数据”（广州数影科技有限公司（以下简称“壹方数据”）于近日完成天使轮融资。本轮融资为银杏谷，金额达数千万元。本轮融资后，公司计划继续产品迭代，同时在市场上发力，希望能让更多客户

06-17
敢于投资黑科技，布局十年后，德迅投资：给改变世界的梦想更多空间

每个人对未来都有自己的期待和判断，这决定了一个人的职业选择和努力方向。风险投资机构对未来也会有独特的判断，这往往决定了投资机构将资金投向何处。德迅投资成立已有13年历史。深度参与早期投资，迄今已完成10余个投资项目。德迅投资认为，未来将是一个科技快速发展、

06-18
小乔跑步机获华盈资本领投Pre-B轮数亿元融资，瞄准家庭健身市场

据投资界1月29日消息，家用跑步机品牌小乔跑步机完成数亿元融资Pre-B轮融资由华英资本领投，明石资本、启迪沙丘资本、洪泰（成都）资本、齐一创投跟投。此前，其曾获得黑马基金、维度资本的万元融资。　　据悉，本轮融资将主要用于小乔跑步机产品的研发和市场推广。　　小

06-18
久久王今天在香港联交所上市，早盘低开8%，

港股久久王（7.HK）今日首开，开盘破发。

06-18
新政下格局将发生变化，“非典型券商直投”将走出典型的PE-VC路径，

，“券商直投”成为历史性名词。一家非典型券商直投公司几年前“不经意间”迈出了第一步，如今却成为了“先发优势”。　　最后一天，中国证券业协会发布了《证券公司私募基金子公司管理规范》和《证券公司另类投资子公司管理规范》，这是近年来证券公司直接投资领域最重要的

06-18
刚刚，IDG资本实现千倍回报

“第一支加密货币股票”正式诞生。 4月14日晚，美国最大的加密货币交易所Coinbase成功登陆纳斯达克，股票代码“COIN”。上市首日，股价一度达到1美元，对应市值高达1亿美元。 Coinbase成立于2007年，是美国最大的数字资产钱包和交易平台。其主要业务包括数字资产托管和数字

06-17