加速能源转型 乌兹别克斯坦政府计划于6月启动100兆瓦太阳能项目招标
06-08
千亿参数大型模型，首次支持高达20万字的长文本输入！ 在任何规模的大型模型产品化团队中，这个长度是目前世界上最长的。
让数据说话：Claude 目前支持最长的 k 文本（约 80,000 字），而 GPT-4 为 32k（约 25,000 字）。
20万字，分别是其数量的2.5倍和8倍。
这是清华大学助理教授杨志林启动大模型后拿出的第一份成绩单。
10月9日下午，杨志林旗下的初创AI公司Moonshot AI推出了旗下最大型号产品——智能助手Kimi Chat。
核心亮点在于，虽然是一个参数量数千亿的“怪物”，但它可以容纳20万个汉字的输入，无论是《三体》还是《马斯克传》，你都可以随意阅读。
据报道，扩大上下文窗口的长度只是月之暗面“登月计划”的第一步；这一步的实施实际上为下一步的多模态提供了基础——公司预计明年将向外界开放多模态版本产品。
公司的最终目标是在大模型领域开发To C超级应用。
杨之琳的气场很多。
除了担任清华大学助理教授外，他还拥有 FAIR 和 Google Brain 的工作经历。
他是 Transformer-XL 和 XLNet 的合著者。
他发明的算法在30多个AI标准任务中实现了SOTA。
他师从苹果人工智能部门负责人鲁斯兰（Ruslan）。
萨拉胡季诺夫、清华大学唐杰……在各种光环的加持下，自3月份被曝光为初创公司后，月之暗面又多了一层神秘色彩。
随后，红杉资本提供孵化支持，成功完成两轮合计近20亿元的融资，引起了公司的额外关注。
现在，该公司首次公开露面，回应了更多外界讨论。
“参数和上下文窗口的长度共同决定了模型效果。
”在现场演示中，量子位注意到，由于支持20万字文本，月之暗面智能助手Kimi Chat又有了几个新花样。
一是提供角色简介链接，Kimi可以根据链接中的基本信息扮演角色并进行对话： 一是支持多个（现场演示时为50个）文件同时上传和阅读分析：另一个是能够基于上传和阅读提供文本内容、绘制思维导图……对于这样一款智能助理产品，月黑之时的应用场景非常广泛，“包括生产力场景和娱乐场景”。
为什么选择以“长文本输入”为核心来构建自己的大基模式的差异化竞争力？ 《月之暗面》官方给出的答案是，这是行业现在急需解决的问题，也是导致下一步的最大症结，就是产品化。
一切都基于整个团队的“天真的判断”。
参数的数量决定了大模型支持的“计算”有多复杂，而它能接收多少文本输入（即长文本技术）则决定了大模型有多少“内存”。
两者共同决定了模型的应用效果。
上下文实际上对应于计算机的内存。
近几十年来，计算机系统中的内存发生了巨大的变化。
《超级玛丽》原来的版本使用的内存非常非常低，但现在应用程序内存至少有几GB。
参数的数量决定了模型能够支持多复杂的计算，但它不仅要有足够数量的参数，还要有强大的上下文。
上下文是新一代大型模型的标准配置。
世界上的大模特已经饱受苦难已久。
即使是目前最先进的模型，在上下文窗口方面也有非常大的探索空间。
例如，Claude 2 的最长上下文窗口为 k，GPT-4 的最长上下文窗口为 32k，Llama2 支持最长的 4k。
支持这样的长度对于实际应用来说是远远不够的。
这里以Agent为例，这是大型模型应用的一个流行方向。
Agent操作需要自动进行多轮规划和决策，每个动作都需要参考历史记忆信息来完成。
这将带来模型输入的快速增加，也意味着无法处理更长上下文的模型将无法做到这一点。
完整、准确地将新的规划和决策建立在历史信息的基础上，以减少成功运营的可能性。
如何弥补和改善呢？ 至此，杨志林将市场上现有的解决方案分为三类。
金鱼模型。
使用滑动窗口方法实际上放弃了上面的许多内容并导致任务难以解决（包括最近的 MIT 工作，该工作声称能够处理无限长度文本的 StreamingLLM）；蜜蜂模型。
着眼于局部而忽略全局情况，仅对部分上下文进行采样，如基于检索增强的RAG（retrieval Augmented Generation）方法，无法完成很多任务；蝌蚪模型。
长文本的长度虽然长，但模型参数太小（比如10亿），涌现能力不足。
杨志林将上述三种方法统称为解决大模型上下文窗口长度的捷径，并表示不会依赖滑动窗口、下采样、小模型等这些会极大损害性能的捷径解决方案。
具体到月之暗面自己的解决方案，月之暗面主要集中在两点。
一是网络结构创新，二是项目优化。
下一步目标是基于产品驱动迭代升级，将技术与产品结合起来。
最终目标是打造C端超级App。
并且预计明年会发布多模态产品，因为在杨志林看来，任何模态的数据无损压缩都可以实现高度的智能化。
无损压缩相当于预测数据的联合概率分布，而多模态数据的生成本质上就是预测数据的联合概率分布。
月之暗面创始团队 目前，刚刚起步的月之暗面已获得红杉资本、今日资本、理思资本等投资者近20亿元融资。
除了大车型的火爆之外，高估值、高融资和创始团队的快速进展也不无关系。
从目前公开的信息来看，月之暗面的核心联合创始团队共有三人。
创始人兼CEO杨志林毕业于清华大学计算机系，本科学历。
高中时，没有编程基础的杨志林被选入信息学奥赛训练班，并最终通过比赛考入清华大学（非计算机系）。
直到大二，他才发现自己对计算机更感兴趣，于是果断转学到计算机系，师从清华教授、IEEE Fellow唐杰。
在计算机系学习期间，杨之琳以满分的成绩通过了所有编程课程。
2008年，他以年级第一名的成绩毕业，随后前往CMU（卡内基梅隆大学）语言技术学院攻读博士学位，师从苹果公司AI负责人Ruslan Salakhutdinov、首席技术官William W. Cohen谷歌人工智能科学家。
△杨志霖与鲁斯兰·萨拉胡迪诺夫（右一）、威廉·科恩（左一）合影。
在CUM学习期间，杨志林不仅与图灵奖获得者、深度学习三巨头之一的Yoshua Bengio合作发布了“火锅问答”数据集HotpotQA； Identity，在 XLNet 和 Transformer-XL 上发表的作品。
前者已成为 NeurIPS 和 ACL 被引用次数最多的论文之一，引用次数超过了 Google Scholar，而后者的引用次数也超过了。
杨志林曾与Yoshua Bengio（图灵奖获得者，深度学习三巨头之一）、Yann LeCun（图灵奖获得者，深度学习三巨头之一）、Quoc V. Le（深度学习创始人之一）合作过。
Google Brain）、Kaiming He 等人共同撰写了这篇论文。
据不完全统计，在ICLR、NeurIPS、ICML、ACL、EMNLP等计算机顶级会议上发表论文20余篇，研究成果Google Shcolar引用累计0次以上。
通常情况下，CMU的博士之旅是6年开始的，但杨志林只用了4年就成功获得博士学位。
第二位联合创始人是目前月之暗面算法团队负责人周新宇。
他是清华大学本科生，与杨志林、张玉涛同为计算机系学生。
周新宇毕业后选择加入旷视，工作内容是算法量产。
任职期间，他与旷视研究院基础科学研究负责人、ResNet作者之一张翔宇研究移动模型，并作为共同作者撰写了ShuffleNet论文，该论文被CVPR接收。
这项工作后来影响了各种手机毫秒人脸解锁技术，包括苹果的3D人脸解锁。
另一位联合创始人是吴宇鑫，目前持有公司5.96%的股份。
吴宇鑫与杨志林一样，毕业于清华大学和卡内基梅隆大学，研究方向是计算机视觉中的检测与识别问题。
毕业后，他先在Meta的FAIR工作，与AI大师何凯明共同提出了群归一化（GN）方法。
在此期间，他还创建了 Meta* 的人工智能项目之一 detectorron2。
在Google奖学金上，吴雨馨被引用次数超过0次。
三人联手创业，目前公司规模已扩大到50-60人左右。
有趣的是，《月之暗面》的三位联合创作者均来自清华大学。
这不禁让人想起今年大模特热潮中清华系占创业团队半壁江山的现状。
包括师从唐杰的清华大学教授唐杰，都与另一大模范创业明星智普AI有着千丝万缕的联系。
杨智霖直言对这种竞争格局的看法：“大模型空间很大，任何一家公司都很难面面俱到。
有ToB和ToC，技术路线也不同。
我觉得这是一个巨大的空白。
”他认为，除了OpenAI之外，中国的几家公司也有机会产生自己的价值。
公司名称One More Thing The Dark Side of the Moon来自杨志霖最喜欢的专辑《The Dark Side of The Moon》。
联合创始人之一的周新宇在清华大学期间，与杨志霖共同创立了一支乐队，并创作了一首关于“白日梦创业成功、一夜暴富”的歌曲。
所以，在媒体沟通会上，当被问到“现在还摇滚吗？”时，得到的答案是：公司里现在有两把电吉他和一架钢琴（doge）。
【本文由投资社区合作伙伴微信公众号授权：量子比特。
本平台仅提供信息存储服务。
】如有任何疑问，请联系投资界（）。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-18
06-18
06-18
06-18
06-06
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态