云技术服务公司“天和国云”获得近亿元A轮融资,由财新产业基金领投
06-18
明星模特公司完成创业首秀。
10月9日,专注于通用人工智能领域的公司Moonshot Al宣布在“长文本”领域取得突破,推出支持20万汉字输入的大模型Moonshot,作为以及配备该型号的手机。
智能助手产品Kimi Chat。
《月之暗面》由清华大学交叉信息学院青年科学家杨植麟教授和近五年NLP领域中国学者引用排名前10的致远领衔且年龄在 40 岁以下*;两位联合创始人周昕宇和吴育昕都出生在清华大学。
团队还成功吸引了谷歌、Meta、亚马逊等全球顶尖科技公司的海外人才加盟。
图片来源:月之暗面 今年2月,大模特热潮兴起时,市场上就有消息称:“杨植麟被寄予厚望,将获得国内领先VC的孵化支持”。
仅仅4个月后,成立仅2个月的月之暗面就被曝完成首轮融资。
对此,创始人杨植麟“纠正”称,该公司已获得红杉资本、今日资本、理思资本等知名机构近20亿元人民币的投资。
目前市场上的估值说法“不准确且偏低,稍后将正式公布”。
杨植麟表示,“目前团队成员约50人。
首轮融资及后续新一轮融资将主要用于技术产品的研发和团队扩充。
” 1、支持20万字超长的投入,推动大模型从LLM到LLLM时代,据杨植麟介绍,公司的名字来自于他最喜欢的英国摇滚乐队发行的专辑《The Dark Side of The Moon》(Dark Side of the Moon)。
今年是专辑发行50周年,同时《月之暗面》也寄托了团队探索宇宙奥秘、探索月球艰难一面的初衷。
《月之暗面》的愿景是“对世界有用,与用户共同创造”;团队希望AI能够“通用且个性化”。
开辟了大型模型应用的新世界。
目前大型模型的输入长度普遍较低的现状极大地制约了其技术的实现。
例如:在目前流行的虚拟角色场景中,由于缺乏长文本能力,虚拟角色很容易忘记重要信息,角色AI社区的用户经常抱怨“因为角色在多轮对话后忘记了自己的身份,他必须重新开始新的对话”和其他类似的问题。
《月之暗面》还观察到“大型模型输入长度有限导致的应用困难”。
杨植麟表示,对此,该公司已经实现了“全球最长、支持20万字超长输入,大型号产品进入长文本”时代。
他也在场,并用一些实际用途进行了详细介绍以Kimi Chat为例。
快速完成关键信息分析: 来源:月之暗面出差 发票太多?将它们全部拖入 Kimi Chat 并快速整理成所需信息: 来源:月之暗面 当您发现新算法时论文,Kimi Chat 可以直接帮你根据论文复制代码: 来源:月之暗面 只需要一个 URL,你就可以在 Kimi Chat 中与你最喜欢的原神角色聊天: 来源:月之暗面 输入全书《月亮与六便士》并让Kimi Chat与您一起阅读,帮助您更好地理解和应用书中的知识:来源:月之暗面通过上面的例子,我们可以看到,当模型可以处理的上下文随着时间变长,大模型的能力可以覆盖更多的使用场景,真正在人们的工作、生活、学习中发挥作用。
而且由于问答和信息处理可以直接基于全文理解,因此大型模型产生的“错觉”问题也可以在很大程度上得到解决。
与目前市场上基于英语训练的大型模型服务相比,Kimi Chat具有强大的多语言能力。
例如Kimi Chat在中文方面就具有显着的优势。
实际使用效果可支持约20万汉字的上下文,是Anthropic的Claude-k(实测约8万字)的2.5倍,是OpenAI的GPT-4-32k的8倍。
(实测约25000字)。
同时,通过创新的网络结构和工程优化,Kimi Chat实现了千亿参数下的无损长程注意力机制,不依赖滑动窗口、下采样、小模型等“捷径”解决方案这会极大地损害性能。
目前,月之暗面智能助手产品Kimi Chat已开放内测。
* 从LLM到LLLM时代 杨植麟此前曾说过,海量数据的无损压缩,无论是文本、语音还是视频,都可以实现高度的智能。
无损压缩的进步很大程度上依赖于“参数为王”的模式。
该模式下,压缩比与参数数量直接相关,大大增加了模型的训练成本和应用门槛。
然而,Dark Side of the Moon认为大型模型的能力上限(即无损压缩比)是由单步能力和执行的步数共同决定的。
单步能力与参数个数正相关,执行步数即上下文长度。
月之暗面认为,更长的上下文长度可以为大型模型应用带来新的篇章,促使大型模型从LLM时代迈向长LLM(LLLM)时代: 1.每个人都可以拥有一个终身记忆的虚拟伴侣,它可以记住你一生中互动的所有细节,并建立长期的情感联系。
2、每个人都可以有一个与你共处工作环境的助手。
它了解公共领域(互联网)和私有领域(公司内部文档)的所有知识,并在此基础上帮助您完成OKR 3。
每个人都可以拥有一个全知的学习指南,不仅可以准确地为您提供知识的同时,也引导你跨越学科之间的障碍,更加自由地探索和创新。
当然,更长的上下文长度只是《月之暗面》下一代大型模型技术的第一步。
月暗面项目依托该领域的前沿技术,加速大规模模型技术的创新和应用。
2、清华学术大师二次创业。
曾参与启蒙盘古等多个大型模型项目。
月之暗面在成立之初就获得了领先的VC押注。
这与杨植麟“学术大师”的身份和丰富的经历密切相关。
很浅。
早在高中时,杨植麟就表现出色。
没有任何编程基础的他被选入信息学奥林匹克训练班,最终顺利通过比赛,被推荐到清华大学。
在清华大学学习期间,杨植麟师从清华大学计算机系知识工程实验室(KEG)组长、智能源研究院学术副院长、启蒙工程负责人唐杰教授。
最终,他以满分的成绩通过了所有编程课程,并以年级最高分毕业。
随后在2009年,杨植麟进入卡内基梅隆大学(CMU)语言技术学院(LTI),师从苹果AI负责人Ruslan Salakhutdinov、谷歌AI智能首席科学家William W. Cohen攻读博士学位。
毕业后,杨植麟曾在谷歌大脑研究院和Meta(Facebook)人工智能研究院工作,是Transformer-XL和XLNet的第一作者。
其中XLNet模型在18个自然语言任务中取得了比谷歌BERT更好的结果,是当时NLP领域最流行的国际前沿模型之一。
2016年,杨植麟作为第一作者与图灵奖获得者Yann LeCun共同发表论文;他与图灵奖获得者 Yoshua Bengio 共同发表了一篇论文。
此外,他还与Quoc V. Le(谷歌大脑创始人之一)、何凯明等人共同撰写论文。
据不完全统计,杨植麟在 ICLR、NeurIPS、ICML、ACL、EMNLP 等计算机顶级会议上发表论文 20 余篇,研究成果 Google Shcolar 引用次数累计超过 0 次。
目前,杨植麟是清华大学交叉信息研究院助理教授。
他的研究兴趣包括大规模预训练、自然语言处理、自然语言理解和生成、小样本学习、零样本学习和多模态学习。

31岁的杨植麟在大型模型领域赫赫有名:循环智能、智慧AI、智慧研究院……他的名字和身影无处不在。
同时,杨植麟及其团队还担任核心研发成员,参与了Google Bard、Gemini、Einstein、盘古、五道等大型模型的研发,并发明了AI领域的标志性成果包括 TransformerXL、XLNet、RoPE、Detectron2 和组标准化。
,被 Google PALM 和 LLaMa 等模型采用。
如今,经验丰富的杨植麟选择了自己创业,自然受到各方密切关注,并受到知名投资者的热烈追捧。
天眼查App信息显示,杨植麟持有月之暗面78.97%的股份,拥有完全控股权。
来源:天眼查 3、清华大学同事组队,成员堪称全明星阵容。
围绕杨植麟的月之暗面创业伙伴也非同寻常,不容小觑。
月之暗面的代言人周昕宇持有该公司10%的股份。
他与杨植麟、张玉涛是清华大学计算机科学与技术系的本科同学。
大四时,周昕宇以实习生的身份加入旷视科技,各方面都符合他的标准,毕业后正式加入。
工作内容是算法量产,就是将算法的生产效率提高很多倍。
工作期间,他与旷视研究院基础科研负责人张翔宇共同研究移动端模型,作为共同作者撰写了《ShuffleNet: An Extremely Efficient Convolutional Neural Network for Mobile Devices》,并获得了CVPR投标。
ShuffleNet后来影响了各种手机毫秒人脸解锁技术,包括苹果的3D人脸解锁。
作为持有5.96%股份的第三大股东,吴育昕也有很大的背景。
吴育昕 毕业于清华大学和卡内基梅隆大学,并在 2016 年欧洲计算机视觉会议(ECCV)上获得*论文提名。
他是Meta(Facebook)的员工,也是该公司人工智能实验室FAIR团队的成员。
他和团队成员何宇明共同提出了群归一化(GN)方法。
在今年10月的GeekPwn国际安全极客大赛上,IYSWIM是六支参赛队伍中第一个破解人脸识别算法的队伍。
吴育昕当时作为 IYSWIM 团队的成员参加比赛。
据他介绍,“我(以自己的名义注册,队友没有来参加活动)使用谷歌的FaceNet开源代码模型来破解算法。
” 此外,杨植麟的同僚张玉涛目前持有该公司5%的股份,最后0.08%的股份由王震持有。
公开资料显示,张玉涛就读于清华大学计算机系,获得学士和硕士学位。
研究方向为异构数据融合和知识图谱构建,在KDD、CIKM等计算机顶级会议上发表多篇文章。
作为技术负责人参与科技大数据分析平台AMiner的研发。
王震毕业于复旦大学计算机系,后就读于新加坡南洋理工大学计算机工程系。
他的主要研究工作集中在人工智能在法医学中的应用。
此前,他曾担任谷歌高级软件工程师/技术总监,开发移动网络搜索、社交平台等产品。
后来,他担任新加坡领先的AI技术驱动的独角兽集团(ADVANCE.AI)的技术委员会负责人/技术副总裁,也有投资机构的经验。
如果说清华大学支撑了大规模示范创业的一半,那么唐杰教授就是中坚力量。
智普AI、致远研究院、月之暗面、循环智能等公司都与其有着深厚的关系。
谈及与兄弟甚至师父“同场竞技”时,杨植麟说,“我觉得这更多的不是竞争,而是大家在这个领域做出自己的贡献。
因为这里的空间很大,所以很难有一个家公司什么都能做,而且每个人的侧重点都不一样,比如月之暗面专注于C端,每个公司的技术路线也不同,这里面其实蕴藏着巨大的机会。
”。
除了技术优势,《月之暗面》在产品人才方面也做了充足的准备,据杨植麟介绍,团队拥有数亿DAU经验的产品人才,善于寻找C端的应用场景。
而这也是月之暗面现阶段重点关注C端用户的原因【本文由投资社区合作伙伴微信公众号授权:本平台仅提供信息存储服务。
】如有任何疑问,请联系投资界()。
版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。
标签:
相关文章
06-17
06-18
06-18
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟,Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车?
更新鸿蒙3后,文杰允许你在车里做PPT了
新起亚K3试驾体验:追求“性价比”,韩系汽车仍不想放弃
阿维塔15登场!汽车配备了增程动力,理想情况下会迎来新的对手吗?
马斯克宣布创建 ChatGPT 竞争对手! OpenAI的CEO给他泼了冷水, GPT-5可能会发生巨大变化
骁龙无处不在,是平台也是生态