vivo S7e图片赏析：轻薄又“清”，5G又“实惠”
06-21
阿里云创业平台推出AI24小时系列文章，汇集国内外最新的AI人工智能前沿资讯，帮助AI创业者掌握最新行业资讯。
1. OpenAI在大语言模型可解释性方面取得新进展（LLM） >> 大语言模型因其在多种应用场景中的潜力而受到广泛关注，但人们对模型内部的神经活动了解有限。
有限的。
OpenAI开发了一种新方法，可以“扫描”GPT-4来揭示AI的思维过程，并开源了该方法。
OpenAI 使用改进的稀疏自动编码器技术，在 GPT-4 中提取了数万个特征，这些特征通常对应于可理解的概念。
离开 OpenAI 的 Ilya Sutskever 和 Jan Leike 等团队成员参与了这项研究。
这是一种识别神经网络中关键特征的方法，这些特征对于生成给定输出非常重要，并且显示出与人类容易理解的概念一致的稀疏激活模式。
2、AI世界的“海马”：HippoRAG技术如何让机器像人类一样思考？ >>谷歌的AI搜索功能AI Overviews在信息检索方面存在问题，例如提供不正确或无意义的答案，这凸显了大语言模型（王牌）在信息检索方面的局限性。
检索增强生成（RAG）技术被视为解决LLM局限性的一种方法，但最近的证据表明，RAG 在确认信息真实性方面存在缺陷。
俄亥俄州立大学NLP团队的论文提出了HippoRAG这种模仿人脑记忆功能的AI技术，通过整合知识图谱、个性化PageRank算法和检索编码器能力来增强LLM的知识整合和多跳推理能力。
HippoRAG 在多跳问答任务上表现良好，与现有 RAG 方法相比，性能提高了约 3% 至 20%。
单步搜索成本比迭代搜索方法低10~30倍，速度快6~13倍。
HippoRAG 在处理没有清晰路径的复杂问题时也显示出优势，并且可以与现有的迭代检索方法结合使用以提高性能。
1.OpenRLHF>>大型语言模型（LLM）规模的增长带来了性能提升，但也面临着与人类价值观和意图保持一致的挑战。
基于人类反馈的强化学习（RLHF）是解决这一问题的有效技术之一。
随着模型规模的增加，RLHF 训练需要更多的计算资源和复杂的学习过程。
尤其是当模型参数超过1亿时，现有的架构就无法满足需求。
这个新框架使用 Ray、vLLM 和 DeepSpeed 重新设计了模型调度，以支持超过 1 亿个参数的模型的 RLHF 训练。
它具有易用性、高性能、分布式RLHF、集成PPO实现技巧等优点。
OpenRLHF可以与Hugging Face Transformer无缝集成，支持Hybrid Expert (MoE)、Jamba、QLoRA等技术，实现直接偏好优化(DPO)、Kahneman-Tversky Optimization (KTO)等多种对齐算法。
OpenRLHF使用Ray进行模型分配和细粒度编排，支持在多个GPU上分配至少四个组件模型，提高调度效率。
通过使用 vLLM 张量并行化等技术，OpenRLHF 加快了样本生成速度并支持更大的 LLM 模型。
2、独角兽公司Cohere>>Cohere公司由Aidan Gomez和另外两位90后校友Ivan Chang和Nick Frosst于2001年创立。
公司近期完成4.5亿美元融资，估值50亿美元（约合人民币1亿元）。
Aidan Gomez 是深度学习领域重要论文《Attention is All You Need》的作者之一，该论文首次提出 Transformer 架构，对 AI 领域产生了深远影响。
Cohere专注于利用大规模AI模型服务企业客户，并设计了针对性的支付模型。
差异化战略帮助Cohere在AI市场获得竞争优势。
Cohere 已与 Jasper、HyperWrite 和 Salesforce 等公司建立了合作伙伴关系。
截至今年3月，该公司的收入达到1万美元。
Cohere的融资历史引人注目。
其早期得到了图灵奖得主Geoffrey Hinton等AI领域大佬的支持，并保持了每年的融资节奏。
AI工具箱>>点击进入阿里云，汇聚市面上最新最全的AI工具。
从现在开始，你的创造力不再遥远#阿里云#Creat@AI创客之歌#AI创业ToB企业软件的智能化正在经历从传统小模型、知识图谱驱动到大模型驱动的引擎升级。
大型模型不再局限于简单地生成或理解文本和图像数据，而是成为人工智能代理的超级大脑。
以大模型为核心的企业软件势在必行。
如何将其融入业务并实现可持续价值是企业必须回答的问题。
为此，Create@Al创客之歌第五季以“AI x 企业服务”为主题，邀请所有利用大模型能力打造企业服务产品的企业参与。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-18
06-06
06-18
06-18
06-17
06-06
最新文章
Android旗舰之王的过去与未来
智能手表不被开发、AR眼镜被推迟，Meta的产品经历了一波三折
为什么Cybertruck是特斯拉史上最难造的车？
更新鸿蒙3后，文杰允许你在车里做PPT了
新起亚K3试驾体验：追求“性价比”，韩系汽车仍不想放弃
阿维塔15登场！汽车配备了增程动力，理想情况下会迎来新的对手吗？
马斯克宣布创建 ChatGPT 竞争对手！ OpenAI的CEO给他泼了冷水， GPT-5可能会发生巨大变化
骁龙无处不在，是平台也是生态