劳力士在二手市场“跳水”
06-17
在充满挑战的环境中，一些人工智能系统通过利用过去经验提供的世界表征来实现其目标。
研究人员将这些应用程序推广到新的情况，使他们能够在以前从未遇到过的环境中完成任务。
事实证明，强化学习（一种利用奖励来推动软件策略实现目标的训练技术）特别适合学习总结智能体经验的世界模型，进而促进新行为的学习。
雷锋网消息，近日，来自谷歌、Alphabet子公司DeepMind和多伦多大学的研究人员发表了一项名为《梦想控制：通过潜意识的学习行为》的新研究。
他们开发了一种增强学习代理 Dreamer，它将世界模型内化。
并通过潜在的“想象力”提前计划来选择行动。
他们说，Dreamer 不仅适用于任何学习目标，而且在数据效率、计算时间和最终性能方面优于现有方法。
在其整个生命周期中，无论是交错的还是并行的，Dreamer 都会学习潜在的动力学模型来预测行动和观察的回报。
在这种情况下，“潜在动态模型”是指从图像输入中学习并执行计划以收集新经验的模型。
“潜在”意味着它依赖于隐藏状态或潜在状态的紧凑序列，这使得它能够学习更抽象的表示，例如物体的位置和速度。
使用编码器组件，来自输入图像的信息被有效地集成到隐藏状态中，然后及时前向投影以预测图像和奖励。
上图：梦想家完成摆动钟摆的任务。
中间显示 45 个预测步骤。
Dreamer 使用多部分潜在动力学模型。
该模型的结构有些复杂。
“表示”位对观察结果和动作进行编码，而“转换”位则在不了解导致观察结果的条件的情况下预测状态。
第三个组件（奖励组件）根据给定的模型状态来预测奖励，而行为模型则实现学习的策略并旨在预测解决想象环境的行为。
最终，价值模型评估行动模型所实现的预期想象奖励，而观察模型则提供反馈信号。
上图：梦想家在迷宫中穿行。
中间显示 45 步预测。
雷锋网获悉，在一系列实验中，研究人员测试了Dreamer在DeepMind Control Suite（一款用于评估机器学习驱动智能体的模拟软件）中的20个视觉控制任务上的有效性。
他们首先使用 Nvidia V 图形芯片和 10 个处理器核心对其进行训练，每次训练运行一次。
他们说，每个环境步骤在控制套件上花费了 9 个小时。
（相比之下，Google 的 Dreamer 前身 PlaNet 需要 17 个小时才能达到类似的性能。
）上图：Dreamer 玩 Atari 游戏（拳击）。
中间显示 45 步预测。
研究人员报告说，Dreamer 有效地利用了世界的学习模型，从少量经验中进行概括，并且它的成功表明，通过潜在想象力进行学习的行为可以胜过顶级方法。
他们还表示，即使在短期计划中，Dreamer 的价值模型也表现良好，在 20 项任务中有 16 项优于其他模型（四项并列）。
研究人员写道：“未来关于表征学习的研究可能会将想象力的潜力扩展到视觉复杂性更高的环境中。
”他们计划本周在温哥华的 NeurIPS 上展示他们的工作。
Dreamer 项目的代码可在 GitHub 上公开获取。
版权声明：本文内容由互联网用户自发贡献，本站不拥有所有权，不承担相关法律责任。如果发现本站有涉嫌抄袭的内容，欢迎发送邮件 举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。
标签：
相关文章
06-17
06-06
06-18
06-17
06-17
06-06
最新文章
3月，腾讯《王者荣耀》在全球App Store和Google Play吸引了2.57亿美元，同比增长63%
生鲜传奇宣布完成数亿元B+轮融资
裁员20%？红杉中国回应：胡说，员工总数不降反升
第二次影视创新“闯”短剧世界：看、留、跳都是钱
ASML：从飞利浦弃儿到光刻之王
宁康瑞珠获数千万元A轮融资 横琴金投、翰颐资本投资
智能金融服务生态平台科客完成A+轮融资
拼多多九鼎：信息披露无懈可击，竞争对手才是“浇水”的