首页 > 科技动态 > 内容

腿足机器人深度强化学习注意事项

发布于:2024-06-17 编辑:匿名 来源:网络

本内容提供了使用 CMU 腿足机器人极限跑酷项目的详细指南,重点关注 Isaac Gym 环境。

它包括控制模拟的实用指导,例如暂停、启动和调整相机视角。

此外,它还提供了对训练过程的深入了解,例如硬件要求(建议至少 16GB GPU),以及从保存的模型恢复训练的提示。

该指南还介绍了 Isaac Gym 如何使用“无头机器”,即没有直接人机界面、通常进行远程管理的计算机。

此内容对于有兴趣将深度强化学习应用于机器人技术的研究人员或爱好者特别有用,因为它提供了在模拟环境中训练有腿机器人的技术细节和操作技巧。

对于那些关心机器人训练效率的人来说,提到该项目相对于传统方法(例如波士顿动力公司使用的方法)的快速开发潜力值得注意。

- CMU Parkour Reappearance(Extreme Parkour with Legged Robots)项目地址: - Issac Gym操作空格键:暂停/开始模拟,V键:取消/开始渲染,F键:切换自由/跟随视角,中键:移动视角,滚动滚轮:缩放视角,右键:旋转视角,Alt+左键:移动视角,【键和】键:切换镜头跟踪目标 - Isaac-gym(3):官方文档--编程模拟设置源代码:在安装目录 isaacgym/python/isaacgym,例如:terrainterrain_utils.py 示例:在安装目录 isaacgym/python/examples 官方文档:安装 Isaac Gym 后,直接双击打开 isaacgym/docs 文件夹中的 .html 文件,例如: - 训练显卡显存需要大于16GB。

作者推荐或者更好的服务器。

注释掉train.py的第43行,可以在训练时渲染,实时查看训练效果。

训练期间按 V 快捷键可启用/取消渲染同步。

在一轮计算机训练期间基于策略:启用渲染超过9秒并取消渲染。

同步需要 2 秒以上,直接非可视化也是如此。

Issac Gym的渲染界面在玩的时候会自动打开。

如果运行的设备没有显示器,可以添加 --web 参数,该参数将转发连接到 vscode 的端口。

需要安装VScode插件Live Preview vscode。

您可以一边训练一边玩,查看训练效果,但必须有足够的显存。

设置--resume和--resumeid参数可以从之前训练好的模型重新开始训练,例如:--resume --resumeid xxx-xx,xxx-xx只能是数字,比如00。

示例:python train.py --exptid 16-WHATEVER --device cuda:0 --resume --resumeid 12 - 保存模型时 python save_jit.py --exptid yyy-yy,yyy-yy 是训练蒸馏策略名称。

- “无头机器”一般指没有显示器、键盘或其他人机界面的计算机或设备。

该设备通常通过网络进行远程管理和控制。

例如,服务器、某些嵌入式系统或 IoT(物联网)设备通常是无头的,因为它们不需要或没有用于直接人类操作的界面。

此类设备设计为自动运行,无需直接监督,并通过网络或其他连接进行配置和维护。

-legged_robot.py:环境/相机/urdf,观察/奖励,重置,step/post_physical_step,关节pd,终止条件check_termination -base_task.py:键盘设置,self.viewer动作到平衡位置的偏移以开始正常训练输出( parkour) - xx@xxx:~/extreme-parkour/legged_gym/legged_gym/scripts$ python train.py --exptid 11-WHATEVER --device cuda:0 - 导入模块 'gym_38' - CMU Parkour 重复项目 GitHub 地址是- Issac Gym 是一个模拟环境。

您可以使用空格键暂停/开始模拟,V键取消/开始渲染,F键切换自由/跟随视角等操作。

- Isaac Gym的官方文档可以在安装目录isaacgym/python/isaacgym中找到,示例代码可以在isaacgym/python/examples中找到。

- 训练需要内存大于16GB的显卡。

笔者推荐使用配置以上的服务器。

通过对train.py第43行进行注释,可以实时查看训练效果。

在计算机上,开始一轮渲染训练大约需要9秒,取消渲染同步或非可视化大约需要2秒。

通过添加--web参数,可以将渲染接口转发到VScode插件Live Preview vscode连接的端口。

您可以一边训练一边玩,查看训练效果,但需要足够的显存。

您可以使用 --resume 和 --resumeid 参数从先前训练的模型重新开始训练。

- 保存模型时使用命令 python save_jit.py --exptid yyy-yy,其中 yyy-yy 是训练蒸馏策略时的名称。

- “无头机器”是指没有显示器、键盘或其他人机界面、通常通过网络进行远程管理和控制的计算机或设备。

腿足机器人深度强化学习注意事项

-legged_robot.py和base_task.py是项目中的两个文件,分别包含环境设置、观察奖励、重置、联动控制等功能。

- 可以通过命令 python train.py --exptid 11-WHATEVER --device cuda:0 来执行训练。

- 提示正在导入模块“gym_38”。

腿足机器人深度强化学习注意事项

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 「坚果盒」完成数百万元种子轮股权融资

    「坚果盒」完成数百万元种子轮股权融资

    7月6日,「坚果盒」宣布完成数百万元种子轮股权融资,这也是迄今为止的首轮股权融资。 本轮融资由水滴资本领投,BML跟投。 本轮资金将主要用于公司的产品研发、生态建设、运营体系建设、市场推广,以及进一步加大开发投入、加速产品迭代。

    06-17

  • 东车日报 -消息称蔚来进军手机行业-现代首家工厂停产韩系车市占比不足2%-法拉利SUV实车曝光

    东车日报 -消息称蔚来进军手机行业-现代首家工厂停产韩系车市占比不足2%-法拉利SUV实车曝光

    介绍哪吒S达到80km/h Elk测试大众e-up!海外重开 法拉利首款SUV Purosangue接受预订,实车曝光,宝马i4正式上市,售价44.99万元/53.99万元,雷诺宣布电动转型计划,正在研发飞行汽车,蔚来进军手机行业,前美图总裁尹水军加盟梅塞德斯奔驰:内置纯电动汽车生产线还要几年 现代

    06-21

  • 关键5%,制定AVS3标准,率先引入神经网络技术,备战北京冬奥会

    关键5%,制定AVS3标准,率先引入神经网络技术,备战北京冬奥会

    随着国内疫情得到进一步控制,各行业已恢复正常运营。 北京冬奥会各赛区建设项目也逐步复工,整体筹备工作并未受到进一步影响。 备战冬奥会,加速布局AVS3KG超高清视频。 据悉,为保障下一届冬奥会8KG超高清赛事直播的及时、高效、高质量,我国AVS工作组牵头的AVS3标准制定工

    06-18

  • 【全球财经24小时】2023年12月4日

    【全球财经24小时】2023年12月4日

    2023年12月4日投融资事件汇总及详情,欢迎订阅《全球财经24小时》系列文章,动动小手指为我们助力更好更快地获取信息 带给您~ 点击此处输入表格摘要。 今日全球市场共发生18起投资披露事件,其中境内12起,境外6起。 其中,国内先进制造业5例、汽车交通行业1例、企业服务业3例

    06-17

  • TowerJazz已将华大九天全流程模拟-混合信号IC设计方案纳入参考流程

    TowerJazz已将华大九天全流程模拟-混合信号IC设计方案纳入参考流程

    电子设计自动化(EDA)解决方案提供商华大九天近日宣布,其模拟/混合信号全流程IC设计方案已纳入参考流程正式进入全球领先晶圆代工厂TowerJazz的设计参考流程。 华大基因的模拟/混合信号全流程IC设计平台与TowerJazz的先进制造技术相结合,将为共同客户提供全面的自动化设计解

    06-06

  • 中芯国际2018年第三季度业绩公布

    中芯国际2018年第三季度业绩公布

    除特别说明外,所有币种均以美元为单位。 本合并财务报告是根据国际财务报告准则编制的。 中国上海 11 月 7 日 /美通社/ -- 中芯国际集成电路制造有限公司(纽约证券交易所股票代码:SMI;香港联交所股票代码:)(“中芯国际”、“公司”或“我们”)今天公布了三家公司的合

    06-06

  • CHawk Technology 在越南开设新的先进制造工厂,为东南亚的半导体客户提供支持

    CHawk Technology 在越南开设新的先进制造工厂,为东南亚的半导体客户提供支持

    新工厂提供特殊工艺,包括镀金、超高纯度不锈钢轨道焊接和合同制造……2020 年 8 月 8 日 – 全球首选半导体 CHawk Technology 是一家为医疗保健和医疗保健产品提供精密部件、子系统和完全集成组件的供应商,今天为其新的“越南 GTI”中心举行了剪彩仪式,该中心包括一条 51

    06-06

  • 西班牙短视频RisApp获数千万元A轮融资,奇虎360投资

    西班牙短视频RisApp获数千万元A轮融资,奇虎360投资

    投资社区(ID:pedaily)4月30日消息,西班牙短视频社区产品RisApp获得数千万元A轮融资。 万元融资,投资方为北京奇虎科技有限公司。 RisApp是一个针对拉美西班牙语市场的短视频互动社区。 专注于内容+社交娱乐玩法,高效分发到各类用户群体。 该应用包含不同的兴趣圈子,注重

    06-17

  • 实现美妙居住体验,耀铭酒店获新龙脉领投数千万融资

    实现美妙居住体验,耀铭酒店获新龙脉领投数千万融资

    据投资界12月19日消息,耀铭酒店宣布获新龙脉领投数千万融资紧随其后的是《新龙脉》,其次是《第一资产》。 这是三个月后,蔓兰酒店再次获得巨额投资。 今年9月,耀明酒店刚刚获得松鹤资本领投的万元融资。 据悉,耀明酒店坐落于北京东二环著名地标——当代MOM社区。 作为香

    06-18

  • 中金资本在东北成立乡村振兴基金

    中金资本在东北成立乡村振兴基金

    投资界(ID:pedaily)据10月12日消息,为积极响应国家推进东北全面振兴战略,中金资本基金管理人、普通合伙人,携手吉林省股权投资基金投资有限公司、长春股权投资基金管理有限公司、长春晶悦产业基金投资有限公司、深圳市盛中投资发展有限公司,吉林中金科源新兴农业旅游私

    06-17

  • 香港政府支持香港联交所为吸引境内外企业上市而采取的一切措施

    香港政府支持香港联交所为吸引境内外企业上市而采取的一切措施

    香港特区行政长官林郑月娥昨天针对“简化香港证券市场上市机制”表示香港联交所是一家独立运作的上市公司,但会支持其所有措施,有利于吸引境内、海外和本地企业到香港股市上市。

    06-18

  • 晒出你压箱底的丑东西!2024第四届淘宝丑东西大赛隆重开幕,欢迎全网“献丑”

    晒出你压箱底的丑东西!2024第四届淘宝丑东西大赛隆重开幕,欢迎全网“献丑”

    炫耀你隐藏在背后的丑陋事物! 2024年第四届淘宝丑物大赛盛大开幕,欢迎全网“秀丑”。 岁末将至,全网也进入了年度库存高峰期。 各种类型的排名和总结评论层出不穷,帮助网友整理和重温这一年的每一个细节。 在众多好评中,独特的设计艺术品也迎来了自己的年度盛事——第四届

    06-18