首页 > 科技动态 > 内容

腿足机器人深度强化学习注意事项

发布于:2024-06-17 编辑:匿名 来源:网络

本内容提供了使用 CMU 腿足机器人极限跑酷项目的详细指南,重点关注 Isaac Gym 环境。

它包括控制模拟的实用指导,例如暂停、启动和调整相机视角。

此外,它还提供了对训练过程的深入了解,例如硬件要求(建议至少 16GB GPU),以及从保存的模型恢复训练的提示。

该指南还介绍了 Isaac Gym 如何使用“无头机器”,即没有直接人机界面、通常进行远程管理的计算机。

此内容对于有兴趣将深度强化学习应用于机器人技术的研究人员或爱好者特别有用,因为它提供了在模拟环境中训练有腿机器人的技术细节和操作技巧。

对于那些关心机器人训练效率的人来说,提到该项目相对于传统方法(例如波士顿动力公司使用的方法)的快速开发潜力值得注意。

- CMU Parkour Reappearance(Extreme Parkour with Legged Robots)项目地址: - Issac Gym操作空格键:暂停/开始模拟,V键:取消/开始渲染,F键:切换自由/跟随视角,中键:移动视角,滚动滚轮:缩放视角,右键:旋转视角,Alt+左键:移动视角,【键和】键:切换镜头跟踪目标 - Isaac-gym(3):官方文档--编程模拟设置源代码:在安装目录 isaacgym/python/isaacgym,例如:terrainterrain_utils.py 示例:在安装目录 isaacgym/python/examples 官方文档:安装 Isaac Gym 后,直接双击打开 isaacgym/docs 文件夹中的 .html 文件,例如: - 训练显卡显存需要大于16GB。

作者推荐或者更好的服务器。

注释掉train.py的第43行,可以在训练时渲染,实时查看训练效果。

训练期间按 V 快捷键可启用/取消渲染同步。

在一轮计算机训练期间基于策略:启用渲染超过9秒并取消渲染。

同步需要 2 秒以上,直接非可视化也是如此。

Issac Gym的渲染界面在玩的时候会自动打开。

如果运行的设备没有显示器,可以添加 --web 参数,该参数将转发连接到 vscode 的端口。

需要安装VScode插件Live Preview vscode。

您可以一边训练一边玩,查看训练效果,但必须有足够的显存。

设置--resume和--resumeid参数可以从之前训练好的模型重新开始训练,例如:--resume --resumeid xxx-xx,xxx-xx只能是数字,比如00。

示例:python train.py --exptid 16-WHATEVER --device cuda:0 --resume --resumeid 12 - 保存模型时 python save_jit.py --exptid yyy-yy,yyy-yy 是训练蒸馏策略名称。

- “无头机器”一般指没有显示器、键盘或其他人机界面的计算机或设备。

该设备通常通过网络进行远程管理和控制。

例如,服务器、某些嵌入式系统或 IoT(物联网)设备通常是无头的,因为它们不需要或没有用于直接人类操作的界面。

此类设备设计为自动运行,无需直接监督,并通过网络或其他连接进行配置和维护。

-legged_robot.py:环境/相机/urdf,观察/奖励,重置,step/post_physical_step,关节pd,终止条件check_termination -base_task.py:键盘设置,self.viewer动作到平衡位置的偏移以开始正常训练输出( parkour) - xx@xxx:~/extreme-parkour/legged_gym/legged_gym/scripts$ python train.py --exptid 11-WHATEVER --device cuda:0 - 导入模块 'gym_38' - CMU Parkour 重复项目 GitHub 地址是- Issac Gym 是一个模拟环境。

您可以使用空格键暂停/开始模拟,V键取消/开始渲染,F键切换自由/跟随视角等操作。

- Isaac Gym的官方文档可以在安装目录isaacgym/python/isaacgym中找到,示例代码可以在isaacgym/python/examples中找到。

- 训练需要内存大于16GB的显卡。

笔者推荐使用配置以上的服务器。

通过对train.py第43行进行注释,可以实时查看训练效果。

在计算机上,开始一轮渲染训练大约需要9秒,取消渲染同步或非可视化大约需要2秒。

通过添加--web参数,可以将渲染接口转发到VScode插件Live Preview vscode连接的端口。

您可以一边训练一边玩,查看训练效果,但需要足够的显存。

您可以使用 --resume 和 --resumeid 参数从先前训练的模型重新开始训练。

- 保存模型时使用命令 python save_jit.py --exptid yyy-yy,其中 yyy-yy 是训练蒸馏策略时的名称。

- “无头机器”是指没有显示器、键盘或其他人机界面、通常通过网络进行远程管理和控制的计算机或设备。

腿足机器人深度强化学习注意事项

-legged_robot.py和base_task.py是项目中的两个文件,分别包含环境设置、观察奖励、重置、联动控制等功能。

- 可以通过命令 python train.py --exptid 11-WHATEVER --device cuda:0 来执行训练。

- 提示正在导入模块“gym_38”。

腿足机器人深度强化学习注意事项

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • 规模6亿!合盛铜陵经济开发区产业发展基金成立

    规模6亿!合盛铜陵经济开发区产业发展基金成立

    3月8日消息,近日,合盛铜陵经济开发区产业发展基金(有限合伙)合伙协议签约仪式在铜陵经济开发区管委会举行。 签约现场,方正和盛投资有限公司代表负责人介绍了基金设立流程、项目储备等。 据悉,和盛铜陵经济开发区产业发展基金(有限合伙)是由方正和盛投资有限公司共同出

    06-17

  • 美国高端研磨抛光设备制造商PSS集团研发生产基地落户苏州高新区

    美国高端研磨抛光设备制造商PSS集团研发生产基地落户苏州高新区

    苏州高新区公告,为落实要求,在市委的推动下,我区将继续广纳贤才,提高项目质量,努力实现更大的招商引资。 突破性进展,今日(4月14日)苏州高新区与全球高端研磨抛光设备领导者PSS集团签署战略合作协议。 PSS集团苏州制造研发基地项目位于高新区。 未来,将成为PSS集团面

    06-06

  • 征服围棋后,Deepmind想要“看穿”人眼

    征服围棋后,Deepmind想要“看穿”人眼

    在今年3月举世闻名的人机大战中,谷歌DeepMind凭借AlphaGo击败了李世石,向世界展示了人工智能在深度学习方面的非凡潜力。 但你认为 DeepMind 能做的就是这些吗?太天真了!据《卫报》报道,DeepMind 已与英国国家医疗服务体系 (NHS) 达成第二次合作,将与 Moorfields 眼科医

    06-17

  • 容器升级优化,业务轻松上云

    容器升级优化,业务轻松上云

    1。 项目背景:某企业客户是一家互联网科技公司。 技术团队从相关业务开始就一直在使用容器相关的产品和服务,并通过开源和自建逐步将整个项目纳入容器化管理。 中间结合CICD工具进行devops实践,同时云上和云一起运行。 使用harbor镜像仓库进行镜像管理。 随着公有云产品日趋

    06-18

  • “美团集团”新成员平信科技未来将加大餐饮To B业务

    “美团集团”新成员平信科技未来将加大餐饮To B业务

    据投资界5月16日消息,据相关媒体报道,今日,平信科技宣布,公司已接受美团点评收购。 提供。 平信科技正式更名为“美团集团”。   据悉,平信科技将保持独立运营,未来团队分工不变,平信科技合作伙伴及商户客户的权益将继续得到保障。   此次收购平信科技,美团将进一

    06-18

  • 日本陶瓷电容准备涨价,或将导致全球手机价格上涨

    日本陶瓷电容准备涨价,或将导致全球手机价格上涨

    日经新闻:村田制作所将提高电子核心部件陶瓷电容全系列价格产品,减少 20% 至 30%。 由于智能手机的升级、5G设备的普及以及汽车的电子化,陶瓷电容器的供需日益紧张。 村田制作所将通过提价来转嫁投资负担和劳动力成本增加。 这将是村田制作所自2018年互联网泡沫以来18年来首

    06-06

  • 酷狗推出了年轻人音乐App,颜值处于第一梯队

    酷狗推出了年轻人音乐App,颜值处于第一梯队

    曾几何时,PC时代的科技公司给我们带来了许多关于“声音”的深刻记忆,比如英特尔的“光,等光” “等灯”、QQ的“嘟嘟嘟”敲门,当然还有酷狗音乐的“你好,酷狗”,但当人们的注意力从PC转移到手机上时,那些过去的记忆随着时间的推移而变得模糊。 作为老牌玩家,如今的酷狗

    06-21

  • 中国科技体制改革研究会会长张景安:孵化器要为中国创新产业化做出贡献

    中国科技体制改革研究会会长张景安:孵化器要为中国创新产业化做出贡献

    “上百年是硅时代,下百年是碳时代,新百年是碳时代”材料是未来创业的重要方向。 ”5月21日,中国科技体制改革研究会会长、科技部原党组成员弗拉基米尔张景安院士在第二期创新孵化沙龙上表示——中国科技体制改革研究会会长、科技部原党组成员张景安回忆道,从宏观上看,我国

    06-18

  • 力行股份:一季度净利润预计同比增长380%-430%

    力行股份:一季度净利润预计同比增长380%-430%

    3月29日,力行股份公告,一季度净利润同比增长380%-430%预计10000-10000元,同比增长%-%。 今年以来,随着全球经济复苏,公司及合作伙伴生产经营恢复正常,产能利用率提高,收入稳步增长。 高端压路机已进入放量时期。

    06-18

  • 弘晖投资组合公司Verseau获5000万美元融资,专注巨噬细胞靶向疗法

    弘晖投资组合公司Verseau获5000万美元融资,专注巨噬细胞靶向疗法

    据投资界10月22日消息,弘晖投资组合公司Verseau Therapeutics, Inc.(简称“Verseau”)宣布获得融资融资10,000美元,投资方包括20/20 HealthCare Partners、三生制药、Alexandria Venture Investments、弘晖资本、InHarv Partners Ltd.、马克癌症研究基金会和永华投资。 这

    06-18

  • 星辰海医疗完成数千万元天使轮融资,全面推进一次性电子内窥镜研发布局

    星辰海医疗完成数千万元天使轮融资,全面推进一次性电子内窥镜研发布局

    据投资界(ID:pedaily)5月11日消息,深圳市星辰海医疗科技有限公司,星辰海医疗股份有限公司(以下简称:星辰海医疗)近日完成数千万元天使轮融资,由知风独家投资。 本轮资金将用于一次性内窥镜等产品的研发、GMP工厂建设以及产品注册认证。 星辰海医疗成立于今年10月。

    06-18

  • 江西吉安半导体智能制造产业园正在建设中

    江西吉安半导体智能制造产业园正在建设中

    集微网 近日,江西省吉安市举行超50亿元、100亿元重大产业项目集中签约仪式。 来自国家级井冈山经济技术开发区的消息显示,井冈山经济技术开发区已签约智能终端全产业链项目、氢能源科技产业项目、半导体等3个超百亿元项目。 智能制造产业园项目。 其中,半导体智能制造产业

    06-06