首页 > 科技未来 > 内容

机器人送货时反应慢吗? NVIDIA开发AI模型:数据集图像总数超过15万张,成功率100%

发布于:2024-06-18 编辑:匿名 来源:网络

想象一下,如果你想优雅地将手中的一个小方块递给别人,你是否握住了方块的一边?与你的手成正方形吗?或者伸出手握住方块的底部?那么如果对手是机器人,你握小方块的方式会影响机器人的快速准确识别吗?答案是“是”!因此,Nvidia的研究人员设计了一种人类和机器人传输物品的新方式。

当机器人面对人类时,它会对自己的握持动作进行判断和分类,然后设计出传递物品的方式。

这种方法更加流畅,可以为协作机器人的设计提供新的思路,从而提高仓库工人的生产力。

当地时间3月12日,相关论文Human Grasp Classification for Reactive Human-to-Robot Handovers(基于人手抓取动作分类的人机切换响应)发表在预印本网站arXiv上。

为了解决物体与人手相互遮挡的问题,雷锋网获悉,越来越多的研究聚焦于人与机器人之间物体的无缝传递领域。

目前,绝大多数研究都着眼于将物品从机器人转移给人类的挑战,假设人类可以将物品放入机器人的抓握器中并进行反向操作。

然而,人机无缝移交物品的一大挑战是机器人缺乏可靠和持续的感知。

在搬运和拾取物品的过程中,物品和人的手不可避免地会互相阻挡,并且人们在搬运和拾取物品的同时常常在做其他事情。

因此,机器人对人手和物品的状态和位置的估计并不是很准确。

研究人员提出的一种策略是通过借鉴计算机视觉社区的现成方法来估计人手的运动和物体的 6D 状态。

机器人送货时反应慢吗? NVIDIA开发AI模型:数据集图像总数超过15万张,成功率100%

然而,这种方法仅关注人手或物体。

基于此,NVIDIA研究人员进行了一系列改进。

首先,研究人员利用微软Azure Kinect深度传感器的人体追踪SDK(软件开发套件)获取以人手为中心的检测到的点云,编辑数据集,训练AI??模型。

此外,研究人员还展示了手持物体的样本图像,并记录了人手在 20 至 60 秒内做出的类似动作。

在此期间,人们可以不断移动身体或手,以保证不同的观看角度。

据了解,研究团队的数据集包含超过15万张图像。

在此基础上,研究者将握持动作进行了分类。

例如,当手上拿着一个小方块时,动作可以描述为“张开手掌”、“卡在底部”、“卡在顶部”、“卡在侧面”或“抬起。

”研究人员表示:我们的系统目前覆盖了人们持有物体77%的方式,未来我们会将其扩展到更大的范围。

随后,研究人员对移交物体的任务进行了建模,并基于“鲁棒逻辑动态系统”设计了移交物体的轨迹,消除了对特定类型的夹具和人手接触的需要。

麻烦。

雷锋网了解到,这个系统必须适应人类各种可能的握持动作,才能做出反应并确定接近人类和递出物品的方式。

系统会在“起始”位置等待,直到准确估计出人类将如何握住物体。

事实上,研究人员在一系列实验中对人手所有可能的位置和动作进行了系统回顾,并确定了分类模型和任务模型。

同时,研究人员还考虑了这个过程中可能涉及的额外操作(下图按优先级降序显示了可能的额外操作)。

切换成功率为%。

雷锋网注意到,在实验中,研究人员使用了来自德国慕尼黑机器人公司 Franka Amika 的两款不同的“熊猫机器人”。

研究人员将它们安装在同一张桌子上。

在屏幕上的不同位置,从人类那里接收到 4 种不同颜色的物体。

论文的两位作者表示,与两种基线方法(一种不判断人手的状态,另一种只依赖手和物体的状态)相比,他们的方法提高了人机交互的成功率物品的无缝交接。

,并缩短了规划执行时间——切换成功率为%(第二高为80%),判断成功率为64.3%(第二高为29.6%),总规划执行时间为17.34秒(第二高为29.6%)。

第二短的时间是36.34秒)。

不过,研究人员也明确提到了这个系统的缺点和未来的研究方向:提高判断的成功率将是我们未来的努力之一,因为即使系统已经可以处理大多数物体和人手相互遮挡的情况另外,场景,但不确定性也较高,有时机器人要重新判断。

此外,他们计划让系统从数据中学习不同的持有类型,而不是依赖人为规则。

机器人送货时反应慢吗? NVIDIA开发AI模型:数据集图像总数超过15万张,成功率100%

站长声明

版权声明:本文内容由互联网用户自发贡献,本站不拥有所有权,不承担相关法律责任。如果发现本站有涉嫌抄袭的内容,欢迎发送邮件 举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。

标签:

相关文章

  • vivo S7e图片赏析:轻薄又“清”,5G又“实惠”

    vivo S7e图片赏析:轻薄又“清”,5G又“实惠”

    vivo的S系列是线下、线上的热销机型,定位相当明确。 进入5G时代,9月份发布的vivo S7和本文中的主角vivo S7e与旗舰手机的“厚度”完全不同。 他们又回归了4G手机轻薄的特点。 它们还支持5G全网络和mAh大电池,让5G不再“焦虑”。 vivo S7e在尺寸和重量方面与S7类似。 厚度约

    06-21

  • 投资世界24小时 -航空公司开始破产,中概股可以排队回国,康方生物在港交所上市,字节推出“电子牵引”

    投资世界24小时 -航空公司开始破产,中概股可以排队回国,康方生物在港交所上市,字节推出“电子牵引”

    延长阅读时间:2020年4月26日星期日重要消息航空公司开始破产:不料,五一廉价机票浪潮袭向第一批航空公司。 日前,澳大利亚第二大航空公司维珍集团旗下维珍澳大利亚航空(Virgin澳大利亚)正式宣布破产。 受全球疫情影响,维珍航空3月份宣布将削减90%的国内航班。 由于收入锐

    06-18

  • 健力宝们卖身史

    健力宝们卖身史

    健力宝有销售人体器官的历史。 第一款添加碱性电解质的饮料、第一个引入运动饮料概念的饮料、中国“第一批”驰名商标之一……这些都是“东方神水”健力宝在2017年首创的。 上个世纪。 壮举。 或许很多90后、2000后的人已经不认识这个品牌了,但健力宝曾经是中国饮料当之无愧的

    06-18

  • 蓝绿光半导体激光器将实现国产

    蓝绿光半导体激光器将实现国产

    科技日报记者近日获悉,中国科学院苏州纳米技术与纳米仿生研究所(以下简称中科院苏州纳米所)已与多家公司合作成立国内首家研究院。 氮化镓基蓝绿半导体激光材料及器件制造商。 这意味着国外垄断的蓝绿光半导体激光器将实现国产化。 氮化镓基蓝绿光半导体激光器是第三代半导

    06-06

  • 【微博焦点】传闻京东下周将启动IPO,北京100多家团购网站消失

    【微博焦点】传闻京东下周将启动IPO,北京100多家团购网站消失

    关注微博投资界:Top 5 1.有消息称京东将下周启动IPO,融资额将创互联网公司IPO之最  #企业#外电称,京东计划下周启动IPO程序,融资40亿美元至50亿美元,这可能是美国互联网公司最大的IPO融资。 刘强东8月在微博上透露,“我将在很长一段时间内不会谈论有关京东的任何事情”

    06-18

  • 2023低碳技术白皮书-数字技术应用

    2023低碳技术白皮书-数字技术应用

    关键词:能源、低碳技术创作者:阿里云创新中心&前瞻产业研究院发布日期:2020年10月报告简介2023年中国提出:努力变得更好比年前达到峰值,实现年前“碳中和”的宏伟目标。 但现阶段中国二氧化碳排放总量较大,占世界年碳排放量的31.1%。 在“双碳”目标驱动下,科技创新支撑

    06-18

  • 在线中文教育品牌PPtutor获数千万元A轮融资

    在线中文教育品牌PPtutor获数千万元A轮融资

    投资社区(ID:pedaily)据4月6日消息,在线中文教育公司PPtutor近日宣布完成A轮融资。 天使轮后,比特时代再次加大投资,投资金额达数千万元。 PPtutor创始人王勃表示,本轮资金将主要用于产品研发、市场拓展、团队建设等方面。 PPtutor创始团队来自新东方、华为、腾讯、中科

    06-18

  • “深圳创投日”深圳天使天使基金业高质量发展大会成功举办

    “深圳创投日”深圳天使天使基金业高质量发展大会成功举办

    “天使引领,行业保驾护航”——“深圳创业日”深圳天使天使基金业高质量发展大会行业大会召开 4月8日天使俱乐部在深圳市福田区北楼隆重举行。 本届大会以“天使引领,行业保驾护航”为主题,旨在通过深入交流合作,加快深圳创投行业新生产力培育,推动深圳创投行业健康快速发

    06-18

  • 运动自拍之王,FLYPRO XEagle无人机评测

    运动自拍之王,FLYPRO XEagle无人机评测

    消费级用户购买无人机的主要目的是航拍,但跟拍和环绕拍摄需要熟练的操作。 这个巨大的用户门槛,或许连大疆这样的巨头都还没有注意到。 今天我们体验的FLYPRO XEagle智能运动无人机是国内第一款真正针对消费人群重新设计的无人机。 不管你之前是否了解过无人机,它都可能会刷

    06-18

  • 规模超7亿,全国首支石墨产业基金已投入运营

    规模超7亿,全国首支石墨产业基金已投入运营

    据投资界(ID:pedaily)9月13日消息,日前,中石化旗下辰能创投高新投资公司联手中国宝安集团、哈尔滨新区政府共同发起设立的黑龙江石墨产业投资基金一期已全额缴付,标志着黑龙江石墨产业投资正式投入运营基金,国内首支投资石墨行业的私募股权投资基金。 石墨产业基金总规

    06-17

  • 罗莱迪思完成数千万元D轮融资,黄山政府产业基金投资

    罗莱迪思完成数千万元D轮融资,黄山政府产业基金投资

    投资圈(ID:pedaily)4月27日报道称,杭州罗莱迪思科技有限公司(以下简称“罗莱迪思”)城市智慧照明整体解决方案提供商“城市智慧照明整体解决方案提供商”)宣布完成数千万元D轮融资。 投资方为黄山政府产业基金,管理人为安徽国有基金管理人德贵资本,庚信资本担任长期战

    06-18

  • OPPO全球计算中心即将投入运营

    OPPO全球计算中心即将投入运营

    东莞滨海湾新区12月27日,OPPO全球计算中心剩余建筑已竣工验收,即将全面投入运营。 OPPO全球算力中心总投资14.76亿元,占地约0.5亩。 作为国内超大型数据中心,计划在单个园区建设8KW机柜和12万台服务器,用于处理和存储公司核心数据。 未来将为OPPO提供大数据、5G应用、物联

    06-06