- AlphaBlock:机器人操纵中视觉语言推理的具身微调
提出了一个学习机器人操纵任务高级认知能力的新框架,使用语言模型构建 AlphaBlock 数据集,自动采集综合高级多步文本计划和配对观察序列,使用多模式的闭环计划模型自回归生成计划,从而实现对机器人的精细操作。实验结果表明,该方法显著提高了 - 使用视觉动作转换器模拟任务与运动规划
该论文提出了一种新的模仿学习系统 OPTIMUS,通过模仿 TAMP 代理来训练大规模视觉运动装置策略,从而介绍了一种专门为模仿学习策划的 TAMP 数据生成流程,并演示了 OPTIMUS 可以解决各种挑战性的基于视觉的操作任务。
- 学习基于视频的策略用于未见过的操纵任务
通过一个基于视频的条件学习智能体(ViP)方法,本文提出了一种无需训练数据就能够通过人类演示来控制机器人操作的方法,该方法在多项机器人操作环境中的表现优于现有技术,并在新的零样本设置中展现出良好的性能,可能具有广泛的应用前景。
- 利用实时仿真的内在随机性促进机器人操纵的强化学习
使用实时模拟的本地随机性在强化学习中得到应用可以改善域随机化技术的性能和稳健性能,进而在机器人操作中实现更好的泛化和相对低的启发式随机化水平,解决了实际应用中如机器人操作的模拟到现实世界的差距问题。
- 利用对称性和启发式演示的离线策略强化学习在机器人操纵中的应用
本研究旨在定义和纳入物理机器人环境中的自然对称,利用行为克隆和强化学习相结合的方法,通过专家演示在对称环境下训练高效的模型无关强化学习策略,为普通操作任务的学习性能提供了新的可行方法。实验研究结果显示,相较于传统的策略外学习算法,该方法具有 - 可移动物体操作规划:确定哪些物体去哪里、以何种顺序和方式
本文介绍了一种基于多智能体路径规划和非抓取式推动规划的机器人操纵方法,该方法可以在混乱和受限的三维工作空间中移动物体,并利用刚体物理模拟器检查路径是否满足物理约束,通过改进后的算法在实际机器人操作和模拟操作中优于其他现有算法。
- 为视觉和语言操作命名对象
本研究提出了一种机器人系统和方法,通过对目标对象提前命名,减少自然语言命令的歧义问题,实现了更高的物体操作成功率。
- 稀疏奖励下的不匹配任务演示增强学习
该论文提出了一种名为保守奖励塑造的学习方法,用于解决强化学习中的稀疏奖励问题,并在机器人操纵任务中实现了学习从演示中获取的技能以应用于其他相似但不同任务的能力。
- 利用新兴的外在灵巧性学习抓取难以抓取的物体
本文基于强化学习训练了一个具有外部灵活性的简单机械手实现了 “遮挡抓取” 任务,其学到的策略能够成功地转移到物理机器人上,具有较好的推 generalizability
- 运动策略网络
该研究提出了一种名为 M$\pi$Nets 的端到端神经模型,用于从单个深度摄像头观察中生成碰撞自由、平稳的运动,经过在超过 500,000 个环境中进行的超过 3 百万次运动规划实验的训练,证明 M$\pi$Nets 比以前的神经规划器快 - 多人模仿学习中的兼容演示引导
研究通过基于人提供的演示的模仿学习来学习机器人操作策略,通过测量新演示与基本策略的兼容性并积极征求新用户的兼容演示,从而改善任务成功率。
- 交互式机器人操作的混合组合推理方法
本文介绍了一种神经符号 (混合) 组合推理模型,以将语言引导的视觉推理与机器人操作相结合。该模型通过使用共享的原始技能库以任务非特定的方式处理所有情况。通过语言解析器将输入查询映射为由这些原语组成的可执行程序取决于上下文。结果表明,该方法达 - 一个适用于接触丰富机器人操作的安全接触强化学习框架
本文提出一种安全的强化学习框架,用于处理复杂的接触丰富的机器人操作任务,能够在任务空间和关节空间中保持安全,同时使机械臂与环境发生的接触力保持较小。该框架采用模拟训练,成功地在实际机器人上验证了其性能。
- 树状扩展粗细 Q-attention
该研究提出了 Q-attention with Tree Expansion(QTE)来替代标准的 Q-attention,从而解决在机器人操作中由于分辨率较低而导致的对象类似度较高的问题。经过多项 RLBench 任务以及真实物体实验,证 - 基础模型能否对机器人操作执行零样本任务规范?
探索了任务规格的另一种目标,如来自互联网的图像,提供所需任务的视觉描述的手绘图或简单的语言描述,并研究了大规模预训练模型(基础模型)的能力,以实现零样本目标规格,结果表明在模拟机器人操作任务和真实数据集中具有良好的表现。
- 无需机器人的机器人训练:基于深度模仿学习的主控策略传递
本文提出了一种新的主控器到机器人 (M2R) 迁移学习系统,通过低成本控制器和基于注视的模仿学习框架及简单的校准方法,使操作者可以自然地感受到力反馈而不需要昂贵的双边系统,进而克服主控器和机器人之间的域差异,使得机器人也能够完成需要力反馈的 - 使用魔方进行机器人操控基准测试
提出 “魔方操纵” 作为机器人操纵领域的基准测试,以衡量精准操纵和顺序操纵的同时表现,量化精度和速度,并演示该协议在 PR2 和 HERB 机器人上的基础方法和改进方法
- 机器人控制中离线人类演示的学习关键因素
本研究提出了六种离线机器人操纵算法来学习人类行为,通过对不同复杂度的数据集进行分析,揭示了从人类示范数据中学习操纵技能的最关键挑战,同时介绍了从人类数据集学习的机会和优点,为未来研究和公平比较提供了公开的数据集和算法实现。
- 基于粒子的物体操纵的第一性原理
本文提出了一种基于颗粒的物体操作方法 (Prompt),用于机器人对先前没有对象模型或先前在大型对象数据集上进行预训练的新对象进行操作。Prompt 的关键元素是颗粒表示法,用于表示物体中的每个点,点的本地几何、物理等特征以及与其他颗粒的关 - CVPR通过在合成域中校正图像残差进行数据驱动的六自由度姿态跟踪
该论文提出了一种名为 se (3)-TrackNet 的数据驱动优化方法,通过一个新颖的神经网络架构和 Lie 代数的 3D 方向表示,它可以跟踪 6D 姿态,即使只使用合成数据进行训练,并可用于机器人操作,实验表明该方法能够在多个基准测试