- 信赖 PRoC3S:使用 LLMs 和约束满足解决长时程机器人问题
通过预训练的大型语言模型(LLM)在机器人学中的应用,探讨了 LLM 规划连续参数化技能集合的能力,以避免违反一系列运动学、几何学和物理学约束条件,通过采样或优化来解决连续约束满足问题,并通过实验验证了提出的 PRoC3S 策略在解决复杂操 - 一次性模仿学习与不变量匹配在机器人操作中的应用
通过学习不变区域和匹配测试环境中的不变区域,Invariance-Matching One-shot Policy Learning(IMOP)算法可以从单个未标注的演示中学习新任务,并取得显著的成功率提高。
- 通用机器人接触合成中的 ManiFoundation 模型与任意物体和机器人的操作
为了极大增强机器人智能,我们提出了一个全面的框架来开发通用机器人操作的基础模型,并通过形式化操作任务为接触综合来实现。我们的模型以物体和机器人的点云、物体的物理属性、目标运动和操作区域掩码作为输入,并输出物体上的接触点以及机器人实现所需的接 - Ag2Manip:利用与代理人无关的视觉和行为表示学习新的操作技能
Autonomous robotic systems capable of learning manipulation tasks can be transformed through Agent-Agnostic representati - 自然 VLM:利用细粒度自然语言进行支配引导的视觉操作
通过提出一个包含 15 个不同操纵任务的综合基准测试,该论文引入了一个以人类语言指令为基础的家庭助理机器人感知和操作多种 3D 物体的重大挑战,并通过建立一个新的学习框架逐步完成操纵任务。
- 双手扭开盖
利用深度强化学习和模拟到真实世界的转化方法,实现了对多种瓶状物体进行双手旋拧任务的智能机器人操作。
- RISeg:机器人通过身体帧不变特征进行交互式目标分割
通过使用机器人的互动和设计的具有变换不变性的体框特征,我们提出了一种改正不准确分割的新方法,可以显著提高不确定性驱动的分割准确性,并实现平均 80.7% 的物体分割准确率,相较其他最先进的无人物体实例分割方法提高了 28.2%。
- 深度强化学习中的时序索引作为顺序操控任务的归纳偏差
通过顺序执行不同的动作头部来学习原始技能,我们提出了一种有助于完成操作任务所需的技能学习的策略结构,在 Metaworld 任务上的测试表明,这种简单的结构优于标准策略学习方法,突显了其改进技能获取的潜力。
- LHManip:用于杂乱桌面环境中的长时程语言驱动操作任务的数据集
通过提供具有多步骤的长期任务的数据集,作者展示了语言条件的模仿学习和离线强化学习在机器人操作中的重要性和表现。
- 机器人机械臂的快速运动适应
研究表明,利用深度感知开发在各种操作任务中迅速适应的代理人可以在实现更好的通用性能和样本效率方面超越自动领域随机化和基于视觉策略的最新方法。
- LOTUS:无监督技能发现的机器人操控持续模仿学习
LOTUS 是一种持续模仿学习算法,使物理机器人能够在其寿命期内持续而高效地学习解决新的操作任务。通过使用一个开放词汇表视觉模型进行持续的技能发现过程,LOTUS 能构建一个不断增长的技能库,从一系列以少量人类示范展示的新任务中提取技能,并 - 交互式机器人从口头纠正学习
我们设计了一种基于大型语言模型 (LLM) 的学习系统 OLAF,使得普通用户可以通过语音纠正教导机器人,从而更新机器人的视觉运动神经策略,以避免未来重复错误,并在实验中展示了在长期任务执行中的成功率平均提高了 20.0%。
- 大规模预训练视觉表示在模拟和真实环境中的研究:我们从中学到了什么?
大规模实证研究表明预训练视觉表示(PVRs)的使用对训练执行现实任务的下游策略非常有用,尤其在操作和室内导航任务中表现出明显的性能优势。
- 多任务强化学习的预测任务特定层
通过引入新的架构 Projected Task-Specific Layers (PTSL),该论文通过使用特定任务层进行共享和可变任务信息的密集修正,从而成功地在多任务强化学习中解决了任务间的负面干扰,并在 Meta-World 的 MT - 指令跟踪的目标表示:半监督语言接口控制
通过使用少量语言数据,我们提出了一种联合图像和目标条件策略的方法来解决语言指示问题,该方法获得了在不同场景下进行操作任务的指令跟随表现,并具有从标记数据中外推语言指示的能力。
- 使用参数组合框架的高效多任务与迁移强化学习
本研究探讨了改进多任务训练以及在强化学习环境中的传递的潜力,提出了一种参数组合的方法来处理这一挑战,并通过在不同的操作任务上进行传递实验以证明其有效性。
- 工业机器人操作的虚拟现实远程控制界面
提出在商用虚拟现实界面下对工业机器人进行远程操作的问题,为此,提出了一个简化的过滤方法来处理命令信号,以便在熟练掌握虚拟现实界面的情况下对工业机器人进行远程操作,这一方法已在多种接触丰富的操作任务中得到了证明
- 从互联网视频中学习手眼协调技能
利用网络视频的人类手部动作行为作为真实世界经验来指导机器人任务,使用人类视频数据集的视觉、动作、物理规律作为机器人行为的先验知识的学习算法 VideoDex,在机器人手臂和灵巧的基于手的系统上进行测试,并在各种操作任务上显示出强大的结果。
- 残差技能策略:学习适应性技能基础的动作空间,用于机器人增强学习
通过使用状态条件生成模型在技能空间中加速探索,同时提出低层次的剩余策略来适应未知的任务变化,从而在与先前工作的比较中显着加快了探索速度,并跨四个不同于那些用于构建技能空间的具有挑战性的操作任务进行了验证。
- SAM-RL: 基于可微物理仿真与渲染的感知感知模型强化学习
提出了一种基于感知的模型强化学习系统 SAM-RL,利用可微分的基于物理学的模拟和渲染自动更新模型,并通过不同的视角监测任务进程以提高样本效率,在三个机器人操作任务中进行了实际应用并证明了其有效性。