Jul, 2023

基于路标的机器人操作模仿学习

PDF
TL;DR通过自动路径点提取，我们的方法可以将演示过程分解成最小集合的路径点，并与任何行为克隆（BC）算法结合，从而提高模拟环境中的成功率至多 25％，在实际世界的双臂操纵任务中提高 4-28％，将决策时间范围缩小最多 10 倍。
imitation learningwaypoint labelingautomatic waypoint extractionbehavioural cloningrobotic manipulation
发现论文，激发创造
  • 连续环境下基于指令导航的航点模型

    使用语言指导下的路径规划，研究机器人领域中的导航方式和交互问题。通过变换不同的机器学习模型，来探索不同的路径预测方法，并发现在 navigation metrics 上，更具表现力的模型能够帮助机器人找到更优秀、更简单、更快速的路径，而低层动作则能够通过近似最短路径来获取更好的路径规划结果。

    Oct, 2021

  • 基于深度学习和对比聚类的行作物路径点生成

    本研究提出了一种基于学习的方法，针对行作物的路径生成问题，通过对区域地图的聚类方法，生成导航路径指向航路点，验证结果表明该方法可以高效地解决路径生成问题并超越之前的模型。

    Jun, 2022

  • 通过交互畸变实现单次模仿学习

    提出新方法 Interaction Warping 以形态扭曲技术学习单个演示的 SE (3) 机器人操作并演示其在三个目标重新排列任务中的表现，并证明在野外环境中其具有预测对象网格和机器人抓握的能力。

    Jun, 2023

  • 从单个演示到机器人操作的粗到细模仿学习

    本文介绍了一种用于视觉模仿学习的简单方法，可以从一个人类演示中学习机器人操作任务，而无需先前了解与对象的交互情况，并且可以通过自监督学习进行训练。在实现过程中，该方法将模仿学习建模为状态估计问题，以目标交互开始时末端执行器的姿态作为状态，在自监督训练过程中让末端执行器的摄像头围绕对象自动移动。 最终，在测试时，机器人通过一条线性路径移动到预测的状态，然后简单地重放演示的末端执行器速度，从而获得了一个复杂的交互轨迹，而无需明确学习策略。在常见的 8 个任务上进行的实现结果表明，这种方法可以从单个人类演示中学习出多样的技能，并产生稳定且可解释的控制器。

    May, 2021

  • 在动态多智能体环境中通过丢弃航点来改进轨迹预测

    通过航点删除技术，本文引入了一种新的框架 Temporally Waypoint Dropping (TWD)，在原有轨迹预测方法的基础上，有效地通过 TWD 来学习轨迹之间的时序关联，从而显著提高轨迹预测准确性，并通过大量实验证明了 TWD 的有效性与可行性。

    Sep, 2023

  • 策略学习的全点轨迹建模

    通过使用预训练的轨迹模型，提出了一种利用视频演示来预测视频帧内任意点的未来轨迹，从而实现对机器人进行精确控制指导，使其能够在最少的动作标记数据下学习到鲁棒的视觉运动策略。

    Dec, 2023

  • 基于表示学习的自然机器人手臂轨迹生成

    通过自我监督的模仿学习方法，使用自回归时空图神经网络进行辅助饮水任务，利用多样化的人体运动轨迹数据来生成适合 UR5e 机器臂的自然而又功能性的饮水运动轨迹。

    Sep, 2023

  • DITTO：轨迹转换实现示范模仿

    通过离线和在线阶段的两步操作，本研究提出了一种通过单个 RGB-D 视频演示进行一次性模仿的机器人教学方法，包括轨迹提取、对象检测、轨迹匹配，借助多个辅助模型验证设计决策，并在真实世界场景下进行了广泛评估。

    Mar, 2024

  • Waypoint Transformer：通过中间目标的监督学习进行强化学习

    本研究提出了一种增强离线强化学习方法的新方法，即引入中间节点的 Waypoint Transformer，建立在决策变压器 (Decision Transformer) 框架上，自动产生的中间节点有助于连接不完美的轨迹，从而提高离线强化学习的性能和稳定性，并在各种负责的环境和数据配置中表现出与现有最先进的基于时间差异的学习方法相当或更优的性能。

    Jun, 2023

  • 可解释的长期基于路标的轨迹预测模型

    在复杂环境中预测动态实体的未来轨迹对于自动驾驶、机器人技术和人机交互等领域至关重要。本研究中，我们研究了在轨迹预测框架中加入长期目标对性能的影响，并提出了一种可解释的长期目标驱动预测框架 (WayDCM)，通过编码他们与环境的互动以及长期目标，首先预测了代理人的中间目标，然后预测相应的轨迹。

    Dec, 2023