Mar, 2024

可扩展机器人模仿学习的增强现实演示

PDF
TL;DR通过增强现实技术辅助的演示获取框架，该论文提出了一种创新的解决方案，使非机器人专业人员能够使用 HoloLens 2 等设备为机器人模仿学习提供演示，从而实现了可扩展和多样化的真实世界任务演示收集。通过在三个经典机器人任务（到达、推动和拾取放置）上进行实验证明了该方法的有效性，实际机器人能够成功执行每个任务并回放通过增强现实收集的演示。
robot imitation learningaugmented realitydemonstration collectionhololens 2classical robotics tasks
发现论文，激发创造
  • 一种增强现实平台，用于通过机器人向 K-12 学生介绍强化学习

    本文介绍了一个增强现实系统，使人类可以观察到机器人学习的隐藏状态，建立了人类和机器人的共同基础，并讨论了使用我们的系统在 K-12 教育活动中以及开发基于 AR 的人类循环强化学习框架的两个未来方向。

    Oct, 2021

  • AR2-D2 无需实体机器人训练机器人

    AR2-D2 是一种不需要经过专门训练的人，也不需要在数据采集期间使用真实机器人的演示数据收集系统，可用于训练真实机器人的行为克隆代理，并且与真实机器人演示数据训练同样有效。

    Jun, 2023

  • 基于云计算的层次化模仿学习：将建筑技能从人工劳动者转移至辅助机器人

    通过将重复且对人体有需求的建筑任务交给机器人，可以减少工人在职业伤害上的曝光。为了成功地将工人的巧妙而适应性的手工建筑工艺技能转移到机器人身上，我们提出了一种沉浸式云机器人虚拟演示框架，该框架数字化了演示过程，消除了对重型建筑物的重复物理操纵的需求，不仅如此，还利用了分层模仿学习（HIL）模型将人类操作技能分解为顺序和反应子技能，通过委派建筑工作的物理压力给经过人类训练的机器人，该框架促进了在建筑行业中包容具有不同体能和教育背景的工人。

    Sep, 2023

  • ReIL: 基于强化干预的模仿学习框架

    本文提出了一种基于增强和干预的多任务学习框架 --ReIL，该框架旨在实现在无需过多监督和调整的情况下，在真实环境中训练代理。实验结果表明，相较于其他基于干预的方法，ReIL 使用任意奖励函数进行训练时无需使用额外启发式方法，能够在稀疏监督信号的情况下快速学习并保持性能。

    Mar, 2022

  • 基于深度模仿学习的虚拟现实远程操作复杂操纵任务

    本文介绍了如何利用消费级虚拟现实头显和手部追踪硬件来自然地远程操纵机器人执行复杂任务，并说明了如何使用仿真学习来学习从像素到动作的策略映射。实验展示了我们方法在视觉动作技能学习上的有效性。

    Oct, 2017

  • 通过增强现实远程操作系统进行示教的自监督六自由度机器人抓取

    通过增强现实（AR）远程操作系统，我们提出了一种自我监督的 6-DoF 抓取姿势检测框架，能够高效地学习人类示范，并提供不需要抓取姿势注释的 6-DoF 抓取姿势，实现了对未知物体进行仅仅通过三次示范就能够满意地学习抓取的能力。

    Apr, 2024

  • 基于 GPU 仿真和高质量演示的交互式人类样学习加速

    利用 GPU 模拟技术和模仿学习指导策略搜索以使强化学习培训可在高维机器人手表现复杂控制问题的领域中成为可能，最终演示了并行强化学习和模仿学习的互补优势和优秀的验证结果。

    Dec, 2022

  • 利用人类凝视和增强现实在机器人人机交互中教授未知物体

    通过结合眼动追踪和增强现实技术，本研究通过人机交互方式教授机器人未知物体，使其在 3D 空间中识别和可视化分割对象，并通过学习获得与现有数据集训练的先进对象检测器相当的性能，展示了其多功能和适应性。

    Dec, 2023

  • 基于物体姿态估计和主动学习的虚拟现实：实现具有空中操纵能力的遥控机器人

    本文提出了一种新型遥控系统，包含了触觉设备以及虚拟现实界面，应用于动态和非结构化环境下的空中机器人操作。利用多个传感器进行感知、姿态估计以及神经网络的主动学习等算法，针对工业领域的任务进行了验证实验，并展示了该系统在未来工业应用中的可行性。

    Oct, 2022

  • Habitat-Web: 从大规模人类演示中学习具身体物体搜索策略

    大规模仿真学习研究证明在新环境中使用人类示范对比传统的强化学习对于机器人物品寻找的效率更高，在目标导航和 Pick＆Place 方面都表现出良好的表现，并呈现出不错的收缩算法的可能性。

    Apr, 2022