Jun, 2024

想象内分布状态：如何通过可预测的机器人行为实现用户对学习策略的控制

PDF
TL;DR在这项研究中，我们正式阐明了一种问题，并提出了 Imaginary Out-of-Distribution Actions（IODA）这一初始算法，它使用户能够利用他们对机器人行为的期望来完成新任务。我们在一个真实机器人的用户研究中部署了 IODA，并发现 IODA 可以使任务性能更好，并且提高了机器人行为与用户期望的一致性。我们还展示了在分区控制中，任务绩效与机器人满足用户期望的能力之间存在着强而显著的相关性，凸显了像 IODA 这样的方法的必要性。
发现论文，激发创造
  • 通过想象行为修改强化学习策略：可预测的策略如何帮助用户完成新任务

    用户使用强化学习机器人的功能来创造性地解决问题非常重要，本文提出了 Imaginary Out-of-Distribution Actions（IODA）算法，以解决用户使用机器人行为知识完成新任务时遇到的问题。

    Dec, 2023

  • 自主车辆能否识别并适应分布变化？

    本文提出了一种新的方法，名称为稳健仿真规划（RIP），可以检测和适应一些分布的偏移，减少 OOD 场景中的自信和灾难性外推。如果模型的不确定性太高，建议采用反馈机制，同时引入一个自动驾驶汽车新场景基准测试（CARNOVEL）来评估驾驶代理的鲁棒性。

    Jun, 2020

  • SeRO: 自我监督强化学习用于超出分布情况的恢复

    我们提出了一种新颖的方法，通过自我监督地训练，使机器人智能体能够在发生超出分布状态的情况下重新获得自身的状态分布，并大大提高了其从超出分布状态中恢复的能力。

    Nov, 2023

  • 基于策略分解的人工智能共享控制

    本文介绍了一种基于频率的方法（Policy Dissection）用于 Reinforcement Learning (RL) 方法中的人机共享控制，该方法可将 RL 训练过的策略转化为可以与人类互动的策略，并在自动驾驶和动力学任务中进行了实验。

    May, 2022

  • 使机器人能够交流它们的目标

    通过机器模拟对人类推导目标功能的学习过程，选择对人最具信息量的行为，以准确预测机器人在新情境下的行为，为此我们提出了两种候选的近似推断模型，并在自动驾驶领域中进行用户研究，结果表明，某些近似推断模型可以使机器人生成更好的行为示例，从而更好地使用户预测其行为，但我们还需要进一步研究人类从机器人行为示例中的推导过程。

    Feb, 2017

  • 基于模型的隔离想象强化学习

    Iso-Dream++ 提出了一种基于模型的强化学习方法，通过优化逆动力学以及利用分离可控状态转移的混合动态源，对视觉导向交互系统中的动态实现更有效的建模。实证研究证明，在 CARLA 和 DeepMind Control 等控制环境中，Iso-Dream ++ 能够显著优于现有的强化学习模型。

    Mar, 2023

  • Robust Imitation by Return-to-Distribution Planning

    本文介绍一种与专家数据收集环境不同的 Imitation Learning（模仿学习）方法，该方法结合行为克隆和计划策略，通过将代理人带回专家访问的状态解决数据分布漂移问题，以提高性能。作者将这一算法命名为 POIR，并在实际的机器人操作模拟器中进行了多种实验测试，并表明该学习策略对于不同的初始状态分布和嘈杂的动态具有很好的鲁棒性。

    May, 2023

  • 想象价值梯度：基于模型的策略优化和可转移的潜在动态模型

    本文研究如何通过模型驱动的增强学习方法促进任务转移，提出了基于动作条件的预测模型学习算法，用于机器人操作任务中的策略优化并在转移学习场景中取得了显著的学习速度提升。

    Oct, 2019

  • 使用策略蒸馏和 Sim2Real 传输在现实中部署的连续强化学习

    研究如何训练一个机器人能够在一个连续的学习情境中解决所有遇到的任务，而不会忘记以前的任务。研究采用强化学习算法，应用于三轮全向机器人的 2D 导航任务，通过状态表征学习和策略蒸馏的方法，提高算法的样本效率与任务综合性能。

    Jun, 2019

  • 基于数据驱动的模仿学习规划

    利用数据驱动的模仿学习框架，通过模仿一个清晰的预测者，解决了机器人规划中的优化问题，从而为序列决策制定了更好的战略。在信息不完整的计划问题上进行了验证，包括真实的无人机实验，并且表现优于现有的算法。

    Nov, 2017