Apr, 2024

AdaDemo: 广义机器人代理器的数据有效演示扩展

PDF
TL;DR本研究通过 AdaDemo（自适应在线演示扩展）框架，在机器人学习中引入了新的演示数据集扩充方法，以提高多任务策略学习的效果，通过对 22 个任务的全面评估，展示了 AdaDemo 在改进策略性能、引导高质量演示数据集生成方面的能力，实现了数据的有效利用。
发现论文，激发创造
  • 通过估计演示者的专业水平进行模仿学习

    本研究通过对演示者专业技能的无监督学习，开发了一种可同时学习演示者政策和专业技能水平的联合模型，并通过过滤每种演示者的次优行为，训练出可以优于任何演示者的单一策略，并可用于估计任意状态下演示者的专业技能，在 Robomimic 等实际机器人控制任务以及 MiniGrid 和棋类等离散环境中取得了比其他方法更好的表现。

    Feb, 2022

  • MoDem: 利用演示加速视觉基于模型的强化学习

    利用演示可以显著提高模型学习效率，在这项工作中，我们确定了利用演示进行模型学习的关键因素，即策略预训练，有针对性的探索和演示数据的过采样，这三个阶段构成了我们的基于模型的 RL 框架。

    Dec, 2022

  • 如何通过示范高效地教导机器人？

    通过使用信息熵作为准则，建议教师给出更具信息量的示范样例，从而提高机器人学习效率。使用增强现实引导系统对初学者进行训练，从熵最高的区域产生额外的示范，并在同一任务（保留）和新任务（转移）上测试性能，结果发现机器人的学习效率大幅提高，与启发式规则相比提高了 210%。

    Oct, 2023

  • 基于演示引导的强化学习及高效探索技术用于手术机器人任务自动化

    本文介绍了一种基于强化学习的手术自动化算法，使用专家演示数据来提高任务探索效率并克服探索挑战。实验显示该算法在 $10$ 个手术操作任务中取得了显著的提高，并在实际机器人上展示了有效性。

    Feb, 2023

  • MimicGen：一个用于可扩展机器人学习的数据生成系统，利用人类演示

    利用少量人类示范，通过适应它们到新场景的方式，自动合成大规模且丰富的数据集，使机器人代理能够在长期视野和高精度任务中通过模仿学习取得良好的性能，比收集额外的人类示范更有效且经济。

    Oct, 2023

  • 多人模仿学习中的兼容演示引导

    研究通过基于人提供的演示的模仿学习来学习机器人操作策略，通过测量新演示与基本策略的兼容性并积极征求新用户的兼容演示，从而改善任务成功率。

    Oct, 2022

  • 机器人操控的语义增强和动作分块的泛化和效率

    通过语义增强和行为表征，我们开发了一个高效的系统（RoboAgent）来训练具备多任务操作技能的通用智能体，使用少量多样的多模态数据集，能够展示不同的技能并在新颖的场景中表现出很好的泛化性能。

    Sep, 2023

  • HERD: 持续人机进化的学习人类示范方法

    本论文介绍了如何通过微进化强化学习的方法，将人类操作技能转移到商业机器人上，同时提出了多维进化路径搜索算法以及专家人类代理政策的转移，通过实验验证了该框架的有效性。

    Dec, 2022

  • 自我演示：引发大型语言模型的演示外泛化能力

    提出了一种名为 Self-Demos 的新方法，通过查询感知的演示生成，插值生成了介于现有演示和给定查询之间的演示，以实现有限的演示和非演示查询的关联。在实验中展示了该方法在非演示设置中优于现有基线模型，并进行了一系列分析以验证 Self-Demos 的泛化性能和提供更多的见解。

    Apr, 2024

  • 有限数据情况下示范学习的鲁棒性

    本研究旨在探明演示学习方法对于预训练语言模型在数据量有限的情况下的提升效果以及其原因。我们设计了不同类型的演示数据来研究其鲁棒性，发现无论演示数据的内容是随机的还是包含部分有用信息，都能使模型成为更好的 few-shot learner，证明了演示学习方法能够提升标记序列学习的能力。

    Oct, 2022