Oct, 2023

基于关键点集成的软动作者 - 评论高斯混合模型的机器人技能推广

PDF
TL;DR我们通过将模仿和强化学习范式相结合，开发了一种学习和适应技能的混合模型，通过学习动态系统的关键点，利用机器人在技能学习过程中的视觉观察，预测场景内的参考点，从而实现机器人在新环境中的零样本泛化能力和在目标环境中更快地优化技能的目标，同时能有效处理场景变化。
robotic manipulation systemhybrid skill modelsgeneralizationkeypoint integrated soft actor-critic gaussian mixture modelszero-shot generalization
发现论文，激发创造
  • BC-Z：利用机器人模仿学习实现无需先学习任务的泛化

    本文旨在通过模仿学习的角度研究如何通过扩大数据采集并建立交互灵活的学习系统来促进基于视觉的机器人操作系统向新任务的泛化，当扩展真实机器人的数据采集到 100 个不同的任务时，我们发现此系统可以实现 24 个未见过的操作任务，平均成功率为 44%。

    Feb, 2022

  • 通过生成对抗自我模仿学习从示范中学习类别级可搬移物体操作策略

    本文通过模仿学习的方式解决在复杂情况下通过学习实现物体操作技能的问题，提出了一种可以应用于各项任务的无先验奖励的泛化策略学习方法，并通过几个关键技术，包括生成式对抗自我模仿学习、不断完善的判别器和平衡专家池中的实例，显著提高了分类水平操作策略学习的效率和泛化能力。实验结果在 ManiSkill 基准测试中都有明显改善。

    Mar, 2022

  • S3K: 自监督语义关键点多视角一致性用于机器人操作

    本文探讨机器人行动的基本局限性和现有的视觉表征学习方法存在的问题，并提出利用语义三维关键点作为视觉表征的方法，通过半监督训练，使其精度达到毫米级别，能够帮助定义强化学习的奖励函数并作为代理训练的有效表征。

    Sep, 2020

  • 基于模型的高斯过程演示学习

    本文提出了一种基于高斯混合回归的新型多输出高斯过程（MOGP）方法，利用 MOGP 的协方差将从演示中检索的变异性捕获起来，使机器人能够精确跟踪经过点，同时在高变异地区保持的柔顺性。

    Oct, 2019

  • 基于自监督对抗模仿无标签混合动作的多用途技能控制

    本文提出了一种协作对抗式学习方法，用于从包含不同状态转移模式的未标记数据集中最大化它们的可辨识度，获得可控技能集的单一多才策略。实验结果表明，借助生成式对抗模仿学习框架中的无监督技能发现，出现了成功完成任务的新颖有用技能。最后，在名为 Solo 8 的敏捷四足机器人上测试了所获得的多才多艺策略，并呈现出编码在演示中的各种不同技能的忠实复制。

    Sep, 2022

  • Generative Pre-trained Heterogeneous Graph Transformer 学习面向目标的软物体操作技能

    SoftGPT 是一种预训练软物体操纵技能学习模型，具有三维异质图表示和基于 GPT 的动力学模型，通过引入先前的知识，可以有效地学习各种软物体操纵技能，包括直接从人类演示中学习。

    Jun, 2023

  • 基于课程的通用技能模仿

    本研究提出一种基于课程学习和 MoE 的模仿学习方法，用于从人类多样化的演示中教授机器人控制技能，并在复杂机器人控制任务中显著优于当前最先进的方法。

    Apr, 2023

  • 学习机器人技能组合模型，用于任务和动作规划

    该研究旨在通过学习使用感知运动基元来解决复杂的长期规划操作问题，其需要将基本技能组合成新的技能来推广应用于广泛的问题中，同时使用高效的主动学习和采样方法，将学习和规划方法结合来规划各种复杂的动态操作任务。

    Jun, 2020

  • KOVIS：基于关键点的视觉伺服，配合零样本 Sim-to-Real 转移技术，用于机器人操作

    该研究提出了 KOVIS，一种新的基于学习、无需校准的视觉伺服方法，用于具有眼手立体相机系统的精细机器人操纵任务。该方法通过自监督学习在模拟环境中训练两个网络，实现了零样本从模拟到实际的转换，并在不同的机器人操纵任务中取得了有效性展示。

    Jul, 2020

  • 使用引导式策略搜索学习接触丰富型操作技能

    本文介绍了一种用于学习具有高度通用策略表示的动态操作行为的新方法，该方法可以扩展最近开发的策略搜索方法，并使用迭代重新拟合的时间变化线性模型来学习所需运动技能的一组轨迹，然后将这些轨迹统一到一个单一的控制策略中。

    Jan, 2015