本研究介绍了一种在深度强化学习循环中嵌入面向对象视觉助力模型的方法，以学习优先选择与人类喜欢的对象区域相同的抓握策略，实现对物体的灵活抓握能力。通过40个物体的实验，表明该方法可以显著提高抓握策略效能，泛化能力较强，比普通基线方法的训练速度更快，且更能适应噪声传感器。

Sep, 2020

提出一种从人类遥操作的游戏数据中提取自我监督的视觉管用模型，并将其与基于模型的策略学习和基于模型的强化学习相结合，以实现有效的策略学习和运动规划，从而实现在人类环境中运作的机器人的高效操作。

Mar, 2022

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

本论文探讨了如何通过利用互联网视频中的人类行为，训练一个可视化驱动的视觉能力模型，以此实现机器人在现实环境中的复杂任务执行。我们将该模型与四个机器人学习范式无缝连接，并在4个现实世界环境、超过10种不同任务和2个机器人平台中展示了其效力。

Apr, 2023

通过学习视觉契合来指导机器人探索，并使用基于Transformer的模型来学习VQ-VAE潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

May, 2023

通过引入‘Where2Explore’，一个能够有效地在有限数量的实例上探索新类别的可行性学习框架，本文解决了在机器人学中基础而又具有挑战性的关节物体操作问题，实现了有效的少样本学习与推广。

Sep, 2023

通过从人类视频中提取联系点、并借鉴人类思维方式，我们提出了 Robo-ABC 框架，在不需要任何手动注释、附加训练、部分分割、预编码知识或视角限制的情况下，使机器人能够通过检索视觉或语义上相似的对象来获得关于操作性的信息，并将其映射到新对象上，从而实现对类别之外的对象的零样本操作。在视觉操作性检索上，Robo-ABC 达到了相对于最先进的端到端操作模型的31.6%的显著提高，并通过现实世界的物体抓取任务实验，取得了85.7%的成功率，证明了其在真实世界任务中的能力。

Jan, 2024

本研究针对机器人操作中对功能性能力理解不足的问题，提出了一种高效的能力学习系统，结合自动数据收集和模型训练。通过引入几何引导能力转换器（GKT）和能力抓取框架（Aff-Grasp），该系统显著提高了能力预测和抓取成功率，推动了更智能的机器人操作能力的发展。

Aug, 2024

本研究解决了助理机器人操控中的两个关键挑战：如何有效调整大规模模型以适应实际场景下的可供性理解任务，以及如何通过视觉可供性模型引导机器人轨迹的学习。我们提出了一种高效的提示调优方法，使冷冻的视觉模型能够在多任务场景中预测操控可供性，同时使用流匹配方法学习机器人轨迹，所得结果在日常生活活动中表现优异，且全面超越了其他调优协议，展示出显著的实用性和效率。

Sep, 2024

本研究针对现有中介表示在机器人操作中缺乏上下文或过度限定的不足，提出了一种基于可供性的策略条件化方法。RT-可供性模型新颖地结合任务语言生成可供性计划，并通过该计划指导操作策略，实现了在多样化新任务上超过现有方法50%以上的性能提升，展现了其在新环境下的鲁棒性。

Nov, 2024