本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

Sep, 2023

本文提出了一种有效的注释方案，通过将目标无关的运动动作和抓握类型作为能力标签，并引入机械动作概念来描述两个物体之间的动作可能性，解决了现有数据集中的问题，并通过将此方案应用于 EPIC-KITCHENS 数据集来验证了模型的有效性。

Jun, 2022

本文提出了一种使用内在动机来指导移动机器人利用环境中可行的任务来自主学习并适应互相关联的任务的方法。

Sep, 2020

通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

May, 2023

采用模块化神经网络体系结构，利用合成数据和模拟技术，通过低维潜在表示生成场景可用性，成功训练机械臂政策。同时，提出了一种数据集生成方法，可轻松推广到新任务、对象和环境，无需手动像素标记。

Mar, 2019

通过文本指导的能力学习方法，学习机器人接触点和操纵轨迹，实现对实际场景中多样化互动的理解。

Apr, 2024

本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

Dec, 2017

本研究介绍了一种在深度强化学习循环中嵌入面向对象视觉助力模型的方法，以学习优先选择与人类喜欢的对象区域相同的抓握策略，实现对物体的灵活抓握能力。通过 40 个物体的实验，表明该方法可以显著提高抓握策略效能，泛化能力较强，比普通基线方法的训练速度更快，且更能适应噪声传感器。

Sep, 2020

本文提出了一种新的 affordance 表示，使机器人可以通过建模未来的 affordance 来推断长期效应，从而确定实现任务目标的最佳动作。通过该新表示，我们开发了一种 learning-to-plan 方法，Deep Affordance Foresight（DAF），通过试错学习参数化 motor skills 的 affordance 的环境模型，我们在两个挑战性的操作领域上评估了 DAF，并展示了它可以有效地学习执行多步任务，在不同的任务之间共享学习到的 affordance 表示，并学习用高维图像输入进行规划。

Nov, 2020