本文提出了一种新的 affordance 表示，使机器人可以通过建模未来的 affordance 来推断长期效应，从而确定实现任务目标的最佳动作。通过该新表示，我们开发了一种 learning-to-plan 方法，Deep Affordance Foresight（DAF），通过试错学习参数化 motor skills 的 affordance 的环境模型，我们在两个挑战性的操作领域上评估了 DAF，并展示了它可以有效地学习执行多步任务，在不同的任务之间共享学习到的 affordance 表示，并学习用高维图像输入进行规划。

Nov, 2020

本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

Dec, 2017

我们提出了一个模型，将对象、动作和效果统一为单一的潜在表示，在共享的感知空间中建立了被称为行动潜力空间的各种行为潜能。使用这个行动潜力空间，我们的系统能够在给定动作和对象时生成效果轨迹，并且能够在给定效果轨迹和对象时生成动作轨迹。

Apr, 2024

通过自我监督预训练方法，从视觉领域获取行动效果相关的可供性知识，进而证实在学习可供性特性方面，基于行动模式和效果模式的双重预训练任务比基于图像的视觉 - 语言模型以及纯语言模型更为有效。

Dec, 2023

通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

May, 2023

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

本文提出了一种基于 Markov Decision Processes 的行动效益理论，它能够加速计划过程，同时提高学习效率和准确性，特别是在需要函数逼近的模型中。文中还介绍了一种学习行动效益的方法，并将其用于估计更简单且泛化能力更强的状态转移模型。

Jun, 2020

提出一种神经 SLAM 方法，利用多种模态进行探索，预测可承受意义地图并在其上进行规划，从而显著提高了探索效率，实现了鲁棒的长程规划，使得机器智能能够更有效地识别视觉和语言信息。在 ALFRED 基准测试中，相对先前发表的作品，提出的 Affordance-aware Multimodal Neural SLAM（AMSLAM）方法在成功率上实现了 23.48％的新的最高水平，取得了超过 40％的改进。

Jan, 2022

本文旨在研究如何通过生成模型来让一个通用机器人学习视觉契合性的表征，以便于机器人可以在新环境中使用它的模型进行采样，进而进一步训练其策略从而达成其目标。这种做法可以被用于训练以原始图像输入为操作对象的目标编码策略，并可以通过我们提出的契合性导向探索机制快速地学习如何操作新对象。我们展示，通过五分钟的在线学习就可以在新场景下使用之前的数据训练机器人完成抽屉打开，抓取和放置的任务。

Jun, 2021

利用多物体图谱可行性网络来建模复合物体的可行性，并预测新物体放置在现存复合物体上的效果，展示了系统在模拟和真实环境中的适用性。

Sep, 2023