通过与环境的有针对性互动，我们提出了一种基于信息的方法来加速机器人的能力发现过程，从而减少对大量标注数据集的依赖，实验证明这种方法在仿真和真实世界任务中都能有效地发现视觉能力，提高数据效率。

May, 2024

本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

Dec, 2017

通过文本指导的能力学习方法，学习机器人接触点和操纵轨迹，实现对实际场景中多样化互动的理解。

Apr, 2024

通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

Sep, 2023

准确的多标签感知能力和分割是基于交互的许多复杂系统中的重要组成部分。我们提出了一种新的感知能力方法，它能够实现准确的多标签分割。该方法可以从交互的第一人称视频中自动提取基于环境的感知能力，并提供感知能力位置的像素级精度。使用此方法构建了基于 EPIC-Kitchen 数据集的最大且最完整的感知能力数据集 EPIC-Aff，其中提供了基于交互、多标签、度量和空间感知能力注释。然后，我们提出了一种基于多标签检测的感知能力分割方法，可以使多个感知能力在同一空间中存在，例如与相同对象相关联。我们提出了几种使用多种分割架构的多标签检测策略。实验结果凸显了多标签检测的重要性。最后，我们展示了如何利用我们的度量表示来构建空间行为中心区域的交互热点地图，并使用该表示执行任务导向的导航。

Sep, 2023

通过将可视管理学习和自我解释能力相结合，本研究提出了一种新的模型，能够有效地解决行为模糊性问题，并通过实验验证了其有效性。

Apr, 2024

本文提出了一种从人体活动视频中学习社交效应的机器人学习方法，该方法基于生成模型和马尔科夫链蒙特卡罗算法自动发现从 RGB-D 视频中的交互作用，让机器人能够自然地复制这些交互作用的完整体运动。

Apr, 2016

本研究使用视觉契合技术，通过预测关键点的接触信息，提出了一种端到端的控制策略学习框架，可以实现在不同类型的操纵任务中的泛化。结果显示，我们的算法在成功率上大大优于基线算法，包括基于视觉契合和强化学习方法。

Sep, 2022

本论文介绍了一个名为 3D AffordanceNet 的数据集，其中包含来自 23 个语义对象类别的 23k 个形状，注释了 18 个视觉可用性类别，并提供了三个评估视觉可用性理解的基准测试任务。作者评估了三种最先进的点云深度学习网络，并研究了半监督学习设置探索利用未标记数据的可能性。综合结果表明，视觉可用性理解是一个有价值但具有挑战性的基准测试。

Mar, 2021

该研究旨在利用 Markov 随机场和支持向量机算法，提取描述性标签以识别人类活动和物品仿真，并应用于机器人的辅助任务中，其准确度在 120 个视频的测试中分别为 80% (物品仿真）、64%（子活动）和 75% (高级活动）。

Oct, 2012