本论文介绍了一个名为 3D AffordanceNet 的数据集，其中包含来自 23 个语义对象类别的 23k 个形状，注释了 18 个视觉可用性类别，并提供了三个评估视觉可用性理解的基准测试任务。作者评估了三种最先进的点云深度学习网络，并研究了半监督学习设置探索利用未标记数据的可能性。综合结果表明，视觉可用性理解是一个有价值但具有挑战性的基准测试。

Mar, 2021

提出了一种从超现实视角进行可支配特定元素分割的任务，旨在通过挖掘超现实交互中的特定线索，从而能够仅利用支配标签来学习对于超现实图像中特定物体可支配性的知识，并将其传递到以自我的物体图像为中心的视角中。

Mar, 2022

借助神经网络建模物体状态，可以实现有效的物体功能信息提取并与传统语义学模型相结合，能够在基于图像的语言学习上取得更好的表现。

Jul, 2022

本文研究视觉-语言建模，通过创建新的多模态任务和分析预训练数据的质量，发现预训练数据的质量和多模态预训练目标对模型的性能影响重要。

Oct, 2022

介绍了一种单次打开机会学习（OOAL）方法，通过仅使用基本目标类别的一个示例进行训练，但可以识别新的对象和作用条件。实验表明，该方法在两个作用条件分割基准测试中胜过了现有模型，仅使用不到全量训练数据的1％，并展现了对未知对象和作用条件的合理泛化能力。

Nov, 2023

视觉语言模型（VLM）在各种下游任务中展现出了卓越的性能，但是对于属性和物体间关系等细粒度的视觉语言概念的理解仍然是一个重要挑战。我们提出了一种渐进式流水线来合成在特定属性上变化而在其他方面保持一致的图像，并利用这个数据引擎设计了一个用于诊断物体尺寸、位置、存在和数量理解的基准测试SPEC。令人惊讶的是，四个领先的VLM在SPEC上的表现接近随机猜测，揭示了重大局限性。鉴于此，我们提出了一种简单而有效的方法来优化VLM在细粒度理解上的性能，在不影响零样本性能的情况下，显著改善了SPEC的结果。在其他两个细粒度基准测试上的结果也表明了我们方法的可迁移性，并进一步验证了我们的方法。

Nov, 2023

通过利用经过预训练的大规模视觉语言模型中的丰富世界、抽象和人-物体相互作用知识，我们提出的模型在自然环境中的对象可承受性接地任务上展示出明显的性能提升，我们进一步证明它可以对训练过程中未见过的随机互联网图像中的对象进行可承受性接地。

Jan, 2024

基于自然语言指令的机会理解是本文的主题，通过WorldAfford框架中的创新性的机会推理链思维提示，使用SAM和CLIP定位与机会知识相关的对象，通过机会区域本地化模块确定对象的机会区域，在LLMaFF数据集上验证该框架表现出领先的状态，在多个物体上定位机会区域并在环境中无法完全匹配给定指令时提供替代方案。

May, 2024

本研究探讨了视觉可供性分割领域中现有方法的可重复性问题，旨在解决由于实验设置不一致导致的比较不公。我们提出在两个单一物体场景下进行基准测试，并引入重新训练的Mask2Former架构，结果显示该模型在大多数测试集上表现最佳，且对尺度变化的敏感性较高。

Sep, 2024

本研究解决了弱监督效用基础扎根中缺乏配对外观图和自观图数据集的问题，以及在单一物体上基础多样化效用的复杂性。提出的INTRA方法通过对比学习只依赖外观图进行特征识别，消除了配对数据集的需求，并结合视觉-语言模型嵌入，可以灵活生成文本条件下的效用图。实验结果表明，该方法在多个数据集上表现优异，并在新交互和物体的效用扎根方面具有显著的领域可扩展性。

Sep, 2024