基于自然语言指令的机会理解是本文的主题，通过 WorldAfford 框架中的创新性的机会推理链思维提示，使用 SAM 和 CLIP 定位与机会知识相关的对象，通过机会区域本地化模块确定对象的机会区域，在 LLMaFF 数据集上验证该框架表现出领先的状态，在多个物体上定位机会区域并在环境中无法完全匹配给定指令时提供替代方案。

May, 2024

本文提出了一种基于视觉语言感知模型的新方法，可以在真实世界中从非结构化、离线、无需重置的数据中高效地学习通用的、以语言为条件的机器人技能，实验表明该方法配合 LLMS 可以在真实世界中完成长期、多层次的任务，并比以往方法少使用一个数量级的数据。

Oct, 2022

本研究提出了一种从视外的人 - 物互动中学习物体感知知识并将其转移到自我中心图像的任务，通过保留互动关联增强感知机会区域，实现了交叉视角的感知知识迁移框架，并构建了一个名为 AGD20K 的感知知识转化数据集。

Aug, 2022

提出了一种从超现实视角进行可支配特定元素分割的任务，旨在通过挖掘超现实交互中的特定线索，从而能够仅利用支配标签来学习对于超现实图像中特定物体可支配性的知识，并将其传递到以自我的物体图像为中心的视角中。

Mar, 2022

通过研究预训练语言模型和预训练视觉 - 语言模型对对象适用性的认知，我们发现预训练语言模型在处理不常见的对象适用性时存在有限的推理能力，并且预训练视觉 - 语言模型不一定能有效捕捉对象适用性。通过少样本微调，我们展示了在预训练语言模型和预训练视觉 - 语言模型中改进对象适用性知识的方法。

Feb, 2024

借助神经网络建模物体状态，可以实现有效的物体功能信息提取并与传统语义学模型相结合，能够在基于图像的语言学习上取得更好的表现。

Jul, 2022

本文提出一种名为 LOCATE 的框架，采用图像级别的适应性和对象标签对交互区域进行特征嵌入，并将其聚合为人类、对象部分和背景的紧凑原型之一，以指导功能接地的弱监督学习。对于新物体，实验证明我们的方法在训练图像和测试图像上性能都很好。

Mar, 2023

本文从计算认知语言学的角度探讨了多模态语义表示中的基础问题，注释和分析了五个感知属性：可操作性、感知显著性、物体数量、凝视引导和生态学生态位关联。我们对来自 Flickr30k 数据集的选定图像进行了探究性分析和统计建模，发现了在构建过程中，观看者将情境意义和可操作性与多模态语义统合到一起，而这些因素被巩固为包含视觉和文本元素的图像文字数据集中的影像字幕。本研究显示情境意义和可操作性基础对于理解系统生成适当回应至关重要，并有潜力推动人类对不同情境下的构造的理解。

May, 2023

通过学习视觉契合来指导机器人探索，并使用基于 Transformer 的模型来学习 VQ-VAE 潜在嵌入空间中条件分布，从而展现模型的组合泛化能力。训练完成的契合模型可用于机器人操作策略学习中的目标抽样分布。

May, 2023

本文提出了基于 Transformer 的 Affordance Transformer 以及自我监督的预训练技术 Mask Affordance Hand，用于视频到图像的 Affordance Grounding 任务，提高了视频图像之间的一致性，实现了多项基准测试中最先进的性能。

Mar, 2023