CVPRMar, 2022

从非视角图像中学习 affordance

PDF
TL;DR提出了一种从超现实视角进行可支配特定元素分割的任务，旨在通过挖掘超现实交互中的特定线索，从而能够仅利用支配标签来学习对于超现实图像中特定物体可支配性的知识，并将其传递到以自我的物体图像为中心的视角中。
affordance groundingexocentric viewegocentric imagescross-view knowledge transferaffordance invariance mining
发现论文，激发创造
  • 外离视角下的基于接地的可用性

    本研究提出了一种从视外的人 - 物互动中学习物体感知知识并将其转移到自我中心图像的任务，通过保留互动关联增强感知机会区域，实现了交叉视角的感知知识迁移框架，并构建了一个名为 AGD20K 的感知知识转化数据集。

    Aug, 2022

  • LOCATE: 弱监督可支配定位与传输物体部件

    本文提出一种名为 LOCATE 的框架，采用图像级别的适应性和对象标签对交互区域进行特征嵌入，并将其聚合为人类、对象部分和背景的紧凑原型之一，以指导功能接地的弱监督学习。对于新物体，实验证明我们的方法在训练图像和测试图像上性能都很好。

    Mar, 2023

  • AffordanceLLM: 视觉语言模型的作用感基础

    通过利用经过预训练的大规模视觉语言模型中的丰富世界、抽象和人 - 物体相互作用知识，我们提出的模型在自然环境中的对象可承受性接地任务上展示出明显的性能提升，我们进一步证明它可以对训练过程中未见过的随机互联网图像中的对象进行可承受性接地。

    Jan, 2024

  • WorldAfford: 基于自然语言指令的可实施性落地

    基于自然语言指令的机会理解是本文的主题，通过 WorldAfford 框架中的创新性的机会推理链思维提示，使用 SAM 和 CLIP 定位与机会知识相关的对象，通过机会区域本地化模块确定对象的机会区域，在 LLMaFF 数据集上验证该框架表现出领先的状态，在多个物体上定位机会区域并在环境中无法完全匹配给定指令时提供替代方案。

    May, 2024

  • 基于文本的从第一人称视角的作用感知学习

    通过文本指导的能力学习方法，学习机器人接触点和操纵轨迹，实现对实际场景中多样化互动的理解。

    Apr, 2024

  • 一次性几何驱动的交互张量用于自我中心作用感知检测

    利用几何信息推断三维场景中的互动信息和可能性，并在机器人和增强现实场景中进行实验，结果表明可以在新颖信搏的环境下以快速率进行预测。

    Jun, 2019

  • 学习正确的行为：从图像预测和解释可供性

    本文提出使用图神经网络对场景中的操作、物体可用性进行详细的推理，并解决了在特定环境下不应该采取某些行动以及采取这些行动后可能发生的情况的问题。

    Dec, 2017

  • 从演示视频到目标图像的可支配性 grounding

    本文提出了基于 Transformer 的 Affordance Transformer 以及自我监督的预训练技术 Mask Affordance Hand，用于视频到图像的 Affordance Grounding 任务，提高了视频图像之间的一致性，实现了多项基准测试中最先进的性能。

    Mar, 2023

  • 对自我中心动作视频数据集的精准可负担注释

    本文提出了一种有效的注释方案，通过将目标无关的运动动作和抓握类型作为能力标签，并引入机械动作概念来描述两个物体之间的动作可能性，解决了现有数据集中的问题，并通过将此方案应用于 EPIC-KITCHENS 数据集来验证了模型的有效性。

    Jun, 2022

  • 学习环境感知下的遮挡情况下 3D 关节物体操作的可供性

    通过结合物体层面的可行先验和环境约束，我们提出了一个环境感知的可行性框架，该框架能够在考虑环境约束的情况下学习可行性，对于包含单个遮挡物和复杂遮挡物组合的场景具有良好的泛化效果。

    Sep, 2023