CVPRMar, 2023

图像中的人 - 物接触检测

PDF
TL;DR本文介绍了一种用于检测人与周围物体接触的新数据集 HOT，并使用该数据集训练了一个新的接触检测器，它可以输出 2D 接触热图以及处于接触状态的身体部位标签。该检测器采用了部分注意分支来通过周围身体部分和场景的上下文指导接触估计，并且定量的结果显示，该模型的性能优于基线，并且所有组件都对提高性能有贡献。
human-object contactdatasetcontact detectorbody partpart-attention branch
发现论文，激发创造
  • 获取和推断密集全身人 - 场景接触

    该研究通过构建一个新的名为 RICH 的数据集，使用 BSTRO 算法从单幅 RGB 图像中直接预测人体与场景的接触，在探索图像中覆盖的区域时，提出了一种新的非局部关系学习方法，并且通过实验证明了其比之前的方法具有更好的性能质。

    Jun, 2022

  • ContactDB: 使用热成像技术分析和预测握持接触

    使用红外传感器捕捉和记录了 50 种日常物品的手 - 物体接触点图，研究表明功能意图和物品大小对握取有影响，多种算法用于预测手 - 物体接触点图。

    Apr, 2019

  • DECO: 野外环境下 3D 人体场景接触密集估计

    理解人类如何通过身体接触与世界互动对于实现以人为中心的人工智能至关重要。我们关注于推断全身表面与任意图像中的物体之间的密集 3D 接触，通过构建新的数据集 DAMON 以及训练新的 3D 接触检测器 DECO，在各种基准测试中显著优于现有方法，同时展示 DECO 在自然图像中广泛适用于多样且具有挑战性的真实人类互动。

    Sep, 2023

  • 检测和识别人 - 物交互

    这篇研究提出了一个新的机器学习模型，利用人类的行为、动作、动作具体区域等特征来预测目标对象的位置， 实现在图像中精确识别人体与目标物之间的互动关系，为实现目标识别和视觉感知提供了新的思路。

    Apr, 2017

  • 学习检测人 - 物互动

    在计算机视觉中，我们通过介绍一种新的深度神经网络 (HO-RCNN) 和一种新的输入特征（交互模式），解决了人 - 物目标交互检测（HOI）的基本问题，并在当前的 HICO 分类基准上引入实例注释，大大提高了 HOI 检测的性能。

    Feb, 2017

  • 深度上下文关注人 - 物互动检测

    提出了一种上下文关注框架，通过学习上下文感知的人和对象外观特征，并采用自适应方法选择相关实例中心的上下文信息以突出可能包含人物 - 物品交互的图像区域，从而在三个数据集上超越现有最佳方法。

    Oct, 2019

  • 在野外检测手部并识别物理接触

    本文提出一种基于卷积网络的手部检测与物体接触状态识别方法，采用两种注意力机制以及另一个物体检测器的输出，结合手部位置信息和场景中的物体位置信息，实现对手部接触状态的识别，并使用 ContactHands 数据集验证其优越性。

    Oct, 2020

  • 使用交互点学习人 - 物交互检测

    本文提出了一种基于全卷积的去检测人 - 物交互的新方法，该方法利用相互作用点直接定位和分类相互作用，并结合密集的相互作用向量，将相互作用与人和物的检测相结合，以获得最终的预测结果。该方法在 V-COCO 和 HICO-DET 两个常用基准上均取得了最新的最佳表现。

    Mar, 2020

  • 学习复杂三维人体自我接触

    本文提出了一种自接触预测模型（SCP），并采用特定的 3D 损失来显式地强制进行自接触，以解决现有 3D 重建方法对于身体自接触区域的忽略问题，并在自接触特征限制下研究更具表现力的 3D 重建，最终在多视图图像上提出一种面部接触的单目检测方法。

    Dec, 2020

  • 基于视频的人体 - 物体交互热点区域

    通过从视频中直接学习人类物体交互 ' 热点 ' 的方法，我们的研究表明弱监督的热点可以与强监督的 affordance 方法竞争，并能够预测新对象类别的对象交互。

    Dec, 2018