ICCVSep, 2019

通过双重注意力网络推理人体对物体互动

PDF
TL;DR本文提出了一个双重注意力网络模型，该模型可以同时识别人类以及物体之间的动作，实现了物体及动作的同时识别，并在 Something-Something 数据集上展现了非常好的性能。除此之外，此模型还能够进行弱空间时间定位和可供性分割，可以识别物体的不同部分相互之间的交互。
dual-attention networkobject recognitionaction recognitionspatiotemporal localizationaffordance segmentation
发现论文，激发创造
  • 人 - 物交互检测的视觉 - 语义图注意力网络

    通过双图注意力网络，可以动态地从主要的人 - 物关系和附属关系中聚合环境视觉、空间和语义信息以实现强大的消岐能力。

    Jan, 2020

  • 目标中心动作识别的同时检测和交互推理

    基于对象为中心的行为识别中的对象检测与交互推理的一阶段端到端行为识别框架，在提取视频特征的基础网络之后，通过三个模块同时进行对象检测和交互推理，既避免了对现成的对象检测器的严重依赖，也减轻了多阶段训练的负担，实验结果在常规、组合性和少量样本的行为识别任务上表现出色。

    Apr, 2024

  • 检测和识别人 - 物交互

    这篇研究提出了一个新的机器学习模型，利用人类的行为、动作、动作具体区域等特征来预测目标对象的位置， 实现在图像中精确识别人体与目标物之间的互动关系，为实现目标识别和视觉感知提供了新的思路。

    Apr, 2017

  • 面向人 - 物交互检测的姿态感知多层特征网络

    本文介绍了一种利用人体姿态提示的多层次关系检测策略，通过深度学习的方法将人体姿态融入到三个语义层面的关系表示中，以解决人体场景中精细化的物体交互识别问题。实验证明本方法在公共基准测试中表现优异。

    Sep, 2019

  • 基于相对关注模型的人类交互预测

    本研究提出了一种相对注意力模型，用于预测人之间的相互作用，通过采用三元耦合深度递归结构以及建立有效的人 - 人相互作用表示和全局相互作用表示，同时分配更高的重要性给与正在发生互动的相关区域，该模型在两个公共数据集上的广泛实验证明了其在预测人与人之间相互作用时具有更高的准确性。

    May, 2017

  • 视觉目标检测的注意力网络

    基于注意力机制的深度神经网络在物体检测任务中的应用

    Feb, 2017

  • 注意力池化用于动作识别

    介绍了一种简单却强大的注意力模型，能够在动作识别和人体对象交互任务中使用。该模型可带或不带额外的监控进行训练，并在不增加网络大小和计算成本的情况下显著提高准确性。它在三个标准动作识别基准测试和 MPII 数据集上取得了显著的改进，并建立了新的最先进技术。在此基础上，我们通过实证和分析对注意力模块进行了详尽的分析，提出了一种新的精细识别问题解决方案。

    Nov, 2017

  • 深度上下文关注人 - 物互动检测

    提出了一种上下文关注框架，通过学习上下文感知的人和对象外观特征，并采用自适应方法选择相关实例中心的上下文信息以突出可能包含人物 - 物品交互的图像区域，从而在三个数据集上超越现有最佳方法。

    Oct, 2019

  • 预测人 - 物互动：第一视角视频中运动注意力和动作的联合预测

    本文提出了一种基于未来意图总揽机制的深度学习模型，该模型综合建模并预测了自我中心手部运动、交互热点和未来动作，旨在解决人 - 物互动预测的重要挑战。实验结果表明，所述模型在 EGTEA Gaze+ 和 EPIC-Kitchens 数据集上的行动预测结果优于现有方法。

    Nov, 2019

  • 使用 EgoNet 进行第一人称动作物体检测

    本文利用第一视角摄像头，提出了一种称为 “action-objects” 的概念，并使用 EgoNet 设计了一个预测模型来检测 action-objects。实验表明，该模型在检测 action-objects 方面比之前的基线方法表现更好，具有较强的泛化能力。

    Mar, 2016