May, 2019

深度双重关系模型用于自我中心交互识别

PDF
TL;DR本研究提出了一种双重关系建模框架，其中包括一种新颖的交互式 LSTM 模块，一个参与者注意模块和一个全局 - 局部运动模块，以显式地建模摄像头佩戴者与交往方之间的关系，并利用此框架进行自我中心交互识别，表现出了对现有技术的优势。
egocentric interaction recognitiondual relation modeling frameworkinteractive lstm moduleinteractor attention moduleglobal-local motion module
发现论文，激发创造
  • 在自我中心的照片流中检测社交互动

    本文提出了一种利用鸟瞰视角下与用户的距离和方向特征识别社交互动的算法，将相应的时空序列输入长短记忆循环神经网络进行分类，并在 3 万张照片的数据集上进行了实验验证，取得了良好的效果。

    May, 2016

  • 检索增强的视觉第一人称视频字幕生成

    从第一人称视角的视频中理解人类行为面临着重要挑战。本文提出了 EgoInstructor 模型，它能够自动检索语义相关的第三人称指导视频，以增强第一人称视频的视频字幕生成。通过对不同规模的第一人称和第三人称数据集进行自动配对来训练跨视角检索模块，并通过新颖的 EgoExoNCE 损失函数将第一人称和第三人称视频特征与描述相似行为的共享文本特征对齐。通过大量实验证明，跨视角检索模块在七个基准上表现出优越性能。借助第三人称视频作为参考，EgoInstructor 在第一人称视频字幕生成方面展现了显著的改进。

    Jan, 2024

  • 交互关系网络用于相互动作识别

    我们提出了交互关系网络（Interaction Relational Network），它是一种简单而强大的架构，利用了关于人体结构的最少先验知识，通过定义不同的关系和重要的有结构的成对运算来更好地表示交互，并使用 LSTM 来进行关系推论，实现了与先前最先进的方法相似的结果。

    Oct, 2019

  • 基于 3D 地图的自我中心活动识别及定位

    提出了一种基于深度概率模型的方法，结合视角与环境信息，实现对运动轨迹和动作识别的 3D 场景理解与定位

    May, 2021

  • You2Me: 通过第一和第二人称交互推断自我中心视频中的身体姿态

    本文提出了一种基于学习的方法，通过与另一个人的互动来估计身穿相机人的三维身体姿态，演示了我们的想法在多个领域的相关应用和视频实现。

    Apr, 2019

  • 从外向内视角理解跨视角动作识别

    提出了一种跨视角学习的方法，通过分析不同视角下的摄像机位置并引入基于几何约束的注意力机制，以加强深度学习模型在个人视频中的动作识别能力。实验证明这种方法在标准的个人视频动作识别基准测试中表现良好，并达到了最先进的性能。

    May, 2023

  • 通过双重注意力网络推理人体对物体互动

    本文提出了一个双重注意力网络模型，该模型可以同时识别人类以及物体之间的动作，实现了物体及动作的同时识别，并在 Something-Something 数据集上展现了非常好的性能。除此之外，此模型还能够进行弱空间时间定位和可供性分割，可以识别物体的不同部分相互之间的交互。

    Sep, 2019

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • 自我中心行为识别的多模态蒸馏

    本文研究了如何在仅使用 RGB 帧作为输入的情况下，保持多模态方法的性能表现，进而采用多模型知识蒸馏框架来处理这个问题，并在输入视角数量减少的情况下展示了更高的性能。

    Jul, 2023

  • 卷积长短时记忆网络用于识别第一人称交互

    本研究提出了一种基于深度学习的新方法，用于解决从第一人称视角识别互动的问题，其通过一对卷积神经网络提取视频连续帧的特征，然后使用卷积长短时记忆将这些特征进行聚合，最后采用分类算法对记录下的镜头进行分类识别。

    Sep, 2017