Jan, 2019

共同上下文网络用于联合估计自我中心视线和动作

PDF
TL;DR本文借助行为与视觉注意力的相互关系，提出了基于互联背景网络的端到端学习方法，用于在以自我为中心的录像中进行注视点预测与动作识别的二元任务，并通过公共数据集实验证明了其在该领域中最先进的性能。
gaze predictionaction recognitionegocentric videosmutual context networkend-to-end learning
发现论文，激发创造
  • 利用多任务学习提升自我中心行为识别

    本文提出了一种使用多任务学习的方法，通过并行训练网络来提高动作识别的准确率，并同时实现手部和凝视估计的辅助任务。在多个数据集上的实验证明，该方法在动作识别上的性能明显优于单任务学习模型，并可以准确预测手部和凝视位置。

    Sep, 2019

  • 通过学习任务相关关注转换预测主观视角视频中的凝视

    通过探索注意转移中的时间偏移模式（注意转换）来提出一种新的计算模型，它取决于自我操作任务，以在自然动态场景中推测视线， 并结合深度神经网络和进阶的注意转移和底层显著性预测，利用视线的时间上下文，能够显著优于其他预测方法。

    Mar, 2018

  • 通过捕捉头部 - 面部 - 眼睛空间 - 时间交互上下文的端到端视频凝视估计

    我们提出了一种新的方法，Multi-Clue Gaze (MCGaze)，通过在头部、面部和眼睛之间捕捉空间 - 时间交互上下文，以端到端的学习方式促进视频凝视估计，从而实现头部、面部和眼睛的线索定位任务在一个步骤中解决，并通过联合优化寻求最佳性能。

    Oct, 2023

  • 从外向内视角理解跨视角动作识别

    提出了一种跨视角学习的方法，通过分析不同视角下的摄像机位置并引入基于几何约束的注意力机制，以加强深度学习模型在个人视频中的动作识别能力。实验证明这种方法在标准的个人视频动作识别基准测试中表现良好，并达到了最先进的性能。

    May, 2023

  • 从时间维度出发：多模态自我中心动作识别

    利用时间上下文提高了自我中心视频识别能力的基于转换器的多模态模型。

    Nov, 2021

  • 自我中心的三维动作目标预测

    该研究旨在从自我中心视角预测人的物体操纵行为的目标位置。他们提出了一个包含 RGB-D 和 IMU 流的大型多模态数据集，并设计了使用递归神经网络的基线方法，并进行了各种消融研究以验证其有效性，从而证明该新任务值得进一步学习。

    Mar, 2022

  • 学习手对手与人对人交互的相互激发

    提出了一种互激励图卷积网络 (me-GCN)，通过堆叠互激励图卷积 (me-GC) 层来识别交互动作，成功地建模了实体间的相互语义关系，实验证明了该方法在手对手交互和人对人交互数据集上的优越性。

    Feb, 2024

  • 以意图为条件的注视导向图神经网络用于动作预测

    通过将人类凝视引入计算算法，我们提出了一种基于视觉 - 语义图的 “凝视引导行为预测” 算法，利用图神经网络识别行为者的意图并预测行为序列以达到该意图，并通过收集包含人类凝视数据的 VirtualHome 环境中生成的家庭活动数据集，在 18 类意图识别的准确性上实现了 7% 的改进，凸显了我们方法从人类凝视数据中学习重要特征的效果。

    Apr, 2024

  • 社交场景理解：端到端的多人动作定位与集体活动识别

    该论文提出了使用神经网络对人类社交行为进行检测和推断的方法，并通过检测和推断的结果实现了对个体和群体行为的估计。该论文在多个公共基准测试上展示了算法的最新性能。

    Nov, 2016

  • 深入探究第一人称活动识别

    本研究提出了一种双流网络架构，其中一个流分析外观信息，另一个流分析动作信息，并利用卷积神经网络在手势外观、对象属性、本地手势运动和相机自我运动等方面的知识信息，可以有效地提高第一人称视角下动作识别的准确率。

    May, 2016