Nov, 2019

预测人 - 物互动：第一视角视频中运动注意力和动作的联合预测

PDF
TL;DR本文提出了一种基于未来意图总揽机制的深度学习模型，该模型综合建模并预测了自我中心手部运动、交互热点和未来动作，旨在解决人 - 物互动预测的重要挑战。实验结果表明，所述模型在 EGTEA Gaze+ 和 EPIC-Kitchens 数据集上的行动预测结果优于现有方法。
human-object interactionegocentric hand motiondeep networkmotor attentionaction anticipation
发现论文，激发创造
  • 从自我中心视角视频中预测手部动作和交互热点

    本研究提出一种通过 Object-Centric Transformer 模型来预测在 egocentric 视频中未来的手部和物品相互作用的方法，并使用概率框架来处理不确定性。在实验中，我们对 Epic-Kitchens-55、Epic-Kitchens-100 和 EGTEA Gaze+ 数据集进行了测试，并显示 OCT 较现有方法显著优越。

    Apr, 2022

  • 利用凝视和运动特征的意图估计，用于人机共享控制的物体操作

    使用自然注视和运动特征来预测当前动作和目标对象的一个意图估计框架，可在较拥挤的场景中在单手或双手操作时进行训练和测试，并提出了一个基于规则的模型来识别双手操作。

    Aug, 2022

  • 观者视角下的注视和行为：第一人称视频

    该研究旨在使用头戴式相机捕获的视频，基于人的动作和视线方向，开发一种新的深度学习模型，能够在 First Person Vision（第一人称视角）环境下进行准确的行动识别，并在 EGTEA Gaze+ 数据集上超越了当前技术水平。

    May, 2020

  • 人体运动预测的多层动作注意力

    介绍了一种基于注意力机制的前馈神经网络，利用运动的重复性和历史上下文进行运动预测，通过图卷积网络对历史数据的运动模式进行有效利用，取得了三个数据集上最先进的结果。

    Jun, 2021

  • 历史重演：基于动作注意力的人体动作预测

    通过引入基于注意力机制的前馈神经网络模型，提取了历史运动细节的相似性，建模了运动模式，并在人类行为数据集上实现了最先进的人体运动预测效果。

    Jul, 2020

  • 仅依靠动作预测人类意图：一种 2D+3D 融合方法

    本文提出一种新的多模态数据预测人类意图的方法，通过机器学习算法分析运动学信息、运用分类任务进行实验验证、结合 3D 和 2D 数据以及 2D+3D 融合分析，成功预测出未来的动作，展示了多模态方法在上下文无关的人类意图预测中的优越性。

    May, 2016

  • 通过眼球追踪在视频中预测人 - 物交互

    本文设计了一个框架来检测并预测视频中的人 - 物交互，并提出了使用人类注视信息、场景背景和人 - 物对的视觉外观等特征进行融合的时空变换器，并在 VidHOI 数据集上进行了模型训练和验证。

    Jun, 2023

  • 通过第一人称视频中的接触表示预测行为

    本研究以手与物体的接触与断开作为行为结构的中心，从这个角度出发探究了人类视觉对行为的理解方式，并在此基础上提出了依据行为接触建模的方法，并为此设计了一套行为预测与研究框架，该框架的使用在第四次 EPIC Kitchens 行为预测挑战赛中达到了前沿水平。

    Feb, 2021

  • 使用 EgoNet 进行第一人称动作物体检测

    本文利用第一视角摄像头，提出了一种称为 “action-objects” 的概念，并使用 EgoNet 设计了一个预测模型来检测 action-objects。实验表明，该模型在检测 action-objects 方面比之前的基线方法表现更好，具有较强的泛化能力。

    Mar, 2016

  • 操纵动作预测

    本文研究了灵巧动作的预测，使用新型的递归神经网络方法进行了行动预测并比较了人类表现，表明了算法预测灵巧行动所作用的力量的能力。

    Oct, 2016