意图行动预测模型及其引导 - 反馈循环机制

Mar, 2024

意图行动预测模型及其引导 - 反馈循环机制

Intention Action Anticipation Model with Guide-Feedback Loop Mechanism

Zongnan Ma, Fuchun Zhang, Zhixiong Nan, Yao Ge

TL;DR使用近身摄像视频序列预测人类意图的意图动作预测问题，介绍了一种利用整个视频序列特征和尾部视频序列特征的层次化完整 - 最近 (HCR) 信息融合模型。通过引导 - 反馈循环 (GFL) 机制和多尺度完整 - 最近特征聚合 (MCRFA) 模块，HCR 模型能够层次化地探索多尺度完整特征和多尺度最近特征之间的丰富相互关系。通过对 EPIC-Kitchens 和 EGTEA Gaze + 两个众所周知的公共数据集的比较和消融实验，验证了我们模型的有效性。

Abstract

Anticipating human intention from videos has broad applications, such as automatic driving, robot assistive technology, and virtual reality. This study addresses the problem of intention action anticipation using egocentric video sequences to estimate actions that indicate human intent

intention action anticipation egocentric video sequences information fusion model hierarchical complete-recent (hcr) model multi-scale features

发现论文，激发创造

基于意图预测的长期人类自我中心行动预测

利用层次化的结构假设一系列低级别的人类行为可以从人类意图驱动，从而解决长期行动预测的任务，该模型在 EGO4D 挑战中排名第一，代码可在提供的链接中找到。

Jul, 2022

以意图为条件的注视导向图神经网络用于动作预测

通过将人类凝视引入计算算法，我们提出了一种基于视觉 - 语义图的 “凝视引导行为预测” 算法，利用图神经网络识别行为者的意图并预测行为序列以达到该意图，并通过收集包含人类凝视数据的 VirtualHome 环境中生成的家庭活动数据集，在 18 类意图识别的准确性上实现了 7% 的改进，凸显了我们方法从人类凝视数据中学习重要特征的效果。

Apr, 2024

实时自我中心动作预测：一种评估方案和方法

为了进行流式自我中心行动评估，我们提出了一种基于前馈 3D 卷积神经网络和知识蒸馏技术的轻量级行动预测模型，该模型基于过去到未来的蒸馏损失进行优化，实验表明，这种预测能力优越的模型以及针对廉价设备的轻量级方法在自我中心行动预测场景中性能更佳。

Jun, 2023

预测未来：联合学习模型用于行动预测

本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

Dec, 2019

自我调控学习用于主观视频活动预测

本文提出了一种基于自我调节学习的框架来解决标准递归序列预测在 egocentric 视觉中存在的误差积累问题，同时通过多任务学习进行联合特征学习，明显优于现有的最新技术，可以精确地识别支持活动语义的动作和对象概念。

Nov, 2021

通过想象学习预测自我中心动作

本论文衡量了自主驾驶和机器人等实际应用中关键领域的动作预测任务。为了更准确的预测未来的动作，提出利用未观察的帧的标志挖掘做出预测，利用 ImagineRNN 将动作预测分解为一系列未来功能预测，并通过代理任务和残差预测进一步改进模型。

Jan, 2021

人类中心视频中基于知识引导的短上下文动作预测

本文通过将符号性知识图谱融入变换网络，提高了视频段期望动作的预测准确性，从而加快了编辑工作流程，并通过提供叙事建议来促进创造力。在 Breakfast 和 50Salads 两个基准数据集上，我们的方法在使用短视频上下文进行长期动作预测方面，超过了现有最先进方法高达 9%。

Sep, 2023

层次化中层动作元素的动作识别

该论文提出使用层次结构的中层动作元素来表示视频，提出了一种无监督方法来生成这种表示，用于多个空间和时间分辨率的动作识别，并在多种动作识别基准测试中实现了最先进的性能。

Aug, 2015

多模态时间卷积网络在自我中心视频中预测动作

本文提出了一种基于时间卷积的层次结构多模态神经网络，不依赖于循环层实现对人类动作的预测，且通过多模态融合机制使得在处理具有 # egocentric videos# 意义的庞大数据集时达到了与最新研究相当的性能，但具有明显的时间优势。

Jul, 2021

基于第一人称视频的动作预测的滚动展开 LSTM

本文提出了一种基于 Rolling-Unrolling LSTM、序列完成预训练技术和 Modality ATTention 机制的方法来预测自我中心视频中未来的行动和交互对象，并在 EPIC-Kitchens、EGTEA Gaze + 和 ActivityNet 数据集上验证了其有效性。

May, 2020