Jan, 2019

视频中的预测与下一个动作预测：基于端到端的具有记忆的模型

PDF
TL;DR提出一种基于记忆的端到端网络进行行为预测与预测，表明使用动态内存训练历史可以显着提高预测性能。
action anticipationforecastingend-to-end networkmemorydynamic memory
发现论文，激发创造
  • 在线行动理解的记忆与预测变换器

    该论文提出了一种基于记忆和预测的方法来建模整个时间结构，包括过去、现在和未来，并通过 Memory-and-Anticipation Transformer 在在线动作检测和预测任务中取得显著的性能优势。

    Aug, 2023

  • 重新思考长期行动预测的学习方法

    ANTICIPATR 模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • 人类中心视频中基于知识引导的短上下文动作预测

    本文通过将符号性知识图谱融入变换网络，提高了视频段期望动作的预测准确性，从而加快了编辑工作流程，并通过提供叙事建议来促进创造力。在 Breakfast 和 50Salads 两个基准数据集上，我们的方法在使用短视频上下文进行长期动作预测方面，超过了现有最先进方法高达 9%。

    Sep, 2023

  • 促进 LSTMs 早期预测动作

    本文提出了一种新的动作预测方法，该方法基于多阶段 LSTM 网络并运用上下文感知和动作感知特征以及引入了一种新的损失函数，可以在视频序列仅有少量片段的情况下实现高准确度的预测，并在多个公开数据集上超过了先前最优的动作预测方法，相对提升了 22.0％（JHMDB-21），14.0％（UT-Interaction），和 49.9％（UCF-101）的准确率。

    Mar, 2017

  • 预测未来：联合学习模型用于行动预测

    本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

    Dec, 2019

  • 神经记忆网络预测未来动作序列

    本研究提出了一种基于神经记忆网络的新框架，用于未来动作序列预测，通过使用神经记忆网络捕捉序列内部的短期关系和序列之间的长期关系，有效地融合了特征，取得了比现有方法更好的预测效果。

    Sep, 2019

  • 未来的 Transformer 用于长期行动预测

    提出了一种全新的基于注意力机制的动作预测模型，称为 Future Transformer (FUTR)，它能够学习全局的视频动作信息，以预测长达数分钟的未来动作序列，和传统的自回归模型相比，FUTR 可以更准确、更快速地进行长期预测。在两个标准数据集 Breakfast 和 50Salads 上进行了实验，FUTR 模型取得了最新的最优结果。

    May, 2022

  • 何时做什么？- 预测活动的时间发生

    提出了两种方法来进行视频动作的长期预测。使用卷积神经网络和循环神经网络进行学习，能够生成准确的未来预测甚至在包含大量不同动作的长视频中也可以处理噪音或错误的输入信息。

    Apr, 2018

  • 关系动作预测

    本文旨在研究视频中多人行为预测。文章提出了一种 Discriminative Relational Recurrent Network 模型，通过构建循环图形式对不同演员之间的时空相互作用进行联合建模，从而在不需要显式监督的情况下，学习选择相关性。该方法在 AVA 数据集上预测动作的评估和 J-HMDB 任务的性能都有显著提高。

    Apr, 2019

  • 从未标注的视频预测视觉表达

    该论文提出了一种利用未标记视频进行计算机视觉的动作和物体预测的深度学习框架，并采用可预测图像特征的目标识别算法进行实验验证。

    Apr, 2015