Jul, 2024

基于门控时间扩散的随机长期密集预测

HTML
PDF
TL;DR提出了一种新颖的Gated Temporal Diffusion (GTD)网络来模拟观测和未来预测的不确定性，通过引入Gated Anticipation Network (GTAN)作为生成器，以相互表示的方式对视频的过去和未来进行建模，从而实现了基于不确定性和确定性设置下在Breakfast、Assembly101和 50Salads数据集上的最先进的结果。
发现论文，激发创造
  • 从未标注的视频预测视觉表达

    该论文提出了一种利用未标记视频进行计算机视觉的动作和物体预测的深度学习框架，并采用可预测图像特征的目标识别算法进行实验验证。

    Apr, 2015

  • 基于感知融合架构的驾驶员行为预测的循环神经网络

    本研究提出了一种深度学习方法，使用多个传感器流的信息，通过递归神经网络和长短期记忆单元的联合学习，从而能够在真实自然环境下预测驾驶员的行驶意图，并在准确度和召回率上达到了很高水平。

    Sep, 2015

  • 视频中的预测与下一个动作预测：基于端到端的具有记忆的模型

    提出一种基于记忆的端到端网络进行行为预测与预测，表明使用动态内存训练历史可以显着提高预测性能。

    Jan, 2019

  • VideoFlow: 用于随机视频生成的条件流模型

    我们提出了一种基于归一化流的多帧视频预测方法，可以直接优化数据可能性并生成高质量的随机预测，该方法可以实现对于视频生成建模的可行且竞争性的方法。

    Mar, 2019

  • 预测未来：联合学习模型用于行动预测

    本篇论文提出了一种行动预测模型，受人类神经结构的启发，在预测未来视觉和时间表现方面，能够预测合理的未来行动，并证明使用视觉和时间语义的场景表示结合递归生成对抗网络 (GAN) 框架可以实现未来表现的表示综合，该模型在多个数据集上优于当前最先进的方法。

    Dec, 2019

  • 未来的 Transformer 用于长期行动预测

    提出了一种全新的基于注意力机制的动作预测模型，称为Future Transformer(FUTR)，它能够学习全局的视频动作信息，以预测长达数分钟的未来动作序列，和传统的自回归模型相比，FUTR可以更准确、更快速地进行长期预测。在两个标准数据集Breakfast和50Salads上进行了实验，FUTR模型取得了最新的最优结果。

    May, 2022

  • 重新思考长期行动预测的学习方法

    ANTICIPATR模型使用 segment-level representations 和 video-level representation 进行时间跨度较大的 action anticipation 任务，能够直接预测未来一段时间的行为实例。在 Breakfast、50Salads、Epic-Kitchens-55 和 EGTEA Gaze+ 数据集上得到了较好的结果。

    Oct, 2022

  • 人类中心视频中基于知识引导的短上下文动作预测

    本文通过将符号性知识图谱融入变换网络，提高了视频段期望动作的预测准确性，从而加快了编辑工作流程，并通过提供叙事建议来促进创造力。在 Breakfast 和 50Salads 两个基准数据集上，我们的方法在使用短视频上下文进行长期动作预测方面，超过了现有最先进方法高达 9%。

    Sep, 2023

  • DiffAnt：行动预测的扩散模型

    该研究采用扩散模型来从生成视角重新思考行动预测，在考虑未来的不确定性的情况下，通过生成多种可能的未来行动。对四个基准数据集进行了广泛实验证明该方法在行动预测方面取得了优秀的效果。

    Nov, 2023

  • 基于几何和时间条件的长期期货预测

    该研究旨在通过预测编码的概念以及诸如自动驾驶车辆之类的机器人应用，探索基于过去条件下生成未来传感器观测的任务。研究重点在于解决多模态未来视频建模的挑战，并利用图像扩散模型的大规模预训练来处理计算代价昂贵的视频处理问题。通过时间戳条件生成更好的采样计划，实验结果证明了学习以时间戳为条件和预测使用不变模态的重要性。

    Apr, 2024