ICCVDec, 2018

视频预测中传播和生成的分离

PDF
TL;DR本文描述了一个用于高保真视频预测的计算模型，该模型从运动无关的生成中分离出运动特定的传播。我们引入了一个置信感知的变形算子，用于对未遮挡区域的像素预测输出进行门控，并由上下文编码器对受遮挡区域进行预测。与以往的作品不同，我们在变形步骤之后计算置信度，并使用单独的网络修补暴露区域。经验结果在合成和真实数据集上显示了我们的分离方法提供更好的遮挡映射，并与强基准相比产生更清晰，更逼真的预测。
发现论文，激发创造
  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 面向场景的动态预测知识转移

    通过对视频场景内容及动态规律、语义等方面的先验知识进行分析和预处理，提出一种利用贝叶斯网络解决视频不同场景中的移动轨迹问题的方法，并在实验中证明了其有效性。

    Mar, 2016

  • 未来流嵌入视频预测的双运动 GAN

    本文开发了一个双模 GAN 架构，采用双学习机制，明确地执行未来帧预测与视频中像素流的一致性，该模型通过新的概率运动编码器处理不同像素位置的自然运动不确定性，并使用对抗训练确保未来帧的预测及光流的预测具有真实感，实验证明该模型性能明显优于最先进的方法，具有较强的泛化能力。

    Aug, 2017

  • 基于流场的静态图像空时视频预测

    本研究探讨基于单张静态图片生成连续多个未来视频帧的问题，提出了基于多流模型预测和合成的方法。通过 3D 卷积学习了空间 - 时间关系，预测的结果更加接近真实视频的流形形态，相比现有方法性能更好、多样性更强且能获得更高的人类视觉评估。

    Jul, 2018

  • 组合式视频预测

    本研究提出了一种基于场景物体的运动特征的像素级未来预测方法，采用隐式预测物体的未来状态并考虑它们之间的相互作用，通过全局轨迹水平的潜在随机变量对任务多模态进行克服，并在两个数据集上进行了实证验证。

    Aug, 2019

  • 朝向统一的关键帧传播模型

    该研究提出了一种双流方法，其中高频特征实现局部交互，低频特征实现全局交互，旨在解决全局注意力对于细节的无法恰当处理的困境，并在修补任务中对其进行了评估

    May, 2022

  • 条件运动传递的自监督学习

    本篇研究提出了一种新的基于条件运动传播和稀疏光流技术的自监督学习范式，能够有效地学习视觉表征，并在语义分割、实例分割以及人体解析等多个任务上实现最先进的自监督学习表现，还能实现半自动像素级标注。

    Mar, 2019

  • 基于运动的生成模型：无监督分离动态模式中的外观、可跟踪和不可跟踪运动

    研究提出了一种基于状态空间模型和发射模型的无监督学习动态模式的方法，该方法可以将运动分解为可追踪和不可追踪的部分，并通过学习 latent vectors 对运动进行描述，可以用于动态图案的合成和转移，同时定义并测量动态图案的内在可追踪性。

    Nov, 2019

  • SDCNet: 空间平移卷积进行视频预测

    该研究提出了一种高分辨率视频帧预测的方法，通过过去帧和光流的联合调节来预测下一帧。通过学习运动矢量和核为每个像素综合一个像素，并且通过空间位移卷积模块来提高训练效果。该方法在游戏帧和视频中实现了最先进的结果，能够有效地处理大动作并综合具有一致运动的清晰帧。

    Nov, 2018

  • 人体视频生成中增强逼真度的前景与背景动作解耦

    通过采用不同的运动表示方法，我们引入了一种可同时学习前景和背景动力学的技术，该技术通过把它们的运动分离开来。我们的模型在真实世界的视频训练中生成了前景和背景动作之间协调的视频，并通过引入全局特征来扩展视频生成到更长的序列，以确保平滑的连续性。这种方法在产生展示前景动作和反应背景动态的视频方面优于之前的方法。

    May, 2024