Sep, 2018

视频填充的随机动力学

PDF
TL;DR该研究介绍了一种随机动态视频补全（SDVI）框架，用于在视频的长时间间隔内生成帧，其中该框架将补全建模为约束随机生成过程并依次从推断的分布中采样动态。该框架包含两个部分：（1）双向约束传播模块，以保证帧间的时空一致性，（2）随机采样过程，从推断分布中生成动态。实验结果表明，SDVI 能够生成具有不同内容的清晰帧序列。此外，所生成序列中的运动是逼真的，能够顺利地从给定的开始帧传输到结束帧。
stochastic dynamicsvideo infillinggeneration processconstraint propagationmotion transfer
发现论文，激发创造
  • 连续布朗桥扩散下的帧内插值

    通过使用连续的布朗桥扩散方法，我们提出了一种解决帧插值中图像随机生成而非确定性生成的问题的独特方法，实验证明该方法能够在视频帧插值中取得最先进的性能，并具有进一步改进的强大潜力。

    May, 2024

  • 使用扩散模型的视频插值

    VIDIM 是一种视频插值的生成模型，通过级联扩散模型在低分辨率和高分辨率两个阶段生成目标视频，能够处理复杂、非线性和模糊的运动，生成高保真的结果。

    Apr, 2024

  • 使用 cINNs 的随机图像到视频合成

    通过使用条件可逆神经网络来独立地建模静态内容和其他视频特征，从而为受控视频合成奠定基础。在四个不同的视频数据集上进行的实验表明，该方法在合成结果的质量和多样性方面都具有很好的效果。

    May, 2021

  • 小波域动态帧插值

    提出了一种名为 WaveletVFI 的新型两阶段帧插值框架，通过轻量级运动感知网络估计中间光流，然后使用流对齐的上下文特征和稀疏卷积预测多尺度小波系数，以实现高效的目标帧重构，通过嵌入分类器学习动态阈值来控制计算，从而实现高达 40% 的计算减少，保持了相似的准确性。

    Sep, 2023

  • STDiff: 连续随机视频预测的时空扩散

    提出一种新颖的视频预测模型，该模型具有无限维度潜在变量，通过分解视频运动和内容信息，预测时态运动信息，以及在预测的运动特征和前一帧的条件下自回归生成视频帧。此模型具有更好的表达能力和更强的随机性学习能力，达到了最先进的视频预测性能，并能以任意高帧率进行时间连续预测。

    Dec, 2023

  • 可控的带扩散模型的长图像动画

    在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

    May, 2024

  • 视频修复的流引导扩散算法

    Flow-Guided Diffusion model significantly enhances temporal consistency and inpainting quality in video inpainting by employing optical flow and a model-agnostic flow-guided latent interpolation technique.

    Nov, 2023

  • 视频帧插帧中的不连续性探索

    本文提出了三种技术来加强现有深度学习视频插帧 (VFI) 架构对不连续运动的鲁棒性。第一种是一种称为 figure-text mixing (FTM) 的新颖数据增强策略，无需额外数据集便可在训练时使模型学习不连续运动。第二种是一种简单而有效的模块，用于预测称为 discontinuity map (D-map) 的地图，密集地区分持续和不连续运动区域。最后，我们提出了损失函数，以对不连续运动区域进行监督。应用于各种先进的 VFI 网络，我们的方法显著提高了插帧质量，不仅适用于 GDM 数据集，还包括只包含连续运动的现有基准数据集，例如 Vimeo90K、UCF101 和 DAVIS。

    Feb, 2022

  • 使用直接 3D 卷积进行视频中间帧插值

    提出了一种使用卷积模型实现视频 inbetweening 的方法，该模型通过逐步增加时间分辨率来学习生成潜在视频表示，最后用 3D 卷积在空时领域中解码，结果在广泛使用的基准数据集上表现出了显著的稳定性和多样性。

    May, 2019

  • 使用蒸馏路径搜索重建任意视频序列

    该研究论文提出了一种交互式框架，通过用户对起始帧的偏好生成新的序列，与之前的方法和现有商业应用相比，我们的方法在内容和运动方向上生成具有一致程度的任意起始帧的新序列。通过提出的网络 RSFNet 在给定视频的帧集上学习特征相关性，并开发了一种新的路径查找算法 SDPF，将源视频的运动方向知识建模，估计平滑可信的序列。广泛的实验表明，我们的框架能够在卡通和自然场景上生成新的动画，并推动以前的工作和商业应用以获得更可预测的结果。

    Nov, 2023