Mar, 2024

时间和空间的探索性插帧

PDF
TL;DR我们引入有限生成作为一种广义控制视频生成的任务，仅基于给定的起始和结束帧来合成任意的摄像机和主题运动，通过新提出的 Time Reversal Fusion 采样策略完全充分利用图像到视频模型的内在泛化能力，无需额外的训练或原始模型的微调，生成平滑连接两个帧的视频，生成忠实的主题运动中间形态，静态场景的新视角，以及在两个边界帧相同时无缝视频循环。我们构建了一个多样化的评估数据集，并与最接近的现有方法进行比较，发现 Time Reversal Fusion 在所有子任务上表现优于相关工作，具有生成由有限帧引导的复杂运动和三维一致视图的能力。详见此 https URL 的项目页面。
bounded generationvideo generationcamera and subject motionimage-to-video modeltime reversal fusion
发现论文，激发创造
  • 使用直接 3D 卷积进行视频中间帧插值

    提出了一种使用卷积模型实现视频 inbetweening 的方法，该模型通过逐步增加时间分辨率来学习生成潜在视频表示，最后用 3D 卷积在空时领域中解码，结果在广泛使用的基准数据集上表现出了显著的稳定性和多样性。

    May, 2019

  • 鲁棒动作插值

    本文提出了一种基于对抗性递归神经网络的新型、稳健的过渡生成技术，可以作为 3D 动画师的新工具。系统合成了高质量的运动，使用时间稀疏的关键帧作为动画约束。我们提出了两种新的加性嵌入修饰符，它们被应用在网络架构中的潜在表示内，用于解决仅在未来关键帧添加调节信息时无法将状态 - of-the-art 的运动预测模型转换为稳健的过渡生成器的问题。为了定量评估我们的方法，我们在 Human3.6M 数据集的子集和适用于转换生成的新型佐佛摸捉数据集 LaFAN1 上提供了明确定义的中间演算基准。同时，本文还发布了这个新数据集和可重现我们基准结果的伴随代码。

    Feb, 2021

  • 学习预测和优化残差运动用于图像生成视频

    本文提出了一个两阶段的生成框架来解决图像到视频转换的问题，其中视频从结构生成并通过时间信号进行调整。通过在面部表情重定位和人体姿势预测这两个任务中取得比现有方法优秀的结果，证明了我们方法的有效性。

    Jul, 2018

  • 时间倒流：使用图像和事件视频扩散重塑时间

    本文提出了一种利用神经形态事件摄像机和图像到视频扩散模型相结合的方法，通过从单个静态帧预测捕获前瞬间的可能运动，生成能够 “倒回” 时间的高质量视频，为计算机视觉、计算摄影和生成建模的交叉研究开辟了新的研究方向，为捕捉错过的时刻和提升未来消费级摄像机和智能手机的能力提供了具有前瞻性的解决方案。

    Mar, 2024

  • 点对点视频生成

    提出一种通过两个控制点 (起始和结束帧) 控制生成过程的视频生成方法，采用跳帧训练策略并最大化修改的条件数据似然下限，实验结果表明该方法在动态长度生成等多个场景下具有显著的潜力和优点。

    Apr, 2019

  • 神奇修复：通过观察动态视频简化照片编辑

    我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

    Mar, 2024

  • 双向时间扩散模型 —— 用于保持时间连续的人物动画

    本文提出了一种通过使用双向时间建模的去噪扩散模型生成与真实人类动画高度相似的方法。

    Jul, 2023

  • 视频时序建模的双向多速率重建

    本研究提出一种基于未整理视频的无监督时间建模方法，使用多速率视觉循环模型对视频的每一帧进行编码，通过过去和未来相邻的视频片段作为时间上下文，重构两个时间转换以反映不同视图中的时间信息。将该方法应用于复杂事件检测和视频字幕生成中，其在 MEDTest-13 数据集上相对提高了 10.4％，在 YouTube2Text 数据集中的表现达到了最佳水平。

    Nov, 2016

  • 视频到视频合成

    本文提出了一种基于生成对抗学习框架、伴随有空间–时间对抗性目标的视频生成方法，可高效地从语义分割掩膜、素描和姿势等多种输入格式生成 2K 分辨率、30 秒长的逼真视觉效果的视频，此方法成功优化了视频生成技术的最新发展状态，并被应用于未来视频预测。

    Aug, 2018

  • 相位流形中的运动中间插值

    通过使用周期自编码器学习到的相位变量，在混合专家神经网络模型中引入了一种新颖的数据驱动的动作插值系统，以达到人物的目标姿势。我们的方法在空间和时间上以不同的专家权重聚类动作，生成一系列自回归方式在当前状态和目标状态之间的姿势序列。此外，为了满足动画师手动修改的姿势或某些末端执行器作为要达到的约束，我们实施了学习的双向控制方案来满足这些约束。结果表明，使用相位进行动作插值任务可以使插值动作更加清晰，并进一步稳定学习过程。此外，在动作插值任务中使用相位还可以合成更具挑战性的运动，超越了行走等基本动作。此外，可以在给定目标关键帧之间进行风格控制。我们的提出的框架在动作质量和泛化性方面可与流行的最先进方法相竞争，特别是在存在较长的过渡持续时间的情况下。我们的框架有助于快速原型工作流程，用于创建游戏和电影行业中的动画人物序列，这是非常有趣的。

    Aug, 2023