Apr, 2022

通过全局和局部运动动态控制视频生成

PDF
TL;DRGLASS 是一种用于全局和局部序列合成的生成模型，它能够在测试时间内使输入图像动画化，并通过递归神经网络来在视频帧之间进行过渡，透过全局和局部行动表示来学习分割前景 - 背景层和生成前景物体随时间移动的方法，并通过自编码器损失进行训练。我们还介绍了全新的合成数据集 W-Sprites，评估了我们的方法在 W-Sprites 和真实数据集上的性能，发现 GLASS 能够从单个输入图像生成逼真的视频序列，并成功地学习了比之前更高级的行动空间。
glasssequence synthesisgenerative modelunsupervised learningvideo animation
发现论文，激发创造
  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 人体视频生成中增强逼真度的前景与背景动作解耦

    通过采用不同的运动表示方法，我们引入了一种可同时学习前景和背景动力学的技术，该技术通过把它们的运动分离开来。我们的模型在真实世界的视频训练中生成了前景和背景动作之间协调的视频，并通过引入全局特征来扩展视频生成到更长的序列，以确保平滑的连续性。这种方法在产生展示前景动作和反应背景动态的视频方面优于之前的方法。

    May, 2024

  • 动态场景图生成的本地 - 全局信息交互解偏差

    提出了一种基于多任务学习的新型动态场景图生成模型，该模型结合了局部交互信息和全局人物行为交互信息，通过对象和帧特征之间的交互使模型更全面地理解单幅图像的视觉环境，并使用长时人体动作监督模型生成符合全局约束条件且避免不能学习尾谓词的多个场景图。实验证明了该框架的功效，不仅改善了动态场景图生成，还缓解了长尾问题。

    Aug, 2023

  • 神奇修复：通过观察动态视频简化照片编辑

    我们提出了一个生成模型，根据粗略编辑的图片合成一个遵循预定布局的逼真输出，并从原始图像中转移细节，同时保留其部分的身份信息，并将其调整到由新布局定义的光照和上下文。

    Mar, 2024

  • 学习动作先验的视频生成

    在考虑了相机运动或动作作为观察图像状态的一部分，并将图像和动作建模在多模态学习框架内的基础上，我们提出了三个模型：VG-LeAP 使用变分推断学习图像 - 动作潜在先验并将图像 - 动作对作为单一潜在随机过程生成的扩展状态；Causal-LeAP 建立了动作与观察到的图像帧之间的因果关系，学习基于观察到的图像状态的动作先验；RAFI 将增强的图像 - 动作状态概念与扩散生成过程中的流匹配相结合，证明了这种动作条件下的图像生成概念可以扩展到其他基于扩散的模型。通过对我们的新视频动作数据集 RoAM 进行详细的实证研究，我们强调了多模态训练在部分可观察视频生成问题中的重要性。

    Jun, 2024

  • 单帧布局生成多对象视频

    该论文研究了视频生成，并着重简化生成条件。作者使用单个帧对象布局作为唯一条件，通过隐式神经表示和布局动态自我推理，提出了一种新的视频生成框架，能够合成全局场景和局部对象，实验结果表明，该模型比基准模型更加有效。

    May, 2023

  • 利用物体运动预测实现未来视频合成

    利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

    Apr, 2020

  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 面向场景的人体运动合成生成网络

    本文提出了一种新框架，将场景和人体运动相互作用考虑在内，使用生成任务将人体运动的分布因子分解，并使用基于 GAN 的学习方法来提高其有效性。文中讨论了两个数据集结果，涵盖了真实和合成环境。

    May, 2021

  • 探索 GLIDE 模型用于人类动作影响预测

    针对行为 - 效应预测任务，本文提出使用 GLIDE 模型进行图像修复来预测行为后的世界状态，并在 EPIC 数据集上进行了实验。

    Aug, 2022