Sep, 2023

生成图像动力学

PDF
TL;DR我们提出了一种对场景动态进行图像空间先验建模的方法，该先验是从包含自然振动运动（如树木、花朵、蜡烛和风中的衣物）的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型，我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示，我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块，这些轨迹可以用于许多下游应用，例如将静止图像转换为无缝循环的动态视频，或者允许用户在真实图片中与物体进行真实交互。
image-space priorscene dynamicsmotion trajectoriesneural stochastic motion textureimage-based rendering
发现论文，激发创造
  • DynamiCrafter: 用视频扩散先验动画化开放域图像

    通过将静止图像与动态相结合，提供更具吸引力的视觉体验。

    Oct, 2023

  • 可控的带扩散模型的长图像动画

    在计算机视觉中，从静态图像生成逼真的动画视频是一个重要的研究领域。本文介绍了一种基于运动先验和视频扩散模型的开放领域可控图像动画方法，能够实现对可移动区域的运动方向和速度的精确控制，同时在保持内容、场景和动作协调一致性的同时生成长度超过 100 帧的长时间视频。

    May, 2024

  • 生成具有场景动态的视频

    利用大量未标记的视频来学习场景动态的模型，提出了一种具有时空卷积结构的生成对抗网络来生成视频，该模型能够更好地预测静态图像的合理未来，并且能够识别动作的有用特征，这表明场景动态是表示学习的一个有前途的信号。

    Sep, 2016

  • 理解物体动态：交互式图像到视频合成

    本文介绍了一种使用局部操纵来学习自然外观的全局关节，训练只需要移动物体的视频，而不需要了解物理场景底层的操纵。通过学习物体动力学的生成模型，响应用户互动，并了解相互关联的不同物体部位，该方法预测了静态图像和像素局部操纵后物体弯曲的时间变化，并实现了变形的局部交互控制，可针对不同类型的物体进行转移。与现有的视频预测相比，我们的模型不合成任意逼真的视频，而是提供对变形的局部交互控制。通过对不同物体的广泛实验，证明了我们的方法相比于常见的视频预测框架的有效性。

    Jun, 2021

  • 生物启发式动态纹理对运动感知的探究

    本文介绍了一个专门用于探索运动感知的生成模型，将其描述为一种基于随机偏差纹理的高斯分布的随机偏微分方程，该模型可以将运动能量模型转化为一个基于 Bayesian 推断的准则。

    Nov, 2015

  • 单目视频的动态视图合成的扩散先验

    通过预定制技术在视频帧上微调预训练的 RGB-D 扩散模型，然后将知识从微调的模型提取到包含动态和静态神经辐射场（NeRF）组件的 4D 表示中，实现几何一致性并保持场景的一致性，从而进一步推进动态新视角合成。

    Jan, 2024

  • 学习语义感知动态视频预测

    该研究提出了一种架构和训练方案，通过显式地建模去除和捕捉视频中语义一致的区域的演变来预测视频帧。

    Apr, 2021

  • 通过物理潜变空间学习中间图像动态

    我们提出了一个框架，旨在学习两个连续时间步骤中观察到的图像之间的基本动态。通过估计图像演化的中间阶段，我们的方法关注在保持图像的空间相关性的同时提供可解释性，并通过偏微分方程中表示的物理模型引入潜在动态学变量，确保了所学模型的可解释性并提供了相应图像动态的洞察力。通过对地球科学图像数据进行一系列数值测试，我们证明了我们学习框架的鲁棒性和有效性。

    Oct, 2023

  • 通过模仿自然序列中的动态进行视觉预测

    我们引入了一种通用的视觉预测框架，旨在直接模仿视觉序列而不需要额外的监督。我们通过将视觉预测转化为逆强化学习问题，并通过可训练的深层特征表示扩展最近的进展来解决计算瓶颈。我们在低级像素到高级语义的三个不同级别上评估了我们的方法，在所有级别上，我们的方法都优于现有的方法。

    Aug, 2017

  • 利用混沌动力学进行循环图像生成

    通过将 CycleGAN 模型扩展到三个不同类别的图像之间进行转换，演示了使用循环转换进行连续图像生成的方法。经过多次训练生成器的应用，产生的图像序列在图像空间中占据了较有限的区域，并表现出混沌动力学特征。生成的图像在质量上高，但相对于训练数据集具有较低的多样性，其中的混沌动力学对于图像空间的多样性起到了作用，这构成了一种多类图像生成的新方法。

    May, 2024