使用欧拉运动场为图片添加动画
通过使用 3D 高斯建模的 LoopGaussian 方法,将 cinemagraph 从 2D 图像空间提升到 3D 空间,并通过双向动画技术生成自然且无缝循环的 3D Cinemagraph,实验结果验证了该方法的有效性和高质量的场景生成。
Apr, 2024
本文提出一种交互式控制静态图像中流体元素动画制作生成 cinemagraphs 的方法,通过允许用户提供方向、速度和蒙版等信息生成密集的光流图,进而使用生成对抗网络和 UNet 模型进行流畅的动画帧生成,取得了优于基线的质量和量化指标。
Dec, 2021
我们提出了一种对场景动态进行图像空间先验建模的方法,该先验是从包含自然振动运动(如树木、花朵、蜡烛和风中的衣物)的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型,我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示,我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块,这些轨迹可以用于许多下游应用,例如将静止图像转换为无缝循环的动态视频,或者允许用户在真实图片中与物体进行真实交互。
Sep, 2023
本文提出一种新的框架,基于微分方程的连续空间变换,利用生成对抗网络(GAN)和 $L_2$ 损失在不同的训练环境下生成平滑流畅的动画(视频帧插值)。
May, 2022
该论文提出了一种名为 LoopAnimate 的新方法,用于生成具有一致的起始和结束帧的视频,通过解耦多级图像外观和文本语义信息,将图像外观和文本语义嵌入到扩散模型的不同位置,以提高对象准确性,并引入 Temporal Enhanced Motion Module(TEMM)来扩展编码时间和位置信息的能力,使得该方法能够生成长度为 35 帧且质量较高的视频,实验证明其在客观指标(如准确性和时间一致性)和主观评估结果上均达到了最先进的性能。
Apr, 2024
论文提出了一种新颖的动态滤波策略来实现静动态场自适应降噪,并介绍了一种消除噪声同时保留重要信息的全局动态稀疏交叉协方差注意力机制,以及一种选择性调节不同频率特征依赖性以减少空间衰减和补充运动边界的多尺度双路径门控机制。实验证明,EulerMormer 从 Eulerian 的角度实现了更强大的视频运动放大,明显优于现有方法。
Dec, 2023
研究了一种学习欧拉运动表示的新方法,该方法使用复杂可转导滤波器来设计相位信息提取模块,以提高 UCF101 数据集上的动作识别性能,并将其与基于光流的现有运动表示进行比较。
Sep, 2018
本文探讨了欧拉运动在四个实际应用中(动作识别、静态图像中的运动预测、静态图像中的运动转换以及视频中的运动转换)的优点,并通过对图像进行复杂可控金字塔分解获取相位来捕获欧拉运动,而不是当前标准的拉格朗日光流模型。
Sep, 2016
介绍一种采用深度学习方法进行图像动画生成的框架,包含关键点检测模块,密集运动预测模块和运动转移模块,并证明了该方法在多个基准数据集上优于现有的图像动画和视频生成方法。
Dec, 2018