静态图像中流体元素的可控动画
本文介绍了一种全自动方法来将一张静态图像转换为具有连续流体运动的逼真动画循环视频。该方法依赖于单变量特征场的欧拉运动描述,并使用图像到图像的翻译网络来编码自然场景的运动先验,并通过深度扭曲技术,使用产生的运动来动画化图像,从而实现连续流畅的循环视频纹理。
Nov, 2020
介绍了一种将烟雾和液体模拟进行数据驱动流体模拟的新方法,该方法使用基于格网的有符号距离函数计算密集的时空变形,并结合光流求解、投影算法和残差迭代实现了输入匹配。此外还提出了对齐技术,它可以连接多个长距离形变,从而实现旋转烟云或飞溅液体等现象。
Aug, 2016
本文提出一种基于无监督学习的预测 - 校正方案,通过 PDE 约束的光学流预测器给出速度场的估计,并通过基于物理的校正器进行精细化处理,取得了比光学流方法更好的效果,在基准数据集上表现出与现有监督学习方法具有竞争力的结果。
Jun, 2022
我们提出了一种对场景动态进行图像空间先验建模的方法,该先验是从包含自然振动运动(如树木、花朵、蜡烛和风中的衣物)的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型,我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示,我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块,这些轨迹可以用于许多下游应用,例如将静止图像转换为无缝循环的动态视频,或者允许用户在真实图片中与物体进行真实交互。
Sep, 2023
本文提出了一种基于三维几何流(Facial Flow)的面部动作表示方法和一种基于此表示方法的层次化条件生成框架,该方法与其他先进方法相比,具有更好的连续性和鲁棒性。
May, 2022
使用光流作为 motion 信息的 FTGAN 模型,包含 FlowGAN 和 TextureGAN,实现了在无监督学习的情况下生成更真实的视频,可帮助提高动作分类的性能。
Nov, 2017
本文提出了一种方法,通过利用流体的 Navier-Stokes 方程作为答案进行稀疏视频的端到端优化,实现通过 RGB 视频的高保真流体重构。
Jun, 2022
通过将高斯动态投射到图像空间中,我们引入了一个新的概念,高斯流,它连接了 3D 高斯和相邻帧之间的像素速度,从而实现了光流的直接动态监督,显著提高了 4D 动态内容生成和 4D 新视图合成的视觉质量,并解决了 4D 生成过程中常见的颜色移动问题。
Mar, 2024