本文介绍了一种使用局部操纵来学习自然外观的全局关节，训练只需要移动物体的视频，而不需要了解物理场景底层的操纵。通过学习物体动力学的生成模型，响应用户互动，并了解相互关联的不同物体部位，该方法预测了静态图像和像素局部操纵后物体弯曲的时间变化，并实现了变形的局部交互控制，可针对不同类型的物体进行转移。与现有的视频预测相比，我们的模型不合成任意逼真的视频，而是提供对变形的局部交互控制。通过对不同物体的广泛实验，证明了我们的方法相比于常见的视频预测框架的有效性。

Jun, 2021

研究了一种通过经验学习范例以获取内在的直觉物理模型的方法，并使用基于深度神经网络的新方法进行模型评估，提出了一个将机器人与图像相结合的模型学习动态模型的方法，在估计正向和反向模型的时候，反向模型的目标提供了构建有信息量的视觉特征的监督，这种联合建模方法在实验中表现出优异性能积。

Jun, 2016

本文提出了一种使用神经网络生成虚拟物体与静止图像环境真实交互的视频的方法，该网络能够通过学习来纠正物理模拟的不完整和不准确信息，称之为神经再仿真过程，实验结果显示该方法可以在合成场景和现实图片中取得显著提高。

Aug, 2019

我们提出了一种对场景动态进行图像空间先验建模的方法，该先验是从包含自然振动运动（如树木、花朵、蜡烛和风中的衣物）的真实视频序列中提取的一系列运动轨迹学习得到的。通过一个经过训练的模型，我们使用一种频率协调扩散抽样过程来预测傅里叶域中每个像素长期运动表示，我们称之为神经随机运动纹理。这种表示可以转换为跨越整个视频的密集运动轨迹。结合基于图像的渲染模块，这些轨迹可以用于许多下游应用，例如将静止图像转换为无缝循环的动态视频，或者允许用户在真实图片中与物体进行真实交互。

Sep, 2023

提出了一种基于用户点击和短动作提示的实用框架 Follow-Your-Click，用于实现图像动画生成，具备比现有方法更简单精确的用户控制和更好的生成性能。

Mar, 2024

开发了一个动作条件视频预测模型，能够显式地模拟像素运动，从而学习关于物理对象运动的知识。同时，模型对对象外貌部分不变，可对以前未见过的对象进行推广。我们介绍了一个包含推动动作的 59,000 个机器人交互数据集，包括一个具有新颖对象的测试集。实验结果表明，与现有方法相比，我们的方法在定量和定性方面都能更准确地预测视频。

May, 2016

利用背景场景和移动物体的非刚性变形和仿射变换对未来视频帧进行预测，实现较低的变形失真，并在 Cityscapes 和 KITTI 数据集上呈现更高的视觉质量和准确性。

Apr, 2020

本文提出一种基于深度学习的方法，通过对物体的可动部分及其所需的操作进行分析，从图像中提取高度本地化的操作信息，从而实现对视觉场景的语义理解。

Jan, 2021

最近文字导向的视频编辑引起了极大的兴趣，我们提出了 MagicStick 方法，通过利用提取的内部控制信号的转换，来对视频属性进行编辑，展示了对形状、大小、位置、动作等进行编辑的能力，我们的方法是第一个展示了从预训练文字到图像模型的视频属性编辑能力，与基于形状的文字导向编辑和手工制作的动态视频生成方法相比，我们展示了优于以往方法的时间一致性和编辑能力。

Dec, 2023

使用人脸先验信息的新方法，通过对源面部解析并对其几何形状进行正则化，可以在可接受的带宽下生成带有改善的语义一致性和表情保持的面部视频，并实现高度可控的姿态和表情生成。

Apr, 2023