MotionDreamer：从视频扩散模型中实现零样本 3D 网格动画
提出了一种新的零样本视频生成器 MotionCraft，通过应用来自物理模拟的光流对图像扩散模型（如稳定扩散）的噪声潜空间进行变形，从而实现基于物理的和逼真的视频生成，以生成具有复杂运动动力学的视频。与现有方法相比，实现了定性和定量改进，证明了该方法的有效性。
May, 2024
我们提出了一种新颖的零样条移动物体轨迹控制框架 Motion-Zero，通过提供基于位置的先验来改善移动物体的外观稳定性和位置准确性，并利用 U-net 的注意力图在扩散模型的去噪过程中直接应用空间约束，从而进一步确保移动物体的位置和空间一致性，并通过引入移动注意力机制实现时序一致性的保证。这种方法可以灵活运用于各种最先进的视频扩散模型，无需任何训练过程，大量实验证明我们的方法可以控制物体的运动轨迹并生成高质量的视频。
Jan, 2024
基于视频扩散模型和几何一致性先验的自动生成方法在 3D 生成方面取得了很大突破，能够生成高质量的网格和 3D 高斯帧，并且在场景级别的新视角合成方面取得了优越的性能表现。
Mar, 2024
通过将动态 3D 网格的可控性与新兴扩散模型的表达能力和可编辑性相结合，我们提出了一种新的方法来自动化计算机生成的视频的创作过程，并输出高质量和时间上一致的帧。
Dec, 2023
通过解耦视频为特定外观与相应动作的图像动画，我们提出了 AnimateZero 来揭示预训练的文本到视频扩散模型 AnimateDiff，并为其提供更精确的外观和动作控制能力。Anima teZero 无需进一步训练即可成功控制生成进程，对于给定图像，还可以实现多种新应用，包括交互式视频生成和真实图像动画。详细实验表明，该方法在 T2V 和相关应用中具有有效性。
Dec, 2023
本研究提出了一种基于扩散模型的动作生成框架 ReMoDiffuse，它集成了一种检索机制以改善去噪过程，提高了文本驱动动作生成的通用性和多样性，并且在更多样化的动作生成方面表现出色，优于现有的最先进方法。
Apr, 2023
通过使用扩散模型进行定制生成，在图像生成方面取得了可观的进展，但在具有挑战性的视频生成任务中仍然不令人满意，因为它需要对主题和动作的可控性。为此，我们提出了 DreamVideo，一种新颖的方法，可以从几个所需主题的静态图像和几个目标运动的视频来生成个性化视频。
Dec, 2023
本研究介绍了一种使用预训练图像恢复扩散模型进行零样本视频修复的方法，该方法通过分层标记合并策略和混合对应机制实现关键帧和局部帧的修复，并在各种具有挑战性的数据集上证明了其在零样本视频修复中的顶级性能和对各种极端降级（8 倍超分辨率和高标准差视频降噪）的一般化能力，可以与任何 2D 恢复扩散模型配合使用，为视频增强任务提供了一种多功能且强大的工具。
Jul, 2024
通过将 Diffusion 模型与特征提取技术相结合，本文提出了 Zero123-6D 方法，并在 CO3D 数据集上进行了实验，展示了在类别级别上通过扩展稀疏的纯 RGB 参考视图来提高零侧位姿估计性能、减少数据需求以及消除对深度信息的需求。
Mar, 2024