本文提出了一种可控的文本到视频模型，名为 Video-ControlNet，它可以生成由控制信号（如边缘或深度图）条件的视频。该模型采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。

May, 2023

ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。

May, 2023

本研究旨在建立一个简单而有效的基于训练无关扩散模型的长视频编辑基线，通过分割长视频并采用新颖的跨窗口注意机制，以确保全局风格的一致性和窗口之间的平滑性。通过 DDIM 反演从源视频中提取信息，并将结果整合到生成的潜在状态中，同时结合视频帧插值模型以减轻帧级闪烁问题。经过广泛的实证研究，验证了我们的方法在替换前景物体属性、风格转移和背景替换等场景下相对竞争基准的卓越有效性。

Oct, 2023

本文介绍了一种将零 - shot 文本 - 视频生成与 ControlNet 相结合的新方法，以生成更精准地与用户预期运动相符的高质量视频内容，并提供了相关资源包以促进进一步研究和应用。

May, 2023

通过引入 UniCtrl 方法，我们解决了使用文本提示作为控制条件时保持一致性的挑战，提升了文本到视频模型生成的视频的时空一致性和运动多样性，实验证实了其效果和普适性。

Mar, 2024

在本文中，我们介绍了一种无需训练的文本到视频生成方法，通过利用现有的文本到图像生成方法生成逼真的动态视频，这种方法以条件、视频和输入文本为基础。我们的方法将运动表示明确地分为条件引导和场景运动组成，并引入了稀疏双向时空注意力来改善时序一致性。与其他比较方法相比，我们的方法在帧一致性、剪辑评分和条件精度方面表现出卓越性能。

Oct, 2023

本研究介绍了 CameraCtrl 模型，通过精确控制相机姿态来实现对 T2V 模型的准确控制，研究结果表明，多样的相机分布和相似的外观确实提高了可控性和泛化性，这一成果在实现从文本和相机姿态输入到动态定制视频叙事方面迈出了一步。

Apr, 2024

视频生成的研究最近取得了巨大的进展，使得高质量的视频可以从文字提示或图像中生成。为视频生成过程添加控制是一个重要的目标，并且最近的方法通过在相机轨迹上条件化视频生成模型来朝着这个目标迈进。然而，从多个不同相机轨迹生成相同场景的视频仍然具有挑战性。解决这个多视频生成问题可以实现可编辑相机轨迹的大规模三维场景生成等应用。我们引入了协作视频扩散（CVD）作为实现这一愿景的重要一步。CVD 框架包括一个新颖的跨视频同步模块，通过使用一个极线注意机制促进不同相机姿态下相同视频的对应帧之间的一致性。经过大量实验证明，在针对视频生成的最先进相机控制模块的基础上训练，CVD 生成的从不同相机轨迹渲染的多个视频比基准线具有显著更好的一致性。

May, 2024

本文提出了一种新颖的文本导向的视频修复模型，实现了更好的一致性、可控性和兼容性。实验表明，该模型能够生成高质量的视频片段，并展示了更好的动作连贯性、文本可控性和模型兼容性。

Mar, 2024

本文提出了一种名为剪贴的创新框架，用于根据文本提示和额外参考图像进行现实语义视频编辑。

Nov, 2023