Nov, 2023

SparseCtrl: 向文本到视频扩散模型中添加稀疏控制

PDF
TL;DR通过使用 SparseCtrl，可以通过处理时间稀疏的信号实现灵活的结构控制，且不需要改变预训练的 T2V 模型，从而提供更实用的视频生成控制方法。
text-to-videosparse signalscontrollabilityvideo generationt2v generators
发现论文，激发创造
  • 基于扩散模型的可控文本到视频生成

    本文提出了一种可控的文本到视频模型，名为 Video-ControlNet，它可以生成由控制信号（如边缘或深度图）条件的视频。该模型采用了一种新的残差噪声初始化策略来实现输入视频的运动先验，并生成具有细粒度控制的高质量和连贯视频。

    May, 2023

  • ControlVideo: 无需训练的可控文本到视频生成

    ControlVideo 是一种基于文本驱动扩散模型的、无需训练即可完成自然高效文本到视频生成，使用三个模块实现外观协调、帧插值以及分层采样，能够在轻松几分钟之内生成高质量的短视频和长视频。

    May, 2023

  • ControlVideo：为一键式文本到视频编辑增加有条件的控制

    本文提出了 ControlVideo，一种基于文本指导的视频编辑方法，通过结合文本到图像扩散模型和 ControlNet，优化视频的保真度和时间一致性以与给定文本对齐，并使用复杂设计策略在源视频的关键帧和时间注意力上进行微调，量化结果证明了 ControlVideo 相比其他竞争算法具有更高的保真度和一致性。

    May, 2023

  • CameraCtrl: 文本到视频生成的相机控制功能

    本研究介绍了 CameraCtrl 模型，通过精确控制相机姿态来实现对 T2V 模型的准确控制，研究结果表明，多样的相机分布和相似的外观确实提高了可控性和泛化性，这一成果在实现从文本和相机姿态输入到动态定制视频叙事方面迈出了一步。

    Apr, 2024

  • UniCtrl：通过无需训练的统一注意力控制提升文本到视频扩散模型的时空一致性

    通过引入 UniCtrl 方法，我们解决了使用文本提示作为控制条件时保持一致性的挑战，提升了文本到视频模型生成的视频的时空一致性和运动多样性，实验证实了其效果和普适性。

    Mar, 2024

  • SmartControl：增强控制网络以处理复杂视觉环境

    通过设计一种名为 SmartControl 的新型 T2I 生成方法，我们解决了现有 T2I 生成模型中存在的问题，该方法通过放松与文本提示冲突的区域的视觉条件，从而调整图像的粗略视觉条件，使之与文本提示相适应，并在四种典型的视觉条件类型上充分验证了我们的 SmartControl 的有效性。

    Apr, 2024

  • FlexEControl: 文本到图像生成的灵活高效多模控制

    提出了一种新颖的灵活高效的可控文本到图像生成方法 FlexEControl，其核心是一种独特的权重分解策略，能够有效地整合不同类型的输入，提高了生成图像与控制之间的准确性，同时显著降低了与多模态条件相关的计算开销。相比 Uni-ControlNet，该方法在可训练参数和内存使用方面分别减少了 41% 和 30%，且能够灵活生成在多种输入条件下引导的图像。

    May, 2024

  • 便携式操控：文图生成中多功能文字操控艺术作品创作

    我们提出了 AnyControl，这是一个支持多种不同控制信号任意组合的多控制图像合成框架，它使用了多模态的嵌入来引导生成过程，实现了对用户输入的整体理解，并通过广泛的定量和定性评估展示了高质量、忠实的生成结果。

    Jun, 2024

  • Ctrl-X: 无需指导的文本到图像生成中的结构和外观控制

    Ctrl-X 是一个简单的 T2I 扩散（diffusion）控制结构和外观的框架，通过设计前馈结构控制以实现结构与结构图像的对齐以及语义感知外观转换，从而实现了对任意条件图像的全新结构和外观控制，展现了超过现有作品的图像质量和外观转换，并为任何 T2I 和 T2V 扩散模型提供即插即用的功能。

    Jun, 2024

  • MVControl：在多视角扩散中增加条件控制以实现可控的文本到 3D 生成

    通过引入 MVControl 神经网络架构，我们成功地提出了一种能够增强现有预训练的多视角二维扩散模型并结合额外输入条件（如边缘图）的方法。通过我们的方法，实现了可控的多视角图像生成和视角一致的三维内容创作。

    Nov, 2023