Nov, 2023

利用文本到视频先验将草图赋予生命

PDF
TL;DR本文提出了一种方法，通过提供所需运动的文本提示来给单个主题的素描添加动作，并生成可轻松编辑的矢量表示的短动画。通过使用大型预训练的文本到视频扩散模型的运动先验进行评分蒸馏损失来引导笔画的放置，我们的方法不需要进行广泛的训练。通过两个组件对学习到的动作进行建模，第一个负责小局部变形，第二个负责全局仿射变换。令人惊讶的是，我们发现即使是在生成素描视频方面表现不佳的模型仍然可以作为动画抽象表达的有用支撑。
sketchanimated sketchmotionanimationtext-to-video diffusion model
发现论文，激发创造
  • AniClipart：使用文本到视频先验的剪贴艺术动画

    提出 AniClipart 系统，将静态 clipart 图像转化为高质量的动态序列，并展示了其在文本到视频生成中的优越性和多样化应用。

    Apr, 2024

  • 自动文档草图：从类似文本生成草稿

    本文介绍了一种新的任务：文档素描，该任务涉及为作者生成完整的草稿文件以供查看和修订，并介绍了基于维基百科的类似文件的数据集，以及弱监督方法（包括基于变压器的专家混合体和强化学习）的应用。通过自动化和人工评估方法对实验进行了报告，并讨论了这些模型的相对优点。

    Jun, 2021

  • DiffSketcher：基于潜在扩散模型的文本引导矢量素描综合

    本论文中，我们介绍了一种使用自然语言输入生成矢量手绘素描的创新算法 DiffSketcher，并使用预训练的图像扩散模型进行开发。

    Jun, 2023

  • 搜索先验使文本到视频的合成更好

    本文使用搜索为基础的生成流程，将传统的文本到视频生成过程重构，并利用先前的视频作为动作先验数据库，以此增强生成视频动作的真实感。

    Jun, 2024

  • DynamiCrafter: 用视频扩散先验动画化开放域图像

    通过将静止图像与动态相结合，提供更具吸引力的视觉体验。

    Oct, 2023

  • LivePhoto：带有文本引导的实时图像动画与运动控制

    通过 LivePhoto 系统，使用者可以通过文本描述来为感兴趣的图像添加动画效果，系统通过改进的生成器和设计的训练流程，实现了文本到视频的解码，进而实现了对视频的自定义。

    Dec, 2023

  • 素描视频合成

    我们提出了一种基于优化的框架，用于绘制视频的素描，通过设置初始参数和利用语义损失和 2D 网络的一致性损失进行优化，生成具有卓越视觉抽象和时间连贯性的素描视频，为基于素描的视频编辑和视频涂鸦提供了潜在的应用。

    Nov, 2023

  • SketchDreamer：互动的文本增强创意草图构思

    通过与文本交互的过程，本文提出了一种名为 SketchDreamer 的方法，利用基于像素表示的图像的文本条件扩散模型训练来生成受控素描，并使文本和素描能够相互作用，以实现非专业用户创作素描，并将叙述扩展为故事板。

    Aug, 2023

  • 动态贴纸：通过视频扩散让贴纸栩栩如生

    我们引入了动画贴纸，一种根据文本提示和静态贴纸图像生成动画的扩散模型。我们的模型建立在最先进的 Emu 文本图像模型基础上，并通过添加时间层来模拟动作。为了弥合领域差异，即视觉和动作风格的差异，一个在生成自然视频方面表现良好的模型在应用于贴纸时无法生成生动的视频。为了弥合这一差距，我们采用了两阶段微调流程：首先使用弱域内数据，然后采用多教师集成策略，在人机协同策略下提取多个教师的最佳品质，进而生成较小的学生模型。我们展示了这种策略在保持静态图像风格的同时，针对动作质量的改进。通过推理优化，我们的模型能够在一秒钟内生成高质量、有趣且相关的八帧视频。

    Feb, 2024

  • 以你的素描为中心：在扩散模型中实现民主化的素描控制

    通过揭示素描在扩散模型中的潜力，解决了生成人工智能直接素描控制的虚假承诺。我们巧妙地实现了专业素描生成精确图片的民主化过程，证实现有模型变形的空间限制性问题。为了纠正这个问题，我们提出了一种意识到抽象的框架，利用素描适配器，自适应时间步骤采样和经过预训练的精细化素描图像检索模型的辨别引导，协同工作以加强细粒度素描照片关联性。我们的方法在推理过程中无缝运行，无需文本提示；一张简单的草图就像你和我都可以创建的草图一样，就足够了！我们欢迎大家查看论文及其附加资料中展示的结果。贡献包括专业素描生成的民主化控制、引入意识到抽象的框架和利用辨别引导，通过大量实验证实。

    Mar, 2024