Dec, 2023

PIA：基于文本到图像模型的即插即用模块实现个性化图像动画

PDF
TL;DRPIA 是一种个性化图像动画器，通过使用条件模块和基于时间的对齐层，能够使个性化的图像转换成图像动画模型，实现具有运动控制性和各种个性化 T2I 模型的兼容性。
personalized text-to-imagemotion controllabilitypiacondition moduleimage animation model
发现论文，激发创造
  • AnimateDiff: 个性化文本图像扩散模型的动画化方法

    通过在冻结的文本到图像模型中插入一个新初始化的动态建模模块并对其进行视频剪辑训练，我们提出了一个实用的框架，一劳永逸地使大多数现有的个性化文本到图像模型都能够生成多样化和个性化的动态图像。

    Jul, 2023

  • TaleCrafter: 多角色交互式故事可视化

    本文提出了一个通用的交互式故事可视化系统，该系统涵盖了故事到提示生成，文本到布局生成，可控文本到图像生成和图像到视频动画四个组件，允许用户处理多个新角色和灵活修改布局与结构。

    May, 2023

  • 可控的图像描述生成视频技术

    提出了一种名为 TI2V 的新的视频生成任务，即从静态图像和文本描述生成视频。介绍了一种名为 MAGE 的视频生成器，其中包含一种创新的运动锚（MA）结构，以存储外观 - 运动对齐表示，通过三维轴向变压器与给定图像交互，支持可控性和多样性。两个新的视频 - 文本匹配数据集验证了 MAGE 的有效性并展示了 TI2V 的潜力。

    Dec, 2021

  • PoseAnimate: 零样本高保真度姿势可控角色动画

    从单张图片生成视频序列的 PoseAnimate 是一种新颖的零样本人物动画框架，通过将多样化的姿势信号整合到条件嵌入中以保持人物独立内容并维持动作的精确对齐，增强了时序一致性、保留了人物身份特征和复杂背景细节以及通过解耦角色和背景改善动画精度。实验结果表明，该方法在人物一致性和细节保真度方面优于现有的基于训练的方法，并且在所生成动画中始终保持较高水平的时序一致性。

    Apr, 2024

  • T2I-Adapter: 学习适配器以挖掘更多可控能力的文本到图像扩散模型

    该论文提出了使用轻量级的 T2I 适配器来对图像生成过程进行更加精准的控制，实现在不同条件下的色彩和结构控制，并具有可组合性和广泛的应用前景。

    Feb, 2023

  • LivePhoto：带有文本引导的实时图像动画与运动控制

    通过 LivePhoto 系统，使用者可以通过文本描述来为感兴趣的图像添加动画效果，系统通过改进的生成器和设计的训练流程，实现了文本到视频的解码，进而实现了对视频的自定义。

    Dec, 2023

  • 结构无关视频编辑中的主角多样化

    本文提出了一种使用传统的图像层面个性化方法解决现有视频编辑方法中的偏见问题，通过运动个性化从单一源视频中分离运动并相应地修改主角，并引入一种新颖的伪光流来调节运动词以适应运动相关区域，最终通过额外的伪词将运动与源视频的外观分离，从而实现了更多样化和广泛的视频编辑能力。

    Dec, 2023

  • 信息论文本到图像对齐

    基于信息论对齐度量的自监督微调方法对模型对齐问题进行了研究，在文字到图像生成任务中获得了与最新技术相媲美或超过的结果，并且只需要一个预训练的去噪网络来估计互信息和一个轻量级微调策略。

    May, 2024

  • DreamMatcher： 外貌匹配自注意力用于语义一致的文本到图像个性化

    T2I 个性化通过语义匹配替换目标值与参考值，将 T2I 个性化重新构想为语义匹配，避免破坏预训练模型的多样性能力，并引入了一种语义一致的遮罩策略以隔离个性化概念与目标提示之外的无关区域。

    Feb, 2024

  • I2V-Adapter: 视频扩散模型的通用图像到视频适配器

    在 AI 驱动视频生成领域，本研究通过引入 I2V-Adapter 解决了将静态图像转化为动态视频序列的复杂挑战，保持了 T2I 模型的结构完整性和运动模块，并在保持空间细节的同时降低了可训练参数的需求，这一性能上的突破在创意应用中具备了广泛的适用性。

    Dec, 2023