Jul, 2023

HyperDreamBooth: 针对快速个性化文本图像模型的超级网络

PDF
TL;DR本文介绍了一种基于 Hypernetwork 的方法 —— HyperDreamBooth，它能够从单张图片生成少量的个性化权重来快速生成各种上下文和风格的人脸，生成时间仅为 DreamBooth 的 1/25，与 DreamBooth 相比，模型体积缩小了 10000 倍。
personalizationgenerative aihyperdreamboothfine-tuningdiffusion model
发现论文，激发创造
  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • 个性化扩散模型的改进方法

    我们提出的方法旨在在融合新信息的过程中保留模型的原始知识，从而产生优越的结果，同时需要比 Dreambooth 和文本反转更少的训练时间。

    Jul, 2024

  • AttnDreamBooth: 面向文本对齐的个性化文本与图像生成

    该研究针对文本到图像个性化合成过程中的限制性问题，分析了两种主要技术（文本反转和 DreamBooth）的不足之处，并引入了一种名为 AttnDreamBooth 的新方法来解决这些问题，通过在不同的训练阶段分别学习嵌入对齐、注意力图和主体身份。同时，采用交叉注意力图正则化项来增强对注意力图的学习，相较于基准方法，我们的方法在保护身份信息和文本对齐方面取得了显著改进。

    Jun, 2024

  • InstantBooth: 个性化文本图像生成（无测试时间微调）

    提出了一种名为 InstantBooth 的方法，该方法通过学习图像概念的文本标记和适配层，无需进行测试时间微调即可实现文本引导图像个性化生成，并在语言 - 图像对齐、图像保真度和身份保护等方面获得了竞争性结果，速度快 100 倍。

    Apr, 2023

  • DreamBooth3D: 基于主题的文本到三维生成

    DreamBooth3D 是一种将个性化的文本 - 图像模型与文本 - 3D 生成相结合的方法，通过 3 阶段优化策略实现了神经光辐射场的 3D 一致性和文本 - 图像模型的个性化能力，能够生成高质量、个性化的 3D 模型。

    Mar, 2023

  • PortraitBooth: 快速身份保留个性化的多用途肖像模型

    PortraitBooth 是一种高效、鲁棒的个性化图像生成方法，使用人脸识别模型的主题嵌入来生成个性化图像，避免了费时的微调过程，保持了原始图像的身份，并通过情感感知的跨注意力控制实现了生成图像中多样的面部表情，支持基于文本的表情编辑。

    Dec, 2023

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • FaceStudio：在几秒钟内将您的脸放到任何地方

    本研究通过引入直接前馈机制和混合引导框架，以人物图像为重点，实现了保留主体身份的图像合成，旨在快速高效生成艺术肖像和身份融合图像，并在定性和定量评估中证明了方法在高保真度和效率方面的优越性。

    Dec, 2023

  • InstantID: 秒级零样本保身份生成

    我们介绍了基于 InstantID 的个性化图像合成方法，通过应用 IdentityNet 模型，使用单张面部图像实现各种风格的图像个性化，同时确保高保真度，并与 SD1.5 和 SDXL 等常用预训练文本到图像扩散模型无缝集成，具有卓越的性能和高效性，在重视身份保护的实际应用中极具益处。

    Jan, 2024

  • 文本图像指导的扩散模型用于生成深度伪造的名人互动

    通过改进扩散模型以生成可控高质量的深度伪造图像，并使用 Dreambooth 训练提供更真实和个性化的输出图像，该研究展示了以惊人的逼真度创建虚假的视觉内容，并可作为权力政治人物会面的可信证据。

    Sep, 2023