Nov, 2023

增强身份保护对于扩散个性化的数据观点

PDF
TL;DR使用大型文本到图像模型生成图像的能力已经引起了巨大的变革，但是对于特定独特或个人化的视觉概念，如您的宠物、屋内物品等，并不能被原始模型捕捉到。本文通过采用数据为中心的方法，提出了一种新颖的正则化数据集生成策略，旨在解决文本连贯性丧失和身份保留问题，进一步提高图像质量，并能生成符合输入文本提示的多样样本。实验证明，我们的数据为中心的方法在图像质量方面具有新的技术实力，在身份保留、多样性和文本对齐之间取得了最佳的平衡。
large text-to-image modelsvisual conceptsdata-centric approachregularization datasetidentity preservation
发现论文，激发创造
  • 无限 ID：通过 ID 语义解耦范式实现身份保留的个性化

    通过引入无限 - ID，将身份信息与语义解耦合的范式，提出一种在图像生成中保持身份的个性化方法。此方法通过增强车间训练，结合图像交叉注意模块和 AdaIN-mean 操作的特征交互机制，既提高了身份的保真度和语义一致性，又使得对生成图像风格的控制变得方便。对原始照片生成和风格图像生成的大量实验结果证明了该方法的优越性能。

    Mar, 2024

  • DreamBooth: 针对主题驱动生成的 Fine Tuning 文字到图像扩散模型

    提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

    Aug, 2022

  • 定制化文本到图像生成的细节保留增强：一种无正则化方法

    通过建立一个包含编码器网络和新型的采样方法的框架，该文提出了一种用于文本到图像生成的自定义方法，无需使用规范化方法来解决过拟合问题且可以在很短的时间内自定义大规模的文本到图像生成模型。实验证明，该方法优于现有的方法，并保留更多的细节信息。

    May, 2023

  • 一张图抵一千言：使用文本反演个性化文本到图像生成

    使用 3-5 张用户提供的概念图片，在文本到图像模型的嵌入空间中学习表示之后，将其转化成新的 “单词”，从而达到自由创造。

    Aug, 2022

  • 通过稳定扩散进行高度个性化的文本嵌入以进行图像操作

    本文介绍一种基于高度个性化文本嵌入的简单而高效的方法，通过分解 CLIP 嵌入空间来实现个性化和内容操作，并且仅需要一个图像和目标文本即可实现背景、纹理和动态的操作和编辑。

    Mar, 2023

  • Gen4Gen：生成式多概念组合的生成数据管道

    该研究介绍了一种基于 Gen4Gen 的半自动数据集创建流程，并提出了一种综合指标以更好地量化多概念个性化文本到图像扩散方法的性能。研究通过改善数据质量和提示策略，将实现多概念个性化图像生成质量的显著提高，而无需对模型架构或训练算法进行任何修改。

    Feb, 2024

  • 只有我的模型与我的数据：一种保护模型并欺骗未经授权的黑盒模型的隐私保护方法

    通过生成可被人类感知的图像，本研究在保护模型准确推断的同时，回避其他类似或不同目标的非授权黑盒模型，以实现实际的隐私保护。

    Feb, 2024

  • DreamIdentity：提高可编辑性，实现高效面部身份保留图像生成

    该论文提出了一种优化自由的面部识别编码器，以在条件面部图像中保留面部标识符，并提出了自我增强的可编辑性学习方法，从而在更快的速度下生成具有不同场景下的保留标识符的图像。

    Jul, 2023

  • 快速个性化的文本到图像合成与注意力注入

    我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

    Mar, 2024

  • 个性化扩散的身份编码器

    论文探讨了使用编码器和扩散生成器来进行个性化图像生成的方法，并比较了该方法与 Fine-tuning 等已有方法的性能，实验结果表明，该方法在图像生成和重建上表现更好，且适用于更多应用场景。

    Apr, 2023