通过最大化与参考图像的一致性并惩罚与预训练模型的偏差，我们提出了一种通过最小程度微调预训练模型以实现一致性的 T2I 扩散模型的新型训练目标，称为 “直接一致性优化”。我们的方法不仅简单而且显著提高了个性化 T2I 模型的组合能力，并引入了一种控制图像保真度和提示保真度权衡的抽样方法。最后，我们强调必须使用详尽的标题作为参考图像，以进一步增强图像和文本的对齐。我们证明了所提方法在 T2I 主题、风格或两者个性化方面的有效性。生成的示例和代码可在我们的项目页面（this https URL）中找到。

Feb, 2024

该研究针对文本到图像个性化合成过程中的限制性问题，分析了两种主要技术（文本反转和 DreamBooth）的不足之处，并引入了一种名为 AttnDreamBooth 的新方法来解决这些问题，通过在不同的训练阶段分别学习嵌入对齐、注意力图和主体身份。同时，采用交叉注意力图正则化项来增强对注意力图的学习，相较于基准方法，我们的方法在保护身份信息和文本对齐方面取得了显著改进。

Jun, 2024

我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

Feb, 2024

提出了一种新的 text-to-image 模型的个性化方法，该方法能够通过少量输入的图像，fine-tune 预训练的 text-to-image 模型，使其能够将唯一标识符绑定到特定主题上，并能够综合场景、姿态、观点和光照中出现的主题的新颖的高清图像。

Aug, 2022

DreamTurner 是一种新方法，通过将粗略主题特征逐渐注入到细节中，有效地实现主题驱动的图像生成，其中引入了主题编码器以保留粗略主题特征并使用自主题注意力层来提炼目标主题的细节特征。

Dec, 2023

我们提出了一种有效且快速的方法，可在不进行任何微调的情况下生成个性化图像，并保持扩散模型内在的文本到图像生成能力。通过操作原始扩散模型的交叉注意力和自注意力层，将自定义概念合并到生成图像中，以生成与文本描述相匹配的个性化图像。综合实验突出了我们方法的优越性。

Mar, 2024

基于信息论对齐度量的自监督微调方法对模型对齐问题进行了研究，在文字到图像生成任务中获得了与最新技术相媲美或超过的结果，并且只需要一个预训练的去噪网络来估计互信息和一个轻量级微调策略。

May, 2024

本文通过面部区域适应和语义保真令牌优化的两个角度，将准确和语义保真的 ID 嵌入到稳定扩散模型中，以实现个性化生成，并通过实验证明与以前的方法相比，我们的结果在 ID 准确性和操作能力方面表现出更卓越的能力。

Jan, 2024

我们提出了一种关注力校准机制，名为 DisenDiff，通过学习可学习的修饰符来捕捉单个图像中的多个概念，并生成具有学习概念的新颖定制图像。我们展示了该方法在定性和定量评估上表现优于当前的最佳方法。此外，我们的技术还与 LoRA 和修复管道兼容，实现更多交互体验。

Mar, 2024

本文提出了一种基于编码器的文本到图像（T2I）个性化生成方法，使用一种对领域不敏感的对比度正则化技术来实现目标概念特征的高保真度，并将预测的嵌入值保持在可编辑的潜在空间区域，从而实现了基于 CLIP（一种联合学习图像和文本的新型表示方法）标记的最短距离。实验结果证明了我们方法的有效性和学习标记比未规范化模型预测的标记更具语义性的优点，并且比以前的方法更加灵活，表现出最先进的性能。

Jul, 2023