通过单独的扩散过程和修订方法，本研究提出了一种针对大规模文本到图像扩散模型的通用方法，以解决复杂场景中不同主题及其附件之间的相互干扰，追求更好的文本图像一致性。

Mar, 2024

利用主题驱动的文本到图像扩散模型，用户可以根据少量示例图像来定制模型来处理预训练数据集中不存在的新概念。然而，现有的主题驱动模型主要依赖于单一概念的输入图像，在处理多概念输入图像时面临着目标概念的指定困难。为此，我们引入了一种文本本地化的文本到图像模型（Texual Localization）来处理多概念输入图像。在微调过程中，我们的方法采用了一种新颖的交叉注意力引导方法，分解多个概念，在文本提示中建立目标概念的视觉表示与标识符令牌之间的明确连接。实验结果表明，在多概念输入图像上，我们的方法在图像保真度和图像文本对齐方面优于或相当于基准模型。与自定义扩散方法相比，我们的方法通过硬引导实现了单一概念生成的 CLIP-I 得分相对提高 7.04％，8.13％，多概念生成的 CLIP-T 得分相对提高 2.22％，5.85％。值得注意的是，我们的方法能够生成与生成图像中目标概念一致的交叉注意力映射，这是现有模型所没有的能力。

Feb, 2024

我们提出了一个概念驱动的文本到图像（TTI）个性化框架，通过学习用户提供的图像示例中的概念，以及一种交替优化过程，进一步改进了现有的 TTI 模型，使其能够生成具有多个交互概念的图像。

Feb, 2024

大型多模态模型通过仅微调单个词嵌入就能生成、检测和分类新的视觉概念，但我们发现模型学习相似的词语表示同一概念的能力是模型特定且不可转移的。我们对三种先进模型在文本到图像生成、开放集目标检测和零样本分类领域进行了大规模分析，发现新的词嵌入是模型特定且不可转移的。我们在四个标准数据集上针对 40 个不同的视觉概念训练了 4800 个新的嵌入，发现在一个 epsilon 球内的任何先前嵌入的扰动都能生成、检测和分类任意的概念。当这些新的词嵌入被插入新模型时，针对原始模型的微调将失效。我们展示了流行的软提示微调方法在视觉概念学习任务中发现这些扰动解，而视觉概念的嵌入是不可转移的。可复现我们工作的代码可在此 https 网址找到。

Jun, 2024

本文介绍了一种基于 Custom Diffusion 的文本到图像生成模型，只需少量优化参数即可表示新概念并实现快速调整，还可以通过约束优化共同训练多个概念或组合多个微调模型，并在新颖的环境中将多个概念无缝组合生成，此方法在记忆和计算效能方面都占有优势。

Dec, 2022

最近的文本到图像 (T2I) 扩散模型的进展在生成具有零样本泛化能力的高质量图像方面取得了令人印象深刻的成功。然而，当前的模型在紧密遵循提示语义方面存在困难，通常会误代或忽视特定属性。为了解决这个问题，我们提出了一种简单的、无需训练的方法，在推理过程中调节扩散模型的引导方向。我们首先将提示语义分解为一组概念，并监控与每个概念相关的引导轨迹。我们的关键观察是，模型在遵循提示语义方面的偏离与引导从一个或多个概念偏离的差异高度相关。基于这一观察，我们设计了一种技术，将引导方向引导至模型偏离的任何概念。广泛的实验验证了我们的方法可以改善扩散模型对提示的语义对齐。项目页面可在此链接上找到: this https URL

Dec, 2023

本文提出了一种通过生成特定概念并将其用于多个图像来提高控制能力的方法，通过仅使用文本就可以生成概念而无需从输入数据复制可视化，并通过一组比较发现我们的方法是超越仅使用文本提示的重要改进。

Mar, 2023

我们提出了一种名为 EMCID 的两阶段方法，用于在大规模实际场景中同时解决文本到图像扩散模型生成过时、受版权限制、错误和带有偏见的内容的问题。通过对每个个体概念进行双自对齐损失和扩散噪声预测损失的记忆优化，第一阶段实现了内存优化；第二阶段通过多层闭合模型编辑进行大规模概念编辑。我们还提出了一个名为 ImageNet Concept Editing Benchmark（ICEB）的全面评估基准，用于评估 T2I 模型的大规模概念编辑，包括自由形式提示、大规模概念类别和广泛的评估指标。在我们提出的基准和之前的基准上进行的大量实验表明，EMCID 具有卓越的可扩展性，可以编辑多达 1000 个概念，为在实际应用中快速调整和重新部署 T2I 扩散模型提供了实用方法。

Mar, 2024

通过引入正交视觉嵌入并利用自我注意力交换，我们提出了一种高效维护主题身份的方法，以解决文本到图像模型中遭遇的问题，并展示了该方法的效果和鲁棒性。

Mar, 2024

研究使用空间特征和自我关注来实现生成图片结构的微调，并将其用于文本到图像合成中，从而实现图像到图像转换。

Nov, 2022