我们提出了一种名为 EMCID 的两阶段方法，用于在大规模实际场景中同时解决文本到图像扩散模型生成过时、受版权限制、错误和带有偏见的内容的问题。通过对每个个体概念进行双自对齐损失和扩散噪声预测损失的记忆优化，第一阶段实现了内存优化；第二阶段通过多层闭合模型编辑进行大规模概念编辑。我们还提出了一个名为 ImageNet Concept Editing Benchmark（ICEB）的全面评估基准，用于评估 T2I 模型的大规模概念编辑，包括自由形式提示、大规模概念类别和广泛的评估指标。在我们提出的基准和之前的基准上进行的大量实验表明，EMCID 具有卓越的可扩展性，可以编辑多达 1000 个概念，为在实际应用中快速调整和重新部署 T2I 扩散模型提供了实用方法。

Mar, 2024

本文介绍了 MultiEdits 方法，它通过创新的注意力分配机制和多分支设计，实现了在多个属性上同时进行编辑的无缝管理，并显著提高了多任务编辑的性能。同时，我们还引入了 PIE-Bench++ 数据集，该数据集是原始 PIE-Bench 数据集的扩展，以更好地支持同时涉及多个对象和属性的文本驱动图像编辑任务的评估。

Jun, 2024

提出了一种通用的自监督文本编辑扩散模型（DiffUTE），基于扩散模型和网络结构的改进，结合字形和位置信息，利用大量的网络数据进行自监督学习训练，实现了在保持真实外观的同时替换或修改源图像中的单词，并且能够绘制多语言字符，同时具备出色的图像渲染效果。

May, 2023

该论文研究了基于扩散模型的无条件文本驱动图像编辑方法的效率，并开发了一种新算法，可以快速学习和应用图像操作，从而提高实现应用的潜力。

Apr, 2023

使用预训练扩散模型（即 Stable Diffusion [27]）进行文本图像生成的新方法，通过设计和训练轻量级字符级文本编码器，以更强的文本嵌入作为条件指导，使用大规模数据集微调扩散模型，在字符级分割图的监督下实现局部注意控制，通过推断阶段的优化过程，在合成给定图像中的文本时获得显著高的序列准确性。我们的方法优于现有技术，并展示了 UDiffText 的几个潜在应用，包括以文本为中心的图像合成、场景文本编辑等。

Dec, 2023

通过建立一个优雅而高效的 TCVE（Temporal-Consistent Video Editing）方法，本研究在大规模文本到图像（T2I）扩散模型的基础上，解决了文本引导视频编辑中的时间不连贯问题，取得了视频时序一致性和编辑能力方面的最新突破，并超越了该领域的现有基准。

Aug, 2023

通过利用基本的二维图像文本到图像扩散模型，我们提出了一种新颖的统一编辑框架，结合了单一图像注入自注意力的编辑和共享注意力的视频编辑的优势，通过共享自注意力特征在参考和连续图像采样过程中，设计了一种采样方法，以在保持语义一致性的同时实现连续图像的编辑。实验结果表明，我们的方法能够在多种模态包括 3D 场景、视频和全景图像中进行编辑。

May, 2024

提出了第一个框架，用于保留单个图像的视觉属性并编辑其布局，并通过文本反演和优化方法实现多对象特征的分离和布局控制，从而优于其他支持此任务的基线。

Jun, 2023

通过手术更新分类器导向项、限制无条件得分项的变化，以及赋予用户选择擦除概念的替代方案的能力，我们提出了一种能够有效擦除目标概念并保留生成能力的新方法。

Dec, 2023

该研究提出了一种名为 Custom-Edit 的文本导向图像编辑方法，使用少量参考图像进行模型自定义，可以显著提高引用相似性同时保持源相似性，适用于各种数据集。

May, 2023