快速采用的文本到图像扩散模型强调了解决其偏见的迫切需求。本研究将公平性视为分布对齐问题，提出了两个主要技术贡献：（1）分布对齐损失，将生成的图像的特定特征引导向用户定义的目标分布；（2）扩散模型抽样过程的有偏直接微调，利用有偏梯度更有效地优化生成图像上定义的损失。实证结果显示，我们的方法显著降低了职业提示中的性别、种族及其交叉偏见。即使只微调五个软记号，性别偏见也显著降低。关键是，我们的方法支持超越绝对平等的多样观点公平，如同时控制年龄分布为 75％年轻和 25％年长的情况下消除性别和种族偏见。最后，我们的方法具有可扩展性：通过将这些提示包含在微调数据中，可以同时消除多个概念的偏见。我们希望我们的工作有助于文本到图像生成人工智能的社会调整。我们将共享代码和各种消除偏见的扩散模型适配器。

Nov, 2023

本文提出了一种用于医学图像合成的新方法，即 EMIT-Diff，它利用最近的扩散概率模型生成逼真且多样化的合成医学图像数据，并确保合成样本符合医学相关约束并保留成像数据的底层结构。在多个数据集上进行的实验证明了 EMIT-Diff 在医学图像分割任务中的有效性，并展示了引入首个文本引导的扩散模型用于通用医学图像分割任务的可行性。

Oct, 2023

我们提出了一种基于潜在扩散模型的综合生成模型（S$^2$LDM），该模型可以在推断过程中实现高保真度重建，优化了不同模态图像之间的相似性，并在对比增强区域生成更多细节的医学图像。

Jun, 2024

AltDiffusion 是一种新颖的多语种 T2I 扩散模型，它支持 18 种不同语言，并且在生成高质量图像方面优于现有的 T2I 模型，尤其是在理解文化特定概念方面。

Aug, 2023

目前的学习型文本到图像模型存在社会偏见问题，本研究提出了一种基于迭代分布对齐的方法，通过权重优化来解决社会偏见问题。

Feb, 2024

我们提出了一种测试时间图像适应方法，通过同时更新和预测测试图像来提高模型在测试数据上的准确性，通过扩散模型将目标测试图像反投影到源域，设计结构指导模块通过低通滤波添加细化操作，用于正则化扩散以保留结构信息，并引入自整合方案自动调整对适应和未适应输入的依赖关系，增强适应鲁棒性。在我们构建的 ISIC2019-C 和 Dermnet-C 损坏鲁棒性评估基准上进行的大量实验表明，我们的方法在各种损坏、体系结构和数据区域上使分类器更加鲁棒。我们的数据集和代码将在 https://github.com/minghu0830/Skin-TTA_Diffusion 上提供。

May, 2024

通过修改预训练的文本到图像模型以控制提示语，我们提出了一种称之为公平映射的通用、无模型依赖和轻量级方法，以解决现有文本到图像扩散模型在生成人类相关描述时产生有偏见图像的限制。

Nov, 2023

本研究旨在将大型预训练基础模型的表现能力扩展到特定的医疗概念中，通过研究 Stable Diffusion 模型的子组件，进而生成医学影像，并通过定量和定性的方法对模型效果进行评估。

Oct, 2022

本研究提出了一种策略来克服大规模自然 - 医学分布偏移，并使用预先训练的潜在扩散模型在公开可用的胸部 X 射线（CXR）及其对应的放射学（文本）报告语料库上进行调整，评估了生成的高保真 CXR 的图像质量和文本 - 图像对齐的能力，并观察到使用数据增强的方式训练动态成像分类器的证据。

Nov, 2022

使用生成图像编辑来模拟数据集变化并诊断生物医学视觉模型的故障模式，无需额外的数据收集即可评估模型的鲁棒性。

Dec, 2023