我们提出了一种方法将复杂的多步扩散模型提炼为单步有条件生成对抗网络学生模型，从而大大加速推理过程，同时保持图像质量。我们的方法将扩散提炼解释为一种对应的图像到图像转换任务，使用扩散模型 ODE 轨迹的噪声到图像对。为了进行高效的回归损失计算，我们提出了一种在扩散模型的潜空间中直接操作的感知损失 E-LatentLPIPS，利用增强的集合。此外，我们改进了扩散模型，构建了一个多尺度鉴别器，具有文本对齐损失，建立了一种有效的基于条件生成对抗网络的公式。即使考虑到数据集构建成本，E-LatentLPIPS 也比许多现有的提炼方法更高效。我们证明我们的一步生成器在零样本 COCO 基准测试上优于最先进的一步扩散提炼模型 - DMD、SDXL-Turbo 和 SDXL-Lightning。

May, 2024

本研究介绍了 PathLDM，这是一种专为生成高质量组织病理学图像而设计的首个文本条件潜在扩散模型。通过利用病理学文本报告所提供的丰富语境信息，结合图像和文本数据，通过 GPT 的能力进行复杂文本报告的提炼和总结，我们实现了在 TCGA-BRCA 数据集上文本到图像生成方面的 SoTA FID 得分为 7.64，显著优于最接近的文本条件竞争对手的 30.1 的 FID 得分。

Sep, 2023

我们提出了一种结合潜在空间扩散模型和数据集精炼的潜在数据集精炼方法（LD3M），旨在解决机器学习面临的大型数据集和高分辨率图像生成的挑战，并在多个 ImageNet 子集和高分辨率图像上实验表明，LD3M 在 1 个和 10 个图像每类的情况下，相比最先进的精炼技术，提高了最高 4.8 个百分点和 4.2 个百分点的性能。

Mar, 2024

通过在预训练的自编码器的潜在空间中应用扩散模型，引入交叉注意力层到模型体系结构中，以更少的计算要求取得接近最优的性能，实现高分辨率合成，缩小像素级 DMs 对计算资源的需求。

Dec, 2021

研究训练以潜在空间作为输入的 LDM 的方法，与传统的 Diffusion Models 相比，通过使用预训练的自动编码器将高维像素空间降为低维潜在空间，大大提高了训练效率，并使用隐私保护的方式对不同维度的注意力模型进行训练以减少可调参数，最终的实验结果表明该方法在生成高质量合成图像时表现突出。

May, 2023

该论文介绍了 Med-DDPM，这是一种使用扩散模型进行语义 3D 医学图像合成的创新解决方案，解决了医学成像中的普遍问题，如数据稀缺、不一致的采集方法和隐私问题。

May, 2023

人工智能基于图像分析在诊断组织病理学方面，尤其是癌症诊断方面具有巨大潜力。为了开发监督式人工智能方法，需要大规模的注释数据集。本研究提出了一种从自动提取的图像特征中构建结构化文本提示的方法。通过在提示中引入图像特征而不仅仅是正常和癌症标签，我们改善了 Fréchet Inception Distance (FID) 的性能，从 178.8 提升到 90.2。我们还表明，病理学家难以检测到合成图像，敏感性 / 特异性的中位数为 0.55/0.55。最后，我们展示了合成数据有效地训练人工智能模型。

Dec, 2023

本研究介绍了一种基于文本的图像编辑方法，利用最新的扩散模型对一些基于文本主题的地方图像进行编辑，通过结合扩散模型的速度和 Blended Diffusion，提高了编辑的效率，并通过优化方法来解决扩散模型无法完美重建图像的问题，实现了比当前方法更高的精度和速度

Jun, 2022

我们提出了一个集成条件扩散模型和 nnU-Net 模型的流程，通过合成多样化的真实腹部淋巴结数据来改善腹部淋巴结分割的性能，并证实 LN-DDPM 在腹部淋巴结图像合成方面优于其他生成方法，并更好地辅助下游的腹部淋巴结分割任务。

Mar, 2024

通过弱监督方法生成病变图片的健康版本，并利用此图像生成像素级异常地图，以提升放射科医生的训练文件和分割模型的可解释性。

Aug, 2023