通过在大规模无标签数据集上预训练潜在扩散模型（LDM），我们提出了一种名为 HistoDiffusion 的合成增强方法，然后在未见过的有标签数据集上通过分类器引导在潜在空间中微调模型，以合成特定类别的图像，并采用选择性机制只添加与目标标签匹配度较高的合成样本，通过 HistoDiffusion 增强，使用少量原始标签，我们大幅提高了骨干分类器的分类准确率 6.4%。

Aug, 2023

本文提出了一种基于扩散的非监督图像转换方法，使用分离的风格和内容表征，并使用 ViT 模型中的中间键提取多头自注意层作为内容保存损失，并匹配文本驱动风格转移的 [CLS] 分类令牌，同时使用额外的 CLIP 损失，实验结果表明，该方法在文本引导和图像引导的转换任务中优于现有的基准模型。

Sep, 2022

通过利用生成扩散模型，我们提出了一种自监督学习方法，用于分割组织病理学图像，并采用基于多损失函数的微调方法进行下游任务。

Sep, 2023

提出了一种新的任务，文本驱动的风格化图像生成，以进一步增强内容创造中的可编辑性，通过升级经过训练的文本到图像模型与可训练的调制网络，同时引入扩散样式和内容正则化，实现了高质量的风格化文本到图像生成。

Nov, 2023

最近的研究探讨了利用预训练的文本 - 图像判别模型（如 CLIP）来解决与开放词汇语义分割相关的挑战。然而，值得注意的是，这些模型基于对比学习的对齐过程可能无意中导致重要的定位信息和物体完整性的丢失，这对于实现准确的语义分割至关重要。最近，人们越来越有兴趣将扩散模型应用于文本到图像生成任务以外的领域，特别是在语义分割领域。这些方法利用扩散模型生成注释数据或提取特征以促进语义分割。为此，我们揭示了生成式文本到图像条件扩散模型作为高效的开放词汇语义分割器的潜力，并引入了一种名为 DiffSegmenter 的无需训练的新方法。具体而言，通过将输入图像和候选类别输入到现成的预训练条件潜在扩散模型，由去噪 U-Net 产生的交叉注意力图直接用作分割分数，然后由后续的自注意力图进一步细化和完成分割。此外，我们精心设计了有效的文本提示和类别过滤机制以进一步增强分割结果。在三个基准数据集上的广泛实验证明，所提出的 DiffSegmenter 在开放词汇语义分割方面取得了令人印象深刻的结果。

Sep, 2023

通过提取样式描述符来将生成图像的风格归属于用于训练文本生成图像模型的图像，并展示了在各种样式检索任务中有希望的结果。

Apr, 2024

我们提出了一种名为 DGInStyle 的高效数据生成流水线，通过将预训练的潜在扩散模型（LDM）专门用于语义控制生成，设计一种多分辨率潜在融合技术来克服 LDM 对主导对象的偏见，并提出一种样式交换技术来赋予丰富的生成先验学习的语义控制。使用 DGInStyle，我们生成了一个多样化的街景数据集，在其上训练了一个领域无关的语义分割模型，并在多个流行的自动驾驶数据集上评估了该模型的性能，我们的方法一致提高了几种领域泛化方法的性能，在某些情况下比之前的最先进方法提高了 2.5 个 mIoU，而没有我们的生成增强方案。

Dec, 2023

应用扩散模型结合病灶特定的视觉和文本提示生成皮肤镜检测图像，相对于传统生成模型在图像质量和皮损分割性能上表现更优，SSIM 图像质量指标提高 9%，Dice 系数超过先前方法 5% 以上。

Oct, 2023

本文提出了 DiffusionSeg 框架，利用预训练和扩散模型实现无监督物体发现，并采用合成 - 利用两阶段策略来缓解数据不足和结构差异问题，采用反演技术将图像映射回扩散特征，通过大量实验验证了该方法的优越性。

Mar, 2023

本研究使用生成扩散模型来发现生物医学三维图像中所有内在层次结构，并设计了三种损失来训练预测性的无监督分割网络，使其能够将三维体积分解为具有层次结构的有意义的子体积，取得了优于现有无监督结构发现方法的性能，可在具有挑战性的仿真数据集和真实的脑肿瘤 MRI 数据集上使用。

Apr, 2023