Jul, 2023

探究医学图像合成中 3D 潜在扩散模型中的数据记忆

PDF
TL;DR研究了生成潜在扩散模型在医疗成像数据生成方面的应用，评估了其对敏感病人培训数据的记忆能力并提出了缓解记忆的策略。
generative latent diffusion modelsmedical imaging datapatient privacymemorization capacitycontrastive learning
发现论文，激发创造
  • 无条件潜在扩散模型记忆病人影像数据

    医学图像领域的生成潜在扩散模型具有广泛的应用，其中一个值得注意的应用是通过提出合成数据作为真实患者数据的替代品来实现隐私保护的开放数据共享。然而，这些模型容易遭受患者数据记忆化的问题，从而生成患者数据的副本而非新的合成样本，从而损害了保护患者数据的目的，甚至可能导致患者重新识别。针对这个问题的重要性，令人惊讶的是，在医学图像界中对此问题关注相对较少。为此，我们评估了用于医学图像合成的潜在扩散模型的记忆化问题。我们在 CT、MR 和 X 射线数据集上训练了 2D 和 3D 潜在扩散模型，用于合成数据生成。之后，我们通过自监督模型检查了训练数据记忆化的程度，并进一步研究了可能导致记忆化的各种因素，通过在不同设置下训练模型。我们发现，在所有数据集中，训练数据中有相当大的记忆化现象，分别在 CT、MRI 和 X 射线数据集中分别达到 41.7%、19.6% 和 32.6%。进一步的分析表明，增加训练数据量和使用数据增强可以减少记忆化，而过度训练会增加记忆化。总的来说，我们的结果表明在共享开放数据之前应该进行记忆化受影响的合成数据评估。

    Feb, 2024

  • 文本到图像扩散模型中的记忆化分析实践

    对文本引导的图像生成模型进行了记忆化分析，提出三个必要条件进行定量分析，并利用反演技术验证目标图像的安全性，同时对稳定扩散模型进行了有效性实验证明。

    May, 2024

  • 针对合成医学影像的扩散模型应谨慎 -- 与 GAN 相比记忆脑肿瘤影像的能力比较

    本研究使用 BRATS20 和 BRATS21 数据集，对比了 StyleGAN 和扩散模型中合成的脑肿瘤图像与所有训练图像之间的相关性，结果表明扩散模型更容易记忆训练图像，因此在医学影像等领域应谨慎使用。

    May, 2023

  • 从扩散模型获取训练数据

    本文研究了图像扩散模型，如 DALL-E 2，Imagen 和 Stable Diffusion，发现它们从训练数据中记忆单个图像并在生成时发射此类图像，总结了此类模型的隐私风险和影响隐私保护培训的新进展。

    Jan, 2023

  • 内存触发器：通过词级重复揭示文本到图像生成模型中的记忆化

    该研究聚焦于扩散模型中两种不同而未被充分研究的重复现象，即在扩散模型中的冗余复制，通过两个案例研究探讨了这些现象及其影响，旨在对生成模型在各种应用中进行更安全、更负责任的使用做出贡献。

    Dec, 2023

  • 基于切片隐式扩散模型的 3D MRI 合成：改善数据稀缺情况下肿瘤分割任务

    利用切片扩散架构，从医学图像生成融合体数据和对应掩膜，以解决医学图像分割中数据获取不足的问题，并考虑肿瘤特征进行生成，通过对 BRATS2022 数据集的实验证明生成数据对数据增强的有效性。

    Jun, 2024

  • 相似度感知综合潜在扩散模型用于医学图像转换与表示学习

    我们提出了一种基于潜在扩散模型的综合生成模型（S$^2$LDM），该模型可以在推断过程中实现高保真度重建，优化了不同模态图像之间的相似性，并在对比增强区域生成更多细节的医学图像。

    Jun, 2024

  • MemControl：通过自动参数选择缓解医学扩散模型中的记忆化

    在医学图像生成领域，我们提出了一个双层优化框架，通过利用记忆和生成质量指标作为奖励，指导自动参数选择，并成功地确定了最佳参数集来满足生成和记忆权衡。我们的实验结果表明，我们的框架在更新模型参数的同时，将模型参数的数量降至仅为 0.019%，在训练时有效地减轻了过度记忆问题，并且这些学习到的策略可以在不同的数据集和领域中得到应用。

    May, 2024

  • MediSyn: 用于广泛医学 2D 和 3D 图像合成的文本引导扩散模型

    通过生成逼真且多样化的医学 2D 和 3D 图像，基于指令的文本导向潜在扩散模型 MediSyn 为算法的训练和研究提供了一个丰富且尊重隐私的资源，并通过已建立的指标展示了在医学图像和视频综合中以文本提示为导向的显著改进。

    May, 2024

  • 扩散模型中的记忆化

    扩散模型是近年来引起重要研究兴趣的高质量样本生成方法，我们的研究旨在深入理解扩散模型的记忆行为，包括有效模型记忆的定义与影响因素的量化分析。我们的实证研究发现数据分布、模型配置和训练过程等因素对记忆行为有重要影响，并且在扩散模型中，将训练数据与随机标签进行关联显著触发记忆行为。这对扩散模型的使用者具有实际意义，并为深度生成模型的理论研究提供了线索。

    Oct, 2023