May, 2024

MemControl：通过自动参数选择缓解医学扩散模型中的记忆化

PDF
TL;DR在医学图像生成领域，我们提出了一个双层优化框架，通过利用记忆和生成质量指标作为奖励，指导自动参数选择，并成功地确定了最佳参数集来满足生成和记忆权衡。我们的实验结果表明，我们的框架在更新模型参数的同时，将模型参数的数量降至仅为 0.019%，在训练时有效地减轻了过度记忆问题，并且这些学习到的策略可以在不同的数据集和领域中得到应用。
diffusion modelsmemorizationparameter-efficient fine-tuningbi-level optimization frameworkmedical image generation
发现论文，激发创造
  • 探究医学图像合成中 3D 潜在扩散模型中的数据记忆

    研究了生成潜在扩散模型在医疗成像数据生成方面的应用，评估了其对敏感病人培训数据的记忆能力并提出了缓解记忆的策略。

    Jul, 2023

  • 无条件潜在扩散模型记忆病人影像数据

    医学图像领域的生成潜在扩散模型具有广泛的应用，其中一个值得注意的应用是通过提出合成数据作为真实患者数据的替代品来实现隐私保护的开放数据共享。然而，这些模型容易遭受患者数据记忆化的问题，从而生成患者数据的副本而非新的合成样本，从而损害了保护患者数据的目的，甚至可能导致患者重新识别。针对这个问题的重要性，令人惊讶的是，在医学图像界中对此问题关注相对较少。为此，我们评估了用于医学图像合成的潜在扩散模型的记忆化问题。我们在 CT、MR 和 X 射线数据集上训练了 2D 和 3D 潜在扩散模型，用于合成数据生成。之后，我们通过自监督模型检查了训练数据记忆化的程度，并进一步研究了可能导致记忆化的各种因素，通过在不同设置下训练模型。我们发现，在所有数据集中，训练数据中有相当大的记忆化现象，分别在 CT、MRI 和 X 射线数据集中分别达到 41.7%、19.6% 和 32.6%。进一步的分析表明，增加训练数据量和使用数据增强可以减少记忆化，而过度训练会增加记忆化。总的来说，我们的结果表明在共享开放数据之前应该进行记忆化受影响的合成数据评估。

    Feb, 2024

  • 透过交叉注意力揭示和减轻文本到图像扩散模型中的记忆化

    研究论文概述：最近的文本到图像扩散模型在生成高质量图像方面展示了显著的能力，但是越来越多的研究表明这些模型从训练数据中记忆并复制图像，引发了对潜在版权侵权和隐私风险的巨大担忧。在这项研究中，我们通过检查交叉注意力机制与记忆现象的关系，提供了一种新的视角来理解这一现象。我们揭示了在记忆过程中，交叉注意力倾向于不成比例地关注特定标记的嵌入。扩散模型对这些标记嵌入进行了过度拟合，记住了相应的训练图像。为了阐明这一现象，我们进一步确定并讨论了与记忆相关的十分内在发现的交叉注意力。基于这些见解，我们提出了一种创新方法来检测和减轻扩散模型中的记忆现象。我们提出的方法的优势是在保留生成图像质量的同时不会影响这些模型的训练或推理过程的速度。

    Mar, 2024

  • 关于训练样本记忆的研究：大规模竞赛生成模型评测的经验教训

    通过设计和部署生成建模竞赛来批判性地评估能够被轻松操纵的启发式度量标准，在竞赛中，我们收到了超过 11,000 个提交的模型，并提出了新的度量标准来检测意图记忆 (MiFID)。我们进一步检查了竞赛中表现最好的 1000 个模型的代码，并手动标记了不同形式的记忆，发现非故意记忆是一个严重而普遍的问题。

    Jun, 2021

  • 参数高效微调：跨应用全面分析

    评估了 Parameter Efficient Fine-Tuning 方法在深度学习中的有效性，以减轻计算负担、提高训练速度和降低内存使用，从而推动深度学习的更广泛应用和模型优化的创新。

    Apr, 2024

  • 文本到图像扩散模型中的记忆化分析实践

    对文本引导的图像生成模型进行了记忆化分析，提出三个必要条件进行定量分析，并利用反演技术验证目标图像的安全性，同时对稳定扩散模型进行了有效性实验证明。

    May, 2024

  • 扩散模型中的记忆化

    扩散模型是近年来引起重要研究兴趣的高质量样本生成方法，我们的研究旨在深入理解扩散模型的记忆行为，包括有效模型记忆的定义与影响因素的量化分析。我们的实证研究发现数据分布、模型配置和训练过程等因素对记忆行为有重要影响，并且在扩散模型中，将训练数据与随机标签进行关联显著触发记忆行为。这对扩散模型的使用者具有实际意义，并为深度生成模型的理论研究提供了线索。

    Oct, 2023

  • 走向无需记忆的扩散模型

    通过使用针对重复图像和标题、高度特定用户提示的三种指导策略的新颖框架 Anti-Memorization Guidance（AMG），我们成功实现了在生成高质量图像和文本对齐的同时，消除了训练数据的记忆化问题。AMG 还具备创新的自动检测系统，能够在推断过程的每个步骤中检测潜在的记忆化，并允许有选择地应用指导策略，以最小程度地干扰原始采样过程，从而保留输出的实用性。我们将 AMG 应用于预训练的去噪扩散概率模型（DDPM）和稳定扩散，在各种生成任务中取得了成功，结果表明 AMG 是迄今为止第一种能够成功消除所有记忆化实例，对图像质量和文本对齐几乎没有或只有轻微影响的方法，这得到了 FID 和 CLIP 分数的证明。

    Apr, 2024

  • 扩散模型中的记忆图像共享一个可定位和删除的子空间

    大规模的文本到图像扩散模型在从文本输入中生成高质量图像方面表现出色，然而研究表明它们倾向于记忆和复制训练数据，引起了版权侵犯和隐私问题。本文针对扩散模型中的记忆问题，通过剪枝特定子空间的权重提出了一种后处理方法，避免了破坏训练或推理过程，从而展示了一个实用且全面的解决记忆问题的新途径。同时展示了经剪枝的模型对于训练数据提取攻击的鲁棒性，揭示了新的解决记忆问题的可能性。

    Jun, 2024

  • FairTune: 优化参数高效微调用于医疗图像分析中的公平性

    在医学诊断等伦理敏感应用领域，以鲁棒的群体公平性训练模型至关重要。尽管有越来越多的研究旨在减少人工智能中的人口偏差，但这个问题仍然具有挑战性。公平性的泛化差距是这个挑战的原因之一：高容量的深度学习模型几乎可以完美地拟合所有训练数据，从而在训练过程中也表现出完美的公平性。在这种情况下，偏差仅在测试时出现，因为泛化表现在不同的子群体之间有差异。这激发了我们从双层优化的角度来看待公平学习：根据验证公平性来优化学习策略。具体而言，我们考虑采用适应预训练模型到下游医学图像任务的参数高效微调（PEFT）技术的高效工作流。在更新更多参数以更好地适应感兴趣的任务与更新更少参数以减少泛化差距之间存在权衡。为了处理这个权衡，我们提出了一个框架 FairTune，以优化与公平性相关的 PEFT 参数的选择。我们经验证明，FairTune 在一系列医学图像数据集上能够提高公平性。

    Oct, 2023