Sep, 2024

共享LoRA微调扩散模型权重时的风险

HTML
PDF
TL;DR本研究针对共享模型权重时潜在的隐私泄露问题进行探讨。通过设计变分网络自编码器，研究发现对手可以凭借模型权重重建出与私人图像相似的图像。此外，现有的防御方法均无法有效保护私密数据的隐私而不影响微调模型的实用性。
发现论文，激发创造
  • 隐私蒸馏：降低多模态扩散模型的再识别风险

    引入隐私蒸馏框架让文本到图像生成模型传授另一个模型而不暴露可识别数据，可以有效地减少再识别风险，同时维持下游性能。

    Jun, 2023

  • 扩散模型无法学习的示例：保护数据免受未经授权的利用

    本文提出了一种针对Diffusion Model的保护图像的方法，通过生成样本特定的扰动噪声使训练数据难以被Diffusion Model学习，以此保护隐私和版权。

    Jun, 2023

  • 恢复生成模型的预Fine-Tuning权重

    通过使用少量低秩（LoRA）微调模型，我们提出了一种名为Spectral DeTuning的方法，能够恢复出预微调模型的权重，利用这一新的漏洞攻击大规模模型。

    Feb, 2024

  • 隐私保护的低秩适应性潜态扩散模型

    Low-rank adaptation is used to adapt latent diffusion models, but it is vulnerable to membership inference attacks; therefore, a privacy-preserving solution called Stable PrivateLoRA is proposed to mitigate this issue and effectively defend against MI attacks while generating high-quality images.

    Feb, 2024

  • 振荡泄密：微调扩散模型能够放大生成的隐私风险

    扩散模型存在隐私风险，其中Shake-to-Leak( S2L) 是一种新的风险，通过操纵数据以微调预训练模型，可以增强现有的隐私风险，尤其在扩散模型下还比过去认识的更严重。

    Mar, 2024

  • 隐私保护联邦学习中LoRA的改进

    在隐私保护联邦学习中，本文提出了一种高效且有效的低秩适应方法 FFA-LoRA，通过固定非零矩阵并仅微调零矩阵，缓解了数据异构性、差分隐私增强噪声放大以及超参数敏感性等挑战，同时将通信成本减半，并在各种联邦学习任务中展现了更一致的性能和更好的计算效率。

    Mar, 2024

  • 联邦扩散模型的梯度反演

    我们研究了扩散模型在生成高分辨率图像数据方面的应用，使用基于梯度的协作训练方法，我们设计了一种融合优化模型（GIDM），以减小梯度反演攻击的风险，并进一步提出了三重优化模型（GIDM+）来解决隐私保护方面的挑战。通过广泛的评估结果，我们发现共享梯度对于扩散模型的数据保护存在漏洞，即使是高分辨率图像也可以被高质量地重建。

    May, 2024

  • 扩散模型的差分隐私微调

    在此篇文章中，我们提出了一种为私有扩散模型优化参数效率的微调策略，通过减少可训练参数的数量来增强隐私-效用平衡，从而在DP合成方面取得了最先进的性能，在广泛研究的数据集上明显超过了先前的基准（如CelebA-64数据集上的小隐私预算下，仅有0.47M个可训练参数，在先前最先进结果上实现了超过35%的改进）。

    Jun, 2024

  • 扩散模型的高效差分隐私微调

    使用低维适应和差分隐私的参数高效微调扩散模型可生成有用的合成样本，并保证了微调数据的隐私保护。

    Jun, 2024

  • 揭示隐秘：引导个性化扩散模型暴露训练数据

    本研究探讨了针对个性化扩散模型的训练数据泄漏问题，提出了一种名为FineXtract的新框架用于提取细调数据。通过将细调过程视为模型学习分布的逐步转变，该方法有效地从发布的模型中提取出约20%的细调数据，显著提高了数据泄漏的识别能力，解决了版权侵犯的潜在问题。

    Oct, 2024