ICCVAug, 2023

GIFD：一种具有特征域优化的生成梯度反转方法

PDF
TL;DR通过逐渐改变优化层，从初始潜在空间到更接近输出图像的中间层，我们基于特征域搜索的梯度反演方法（GIFD）在保护客户隐私的分布式机器学习框架中取得了像素级重建方面的较好结果，并在不同防御策略设置和批次大小下展现了很强的泛化能力。
federated learningprivacygradient inversiongenerative adversarial networksout-of-distribution
发现论文，激发创造
  • 联邦扩散模型的梯度反演

    我们研究了扩散模型在生成高分辨率图像数据方面的应用，使用基于梯度的协作训练方法，我们设计了一种融合优化模型（GIDM），以减小梯度反演攻击的风险，并进一步提出了三重优化模型（GIDM+）来解决隐私保护方面的挑战。通过广泛的评估结果，我们发现共享梯度对于扩散模型的数据保护存在漏洞，即使是高分辨率图像也可以被高质量地重建。

    May, 2024

  • 带有生成式图像 prior 的梯度反演

    通过利用预先训练的生成模型，本文探究了在缺乏先前知识的情况下可以从 Federated Learning 训练过程中看到的一系列梯度中学习先验知识的可能性。实验证明这种先验知识可以被轻易违反隐私，从而强烈建议在 FL 中需要采用额外的机制来防止隐私泄露。

    Oct, 2021

  • 针对忠实重建和可编辑性的领域内 GAN 逆转

    通过在原始潜在空间中规范反转代码，本研究提出了领域指导编码器和领域正则化优化器，以满足对图像编辑应用的需求，实现了广泛的编辑功能。

    Sep, 2023

  • 频域图像翻译：更逼真的照片，更好的保持身份

    该研究提出了一种基于频域的图像翻译框架（FDIT），能够保留源领域的标志性特征，生成视觉质量更优且类真实的图像。

    Nov, 2020

  • 加速迭代扩散反演的有效真实图像编辑

    使用生成对抗网络 (GAN) 和去噪扩散隐式模型 (DDIM) 的加速迭代扩散反演方法 (AIDI) 在图像编辑任务中取得了更高的重构准确性和更好的稳健性。

    Sep, 2023

  • 对抗性训练的向导插值方法

    本文提出了一种 Guided Interpolation Framework （GIF）框架，该框架利用前一轮 epoch 的 meta 信息来引导数据插值，达到提高可攻击性数据的比例从而增强鲁棒性、减少模型各类之间的线性关系、鼓励模型在每个类别簇中不变地进行预测的目的。实验证明，GIF 确实可以在各种 Adversarial Training 方法和各种数据集上增强对抗鲁棒性。

    Feb, 2021

  • 强化优化的时间梯度反转攻击

    本文介绍了一种名为 TGIAs-RO 的新型 Gradient Inversion Attacks 攻击方式，采用多重时间梯度来恢复本地客户端保留的私有数据，能够有效克服瓶颈，提高重构性能和鲁棒性，同时启发了更多关于联邦学习中隐私保护方法的探索。

    Jun, 2023

  • GAN 先验研究的深入探讨：利用中间特征增强模型反演攻击

    利用生成对抗网络增强的中间特征的生成模型反演 (IF-GMI) 方法在多个基准测试中表现出色，特别是在超越分布情景下，达到最先进的结果。

    Jul, 2024

  • 频率空间域随机化 —— 域泛化

    本文提出了一种基于频率空间领域随机化的方法（FSDR），通过将图像分解成不变频率成分（DIFs）和变异频率成分（DVFs）进行随机化，实现了更可控的域随机化过程，并在多个领域泛化任务上展示了优异的分隔性能。

    Mar, 2021

  • 无监督像素级域自适应生成对抗网络

    本文提出了一种基于生成对抗网络的方法，通过在像素空间中学习一种转换方法，将源域图像适应为与目标域相同的样子，以解决渲染图像训练模型泛化性不强的问题。该方法不仅可以生成逼真的样本，而且在许多无监督域适应场景中均优于现有技术，并证明了适应过程对于训练期间未被观察到的物体类别的泛化性。

    Dec, 2016