透过梯度:通过梯度反演进行图像批量恢复
本文探究了几个神经网络设计决策如何防御梯度反演攻击,提出重叠梯度可以在高度易受攻击的全连接层上提供数值抵抗,并通过合适的损失函数和相同标签的批处理最大程度地混合梯度,从而避免了数据泄露的风险,并提出了一个基于绝对变异距离的信息泄露连续统计,最终通过经验结果验证所提出的防御策略对信息恢复有一定的应用。
Apr, 2022
本论文研究梯度反转攻击在联邦学习框架下从中间梯度中重建本地训练数据,提出了一种基于分析的算法来同时恢复单输入梯度中的真实增强标签和最后全连接层的输入特征,并证明了该算法对标签恢复的准确性以及对随后的图像重建的好处,强调了分类任务中软标签在梯度反转攻击中值得进一步关注。
Feb, 2024
该论文展示了视觉转换器(ViTs)对基于渐变的反演攻击的易受攻击性。作者提供了一种名为 GradViT 的方法,可以将随机噪声优化为自然图像,以通过迭代过程重建原始数据批次。作者发现 Vision Transformers 由于注意机制的存在,比之前研究过的 CNNs 容易受到攻击。作者的方法具有卓越的定量与定性表现。
Mar, 2022
本文研究联邦学习中参数梯度共享机制的安全性,并通过实证研究表明,在计算机视觉领域,即使对多个迭代或多个图像进行梯度平均处理,也无法保护用户隐私。
Mar, 2020
本研究对 GradInv 攻击进行全面调查,对现有攻击进行分类并总结新兴的对策,从数据隐蔽、模型改进和梯度保护三个方面探讨进一步的研究方向和开放性问题。
Jun, 2022
通过证明在适当选择的步长 / 学习率下使用梯度下降,可以继续使用深度图像先验(Deep Image Prior,DIP)中的对称方法提供的收敛和恢复保证,本文扩展了这些结果,并表明对于两层 DIP 网络,离散化仅通过常数影响过参数化边界,因此梯度流获得的不同保证将适用于梯度下降。
Mar, 2024
该研究论文研究了联邦学习中的数据隐私问题,提出了一种从共享梯度或权重中恢复训练数据的方法,并使用方法在 CIFAR-10 和 ImageNet 等图像基准上进行了实验,超过了现有的 GradInversion 技术。
Oct, 2021
本文研究了梯度反演攻击对联邦学习安全和隐私保护的威胁。针对已有的攻击和防御方法,我们发现某些强假设下的攻击可以通过放宽假设来削弱强度。我们评估了三种防御机制的效果和性能开销,发现在适当的方法组合下,攻击可以更加有效地被抵抗。总体而言,我们提供了潜在的应对策略,并且发现目前最新的攻击已经可以通过稍微降低数据效用的方式来抵御。
Nov, 2021
本文介绍了一种名为 TGIAs-RO 的新型 Gradient Inversion Attacks 攻击方式,采用多重时间梯度来恢复本地客户端保留的私有数据,能够有效克服瓶颈,提高重构性能和鲁棒性,同时启发了更多关于联邦学习中隐私保护方法的探索。
Jun, 2023
提出了第一个可以准确重建批量大小为大于 1 的全批量的算法,并通过 ReLu 诱导的梯度稀疏性来过滤错误样本,具有高效的 GPU 实现,能够准确恢复小于 25 个元素的批量,适用于大型网络。
Mar, 2024