基于梯度的联合学习中的最大知识正交重构

Oct, 2023

基于梯度的联合学习中的最大知识正交重构

Maximum Knowledge Orthogonality Reconstruction with Gradients in Federated Learning

Feng Wang, Senem Velipasalar, M. Cenk Gursoy

TL;DR通过一种新的分析方法，最大限度地保护隐私，同时从客户端的梯度更新中高效而不引人注目地重建输入图像，以弥补现有方法在批量大小较大时的图像质量较差，从而引起了对联邦学习隐私保护的进一步研究的重视。

Abstract

federated learning (FL) aims at keeping client data local to preserve privacy. Instead of gathering the data itself, the server only collects aggregated gradient updates from clients. Following the popularity of

federated learning privacy vulnerability reconstruction privacy protection

发现论文，激发创造

面向联邦学习的通用深度泄露

该研究论文研究了联邦学习中的数据隐私问题，提出了一种从共享梯度或权重中恢复训练数据的方法，并使用方法在 CIFAR-10 和 ImageNet 等图像基准上进行了实验，超过了现有的 GradInversion 技术。

Oct, 2021

联邦学习中的最小模型结构分析用于输入重构

本文研究了联邦学习中关于隐私泄露的问题，展示了神经网络梯度下降只需知道梯度即可重构输入数据的理论成果，并提出了一些稳定性和速度上的优化方法。通过实验验证和不同数据集的比较，我们的方法最大限度的提升了联邦学习中隐私保护的能力。

Oct, 2020

保持特异性的联邦学习用于医学磁共振图像重建

本文提出了一种特异性保存的联邦学习算法 (FedMRI)，通过将 MR 重构模型分为全球共享的编码器和客户机特定的解码器，同时在频率空间和图像空间执行，可以在不牺牲客户机特定信息的前提下提高全球模型的泛化能力，在多机构数据上取得了最接近真实值的重建结果，并且优于现有的联邦学习方法。

Dec, 2021

SPEAR：联邦学习中批量的精确梯度反演

提出了第一个可以准确重建批量大小为大于 1 的全批量的算法，并通过 ReLu 诱导的梯度稀疏性来过滤错误样本，具有高效的 GPU 实现，能够准确恢复小于 25 个元素的批量，适用于大型网络。

Mar, 2024

强化优化的时间梯度反转攻击

本文介绍了一种名为 TGIAs-RO 的新型 Gradient Inversion Attacks 攻击方式，采用多重时间梯度来恢复本地客户端保留的私有数据，能够有效克服瓶颈，提高重构性能和鲁棒性，同时启发了更多关于联邦学习中隐私保护方法的探索。

Jun, 2023

反演梯度 —— 联邦学习隐私保护的易破性探究

本文研究联邦学习中参数梯度共享机制的安全性，并通过实证研究表明，在计算机视觉领域，即使对多个迭代或多个图像进行梯度平均处理，也无法保护用户隐私。

Mar, 2020

带有生成式图像 prior 的梯度反演

通过利用预先训练的生成模型，本文探究了在缺乏先前知识的情况下可以从 Federated Learning 训练过程中看到的一系列梯度中学习先验知识的可能性。实验证明这种先验知识可以被轻易违反隐私，从而强烈建议在 FL 中需要采用额外的机制来防止隐私泄露。

Oct, 2021

个性化在线联邦学习的多核方法

基于多核学习的在线非线性函数逼近，通过联邦学习在分布在不同客户端之间的数据上训练多核模型；提出一种算法框架，允许客户端以可负担的通信成本与服务器进行通信，并利用随机特征近似提出可扩展的在线联邦多核学习算法。实验证明，与其他在线联邦核学习算法相比，该算法具有显著优势。

Nov, 2023

好奇心放任时：联邦学习并不具备隐私性

在联邦学习中，通过使用陷阱权重进行数据重建攻击，甚至可以从梯度中恢复用户数据，从而破坏了其看似隐私保护的优势。

Dec, 2021

使用梯度混合策略增强联邦学习中的隐私保护

本文探究了几个神经网络设计决策如何防御梯度反演攻击，提出重叠梯度可以在高度易受攻击的全连接层上提供数值抵抗，并通过合适的损失函数和相同标签的批处理最大程度地混合梯度，从而避免了数据泄露的风险，并提出了一个基于绝对变异距离的信息泄露连续统计，最终通过经验结果验证所提出的防御策略对信息恢复有一定的应用。

Apr, 2022