本研究提出了一种名为 TextHide 的方法，它可以在不影响训练效率或准确性的情况下有效地减少分布式或联邦学习中的隐私风险，通过简单地添加加密步骤来防止窃听攻击者恢复私人文本数据，该方法能够与预训练语言模型的微调框架很好地契合，并在 GLUE 基准测试中取得了良好的效果，可以有效抵御共享梯度和表示的攻击，并仅平均准确率降低了 1.9%。

Oct, 2020

本文针对联邦学习系统存在的隐私泄露问题，提出一种学习数据扰动来防止模型逆推攻击的防御策略，实验证明该方法在防御DLG 和 GS攻击的同时能够将数据重构误差提高160倍以上，有效提升联邦学习系统的隐私保护性能。

Dec, 2020

本文针对模型中分布式设备上分布的私密数据进行保护的隐私联邦学习中，训练分词器通常需要使用没有额外隐私预算的方法才能成功进行，而本文提出了一种新方法来训练分词器，保证隐私且在性能上与未经隐私保护的分词器相媲美。

Mar, 2022

本文通过研究NLP模型中的稀有词嵌入，调查了后门攻击的模型毒化的可行性。在文本分类中，不到1%的对手客户端就足以操纵模型输出，而对于一个较简单的数据集，仅需0.1%的对手客户端就足以有效地污染全局模型。此外，我们还提出了一种针对联邦学习方案的技术——梯度集成，它提高了后门性能在我们的所有实验设置中表现出优越性。

Apr, 2022

本文介绍了一种新颖的攻击方法 FILM，用于联邦学习过程中语言模型的训练，成功恢复单句和多句的私有文本数据，并讨论了三种防御方法。

May, 2022

该论文研究联邦学习中的隐私保护，探讨采用梯度指纹攻击跟踪参与者对服务器发送的梯度，以及采用微分隐私进行训练以提供有效防御的可行性。

Sep, 2023

我们介绍了关于从联邦语言模型中泄露隐私敏感用户数据的两个新发现：一是中间轮次的模型快照可能引起比最终训练模型更严重的隐私泄露，二是通过篡改模型的选择权重，可以加剧隐私泄露，并显示了恶意客户端如何在联邦学习中泄露某个其他用户的隐私敏感数据，甚至无需服务器的任何合作。我们的最佳方法提高了成员推理召回率29%，可达到70%的私密数据重构，显然优于现有的攻击方法，其对对手能力有更强的假设。

Oct, 2023

该研究通过增强攻击方法，在不同批次大小和模型上持续超越之前的最先进结果，提高文本分类任务中的隐私攻击恢复率。

Dec, 2023

我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究，从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击，揭示了包括BERT、RoBERTa、DistilBERT和OpenAI的GPT在多个真实世界的语言数据集中存在的重大隐私漏洞，并评估了这些模型在采用最先进的差分隐私机制保护数据时的隐私泄漏情况。

Mar, 2024

本研究解决了联邦学习中隐私攻击有效性的问题，尽管已有多种攻击算法，但是否能在现实环境中有效提取用户私密数据仍不确定。通过对相关文献的分析和在真实联邦学习环境中的实验，我们发现目前的隐私攻击算法在实际应用中难以突破用户数据隐私，这表明隐私攻击的难度超出预期。

Sep, 2024