- 基于中心的放松学习对抗成员推断攻击
通过提出一种新的架构适应性训练范式(称为 CRL),我们在保持模型的成员一致性的同时,能够提供隐私保护,并且无需或仅需最小程度地损失模型的泛化能力,从而解决了现有防御方法和理想模型之间在性能和部署成本方面的差距。
- 机器学习隐私防护评估误导性的研究
现有经验性隐私评估存在严重陷阱,忽略了差分隐私的可证明保证,无法准确评估最易受攻击样本的隐私泄露,使用弱攻击方法且避免与实际差分隐私基准进行比较。在五个实证隐私防御案例中,我们发现先前的评估低估了隐私泄露量一个数量级。在我们更强的评估方法下 - 基于采样的伪似然函数在成员推断攻击中的应用
该研究提出了一种基于采样的伪似然方法(SaMIA),通过仅使用大型语言模型生成的文本来计算伪似然,以检测数据泄漏,即使没有似然度,SaMIA 的表现与现有的基于似然度的方法相媲美。
- 解释为基础的成员推断攻击的博弈论理解
黑盒机器学习模型的透明性可以通过模型解释来提高,然而这也会被利用来进行会员推断攻击。本文以持续时间随机信号博弈框架为基础,研究了基于解释的阈值攻击,分析了对于一个主动攻击者在不断交互情景下发起会员推断攻击的因素,并提出了数学模型来证明存在一 - 安全聚合无法抵御成员推断攻击
在这篇论文中,我们通过将其视为每个本地更新的局部差分隐私机制,深入探讨了 SecAgg 的隐私影响。我们设计了一种简单的攻击方式,其中一个对抗性的服务器试图在 SecAgg 下的单一训练轮中辨别客户端提交的两个可能的更新向量之一。通过进行隐 - SoK: 降低 Fine-tuned 语言模型对成员推断攻击的脆弱性
自然语言处理模型在最近几年中经历了显著的提升,其上已建立了许多应用。然而,这些应用中许多需要在定制的专有数据集上对通用基础模型进行微调,这些微调数据往往含有个人或敏感信息,增加了隐私风险。本研究首次系统回顾了大型自然语言处理模型在成员推理攻 - 联邦大型语言模型中的隐私泄漏分析
我们的研究对联邦学习在训练大规模语言模型时的隐私分析进行了广泛的研究,从理论和实践角度设计了两种具有理论成功率的主动成员推断攻击,揭示了包括 BERT、RoBERTa、DistilBERT 和 OpenAI 的 GPT 在多个真实世界的语言 - 潘多拉的白箱:开放式 LLM 中训练数据泄露的增加
本研究对开源大型语言模型的隐私攻击进行了系统研究,提出了威胁预训练和微调模型的成员推断攻击方法,并展示了近乎完美的攻击效果,强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。
- 隐私保护的低秩适应性潜态扩散模型
Low-rank adaptation is used to adapt latent diffusion models, but it is vulnerable to membership inference attacks; ther - 每个数据点泄漏了多少隐私?量化数据成员泄漏程度
我们研究了每个数据成员的成员推断攻击(MIAs),攻击者旨在推断固定目标数据是否包含在算法的输入数据集中,并因此侵犯了隐私。我们定义了数据成员的成员泄漏,将其量化为最优对手识别的优势,并显示它取决于目标数据和数据生成分布之间的马氏距离。我们 - PANORAMIA: 无需重新训练的机器学习模型隐私审计
我们介绍了一种针对机器学习模型的隐私审计方案,该方案利用生成的数据作为 “非成员” 进行成员推断攻击,量化了大规模机器学习模型的隐私泄露情况,无需控制训练过程或模型重新训练,只需访问一部分训练数据。为了证明其适用性,我们在多个机器学习领域进 - 大型语言模型是否受到成员推断攻击的影响?
成员推理攻击的大规模评估发现在多种设置中,大型语言模型的预训练数据上的成员推理攻击表现较差,主要原因是庞大数据集和较少训练迭代之间的结合,以及成员和非成员之间存在模糊的边界。我们识别出特定的设置,这些设置中语言模型易受成员推理攻击影响,并证 - 判别对抗解除
自介绍一个新颖的机器遗忘框架,基于最小 - 最大优化范式的既定原理,并 capitalized on strong Membership Inference Attacks(MIA)的能力来促进从训练模型中遗忘特定样本。
- 评估联邦学习中的成员推断攻击和防御
成员推理攻击(MIAs)对联邦学习中的隐私保护构成了日益严重的威胁。本文评估了现有的 MIAs 和相应的防御策略,并提出了使用数据替换作为一种防御策略来实现隐私保护和模型效用之间的最佳平衡。
- 凸凹损失函数降低会员推断的隐私风险
机器学习模型在隶属推断攻击中容易受到攻击,本论文提出了一种新方法 —— 凸 - 凹损失,使得训练损失的分布具有很高的方差,增强对隶属推断攻击的防御能力,并取得了在隐私 - 效用权衡方面的最佳平衡。
- 双重阻挠:利用迁移学习和随机化来阻止仅标签成员推导攻击
使用 Transfer Learning(TL)和随机化相结合的 Double-Dip 方法,通过降低过拟合 DNN 对隐私攻击的脆弱性,显著提高非成员的分类准确性,以及减少标签推理攻击的成功率。
- 可扩展的孤立与编码分片联邦去学习
提出了一种基于分散隔离和编码计算的可扩展联邦遗忘框架,通过将分布式客户端分为多个隔离片段以减少受影响的客户端数量,并通过压缩不同片段之间的模型参数来减少中央服务器的存储开销,最后,在两个典型的学习任务上进行了广泛实验,表明我们的框架在准确性 - 基于学习的难度校准提升成员推断攻击
通过使用基于学习的困难度校准方法,我们提出了一种新的成员推理攻击(Membership Inference Attacks)方法,以显著提高真正正例率(TPR)在低假正例率(FPR)下的性能。
- 分割:使用扩散模型保护击剑会员隐私
通过引入生成模型,我们提出了一种新颖的防御框架来保护深度学习模型免受成员推断攻击,其中我们的防御方法在输入样本上工作,不需要修改目标模型的训练或推理阶段,从而在隐私性和模型效用之间取得新的最佳表现。
- 深度消除学习:快速高效的无训练遗忘控制方法
我们提出了一种新的类别遗忘算法,通过估计待保留和遗忘类别的特征或激活空间,并计算这些空间之间的共享信息,从而实现有效的机器遗忘,并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高,且计算效率提高了约 6 倍。