- 人工智能机器人中数字孪生系统的隐私攻击综述
通过整合人工智能 / 机器学习(AI / ML)和数字孪生(DT)技术,工业 4.0 见证了复杂机器人的崛起。本文调查了针对 AI 和 DT 模型启用机器人的隐私攻击。讨论了 ML 模型的渗透和数据泄露,以及从一阶模型(如基于物理的模型)中 - 高退训比例下的最小梯度相关性机器反学习
Mini-Unlearning 是一种轻量级、可扩展的方法,通过最小的一部分历史梯度以及收缩映射来有效地实现高比例的 machine unlearning,提高模型准确性并增强对隐私攻击的抵抗力。
- 针对图神经网络的链接窃取攻击的大型语言模型
利用大型语言模型在图神经网络中进行链接窃取攻击,通过多数据集微调实现攻击性能的显著提升,使得链接窃取攻击更适用于实际场景。
- 基于 LLM 的推荐系统中的隐私保护:最新进展与未来发展方向
最近,大语言模型(LLMs)已经与传统的推荐模型相结合,以提高推荐性能。然而,尽管大多数现有的研究都集中在提高模型性能方面,但隐私问题只得到了相对较少的关注。在本文中,我们对基于 LLMs 的推荐系统中的隐私问题进行了综述,将其分为隐私攻击 - 联邦学习隐私:攻击、防御、应用和政策环境 - 一项调研
深度学习和联邦学习是当前研究的重点,其中涉及隐私保护技术、隐私攻击以及隐私法规的探讨。
- 隐私保护的数据增强与机器遗忘实现的去偏移
我们提出了一种有效的数据增强和机器遗忘的组合方法,可以减少数据偏差并提供对已知攻击的可证明防御。具体而言,我们利用基于扩散的数据增强来维护训练模型的公平性,并利用多分片遗忘来从机器学习模型中删除原始数据的识别信息,以保护隐私免受攻击。通过对 - 联邦学习隐私攻击效率研究
在这项研究中,我们从效率的角度研究了联邦学习中的隐私攻击,并提出了一种提高联邦学习中隐私攻击效率的框架(EPAFL)。通过系统评估代表性的联邦学习隐私攻击的计算成本,我们发现有很高的优化效率的潜力。我们还提出了三种早停技术来有效地减少这些隐 - CVPR红队测试分段一切模型
通过对城市道路仪表盘图像应用恶劣天气条件和雨滴,测试了细分任何模型在多个挑战性任务中的影响,通过诸多测试方法和分析表明需要加强图像细分基础模型的安全措施。
- 隐私保护模型解释的调查:隐私风险、攻击和对策
解释性人工智能在隐私保护方面的攻击和对策进行了细致的调查和分析,发现了一些隐私泄漏的原因,并提出了未解决的问题和前景研究方向。
- 六级隐私:金融合成数据的框架
合成数据在金融应用中日益重要,除了提供改进的金融建模和更好的测试程序之外,它也带来了隐私风险。本文引入了一个 “级别” 隐私层次结构,用于分类合成数据生成方法和它们提供的逐步改进的保护措施,以评估隐私保护的程度。同时,我们介绍了金融合成数据 - 主题建模中的成员推断攻击和隐私
最近的研究表明,大型语言模型容易受到侵犯隐私的攻击,推断出训练数据的某些方面。然而,目前尚不清楚是否简单的生成模型(如主题模型)具有类似的弱点。本文提出了一种针对主题模型的攻击方法,可以自信地识别潜在狄利克雷分布中的训练数据成员。我们的结果 - 潘多拉的白箱:开放式 LLM 中训练数据泄露的增加
本研究对开源大型语言模型的隐私攻击进行了系统研究,提出了威胁预训练和微调模型的成员推断攻击方法,并展示了近乎完美的攻击效果,强调了在进行高度敏感数据的微调和部署之前应当十分谨慎。
- 基于模型生命周期的垂直联邦学习中隐私威胁与防御调查
综述了垂直联邦学习中的隐私攻击和防御方法,提供了攻击和防御的分类方法,并讨论了未来的研究方向和挑战,为研究人员提供了资源,为从业者在机器学习模型的生命周期中保护数据隐私提供明确指导和可行的见解。
- 双重阻挠:利用迁移学习和随机化来阻止仅标签成员推导攻击
使用 Transfer Learning(TL)和随机化相结合的 Double-Dip 方法,通过降低过拟合 DNN 对隐私攻击的脆弱性,显著提高非成员的分类准确性,以及减少标签推理攻击的成功率。
- FedQV:在联邦学习中利用二次投票
提出了 FedQV,这是一个基于二次投票方案的新聚合算法,以解决联邦学习中的投毒攻击问题,并可以与拜占庭 - 鲁棒的隐私保护机制相结合,增强其对投毒和隐私攻击的鲁棒性。
- 在联邦学习中利用语言模型的汇聚层输入:超越梯度和先验的隐私攻击
该研究通过增强攻击方法,在不同批次大小和模型上持续超越之前的最先进结果,提高文本分类任务中的隐私攻击恢复率。
- DPSUR: 通过选择性更新和发布加速差分隐私随机梯度下降
DPSUR 是基于选择性更新和发布的差分隐私训练框架,通过评估每次迭代的梯度并只使用导致收敛的更新,实现了比 DPSGD 更快的收敛速度,实验结果表明 DPSUR 在收敛速度和模型效用方面明显优于之前的研究成果。
- 医学影像联合学习中的隐私风险分析与缓解
提出了综合的医疗数据隐私风险分析和联邦学习(MedPFL)的减轻框架,分析了在联邦学习中保护私人医疗数据的隐私风险,并开发了有效的减轻策略。展示了使用联邦学习处理医学图像的实质性隐私风险,并指出在联邦学习中加入随机噪声的防御方法可能不总是有 - 神经网络本地差分分类隐私验证
神经网络在隐私攻击方面容易受到影响。我们提出了一种新的隐私属性,称为局部差分分类隐私(LDCP),将本地鲁棒性扩展到适用于黑盒分类器的差分隐私设置。利用 Sphynx 算法,我们可以从一小组网络中计算出一个抽象的网络,并直接验证 LDCP。 - PriPrune:修剪联邦学习中的隐私量化和保护
我们对模型剪枝技术在联邦学习中隐私保证进行了第一次研究,推导出了剪枝模型泄露信息量的信息论上界,并通过实验验证了这些理论发现,结果显示我们提出的 PriPrune 算法显著改善了隐私和模型性能的平衡。