- 使用联邦式客户端遗忘技术实现 “被遗忘权” 在医学影像领域的应用
医学成像中,我们提出了第一个具有权利删除贡献或影响的联邦客户端遗忘 (FCU) 框架,通过模型对比式取消学习和频率导向的存储保护,实现了在维持训练好的全局模型的通用性的同时顺利遗忘本地知识,避免牺牲性能且保证后续训练速度加快 10-15 倍 - 基于逆 KL 散度的知识蒸馏方法:在大型语言模型中消除个人信息
透过 RKLD 算法,我们在实验中达到了显著的遗忘质量并有效地维护了模型的实用性。
- 使用反事实示例进行去偏机器学习
使用机器学习技术实施被遗忘权以减轻历史行为的持久影响,但经常忽视遗忘过程中的偏见问题。本文通过分析遗忘过程的因果因素,在数据和算法两个层面上减轻偏见,并通过引入干预方法和反事实例子指导遗忘过程,实现了更好的性能评估。
- 随机梯度 Langevin 反学习
将 “被遗忘的权利” 作为用户数据隐私的法律保证变得日益重要。机器遗忘旨在高效地从训练模型参数中去除特定数据点的影响,以便与从头开始重新训练模型时近似相同。本文提出了基于噪声随机梯度下降(SGD)的随机梯度 Langevin 遗忘框架,为凸 - 机械心灵的永恒阳光:机器学习与被遗忘权之不可调和
在人工智能快速发展的时代,必须意识到深度学习模型的结构和大小使得其难以像传统数据库那样删除或遗忘数据,从而探讨了机器学习和被遗忘权之间的实质差距以及其可能带来的深远影响。
- 预训练大型语言模型的机器消除学习
通过对预训练大语言模型的机器遗忘进行综合研究,我们探讨了‘被遗忘权’的概念,重点关注了尚未充分研究的预训练模型领域。通过对来自 arXiv、书籍和 GitHub 的精选数据集进行严格评估,我们建立了机器遗忘性能的鲁棒基准,并证明这些方法的计 - 基于区块链的可信任联合遗忘
提出了一种基于区块链的可信联邦取消学习框架,通过验证数据删除和消除其他客户端模型中存储的数据贡献,实现更好的数据删除效果,从而解决了现有工作中需要中央服务器保留分布式客户端的历史模型参数的问题。
- 联邦在线学习排序中如何遗忘客户?
本文研究了如何有效和高效地移除参与联邦在线学习排序系统的客户端的贡献,同时不损害整体排序模型的有效性,而无需重新训练全局排序模型。关键挑战在于如何衡量模型是否已经从请求删除的客户端 $c^*$ 处学到了贡献,我们通过在四个数据集上的实验证明 - MM通过差分隐私实现机器去学习的严格界限
机器遗忘的研究论文,讨论了训练模型对于 “删除容量” 的影响以及利用差分隐私算法实现机器遗忘的可行性,并提供了当中的上下界。
- 基于随机教师网络的机器去学习方法学
使用随机网络作为教师,可以快速减轻被遗忘数据对模型的影响,实现模型的一次性擦除和重构,并取得与重新训练后模型相同的性能。
- ICML公平的机器遗忘:数据去除与减轻偏差
在本研究中,我们提出了第一个可以证明并高效地消除数据实例并保持公平性的机器遗忘方法。通过理论结果和对真实世界数据集的广泛实验,我们展示了我们的方法在消除数据实例的同时保持公平性的功效。
- 大语言模型时代中的被遗忘权:影响、挑战和解决方案
利用大型语言模型开发的软件系统在实施《被遗忘权》方面面临新的挑战,本文探讨了这些挑战并提供了关于如何采取技术解决方案来实现《被遗忘权》的见解,包括机器遗忘、模型编辑和提示工程。
- ACLKGA: 基于知识差距对齐的通用机器去学习框架
本文使用 KGA 框架,提出了一种文本数据应用的反学习方法,用于解决在 “被遗忘权” 立法中隐私泄露和训练信息保护的问题,实验结果表明 KGA 比基线方法更为有效。
- 关于弥合解释权和被遗忘权之间差距的探讨
研究了算法决策及数据使用的解释权和被遗忘权,并提出了解决两种权利的冲突的算法框架,该框架可以生成对于数据删除请求具有鲁棒性的解释,生成的解释可针对线性模型和某些非线性模型进行最坏情况下的数据删除请求保护,经实际数据集实验表明该框架的有效性。
- 被遗忘还是被公平看待:揭示机器遗忘方法的公平影响
本文旨在研究 “被遗忘权” 对机器学习中的数据删除的影响,提出机器去学习算法用以更有效地从训练模型中删除特定数据,但该方法会从公平性的角度妥协 AI 伦理,因此我们在三个不同的删除策略下进行了实验,并发现 SISA 方法比 ORTR 和 A - 基于采样贝叶斯推理中的知识去除
研究讨论在人工智能领域中实施遗忘权利将会引起难以承受的成本问题,该论文提出了用于 Markov chain Monte Carlo (简称 MCMC)的机器遗忘算法,第一次将 MCMC 反向推导为明确的最优化问题,通过 MCMC 引导函数确 - 使用知识蒸馏进行联邦遗忘
在联邦学习中,提出了一种新颖的联邦遗忘方法,通过从模型中减去历史累积更新来消除客户端的贡献,并利用知识蒸馏方法恢复模型的性能,而不使用来自客户端的任何数据。该方法不依赖于客户端的参与,不对神经网络的类型有任何限制,并引入后门攻击来评估遗忘效 - 贝叶斯推断遗忘
该论文提出了一种基于贝叶斯推断的遗忘框架(BIF),旨在实现被遗忘权利。BIF 框架提供了遗忘算法,可以从学习模型中删除个别数据的影响,并且理论分析证明了算法的泛化性,实验表明了该方法的可行性。
- 遗忘机器学习
该研究论文详细介绍了新颁布的 GDPR 法对机器学习模型隐私保护的重要性,针对深度神经网络模型容易遭受信息泄漏攻击的问题提出了 Unlearning 和 Amnesiac Unlearning 两种数据删除方法,实验证明这两种方法可行、安全 - 机器学习退训对隐私的危害
本文研究机器取消学习对隐私的影响,并通过提出新型会员推理攻击来论证了取消学习会留下数据迹象,从而产生意外隐私风险。我们提出了四种方法来减轻这些隐私风险,包括发布预测标签,温度缩放和差分隐私。