可靠的经验式机器去学习评估:博弈论视角
该论文提出了一个游戏理论框架,将成员推理攻击(MIAs)与机器遗忘算法的设计整合在一起,从而以对抗性的方式主动地将攻击纳入算法设计中,利用隐式微分限制攻击者的成功,以实现从模型中遗忘特定的训练数据。
Jun, 2024
机器学习模型存在安全漏洞,包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求,通过有效更新已训练模型的机器遗忘算法,以维持模型性能,避免重新训练模型的代价。本文提出了替代性的算法评估方法,通过针对图像识别数据集的实验,对当前机器遗忘算法进行更详细的评估,展示了该领域的最新状况。
May, 2024
开发用于消除模型训练影响的非学习技术,研究了基于反向学习设置的成员推断攻击 (U-MIA),发现不同类别的 U-MIA 强度与基于视觉和语言模型的现有非学习技术所提供的隐私保护高度相关,同时揭示了几种非学习算法对不同训练示例的潜在漏洞,以及保护所有示例的困难和试图适应停止条件的失败。
Mar, 2024
通过引入明确定义和有效的度量标准来解决黑箱取消学习审核任务的挑战,该论文分析了当前近似机器取消学习算法的实用性、韧性和公平性,并旨在将数据遗忘的理论权利转化为可审计的现实。
Mar, 2024
机器反学习(MU)通过从训练模型中删除有关 “遗忘数据” 样本的信息来解决隐私问题。我们质疑使用现有的评估方法是否有效,并提出了一种量化中间特征中关于遗忘数据样本的剩余信息的度量指标,称为信息差异指数(IDI),以更好地评估 MU 方法。IDI 通过高效地分析 DNNs 的内部结构来提供综合评估。
May, 2024
机器遗忘是一项关键技术,用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析,并回顾了最新的解决方案,讨论了其优势和限制,并提出了未来的发展方向,以推动机器遗忘作为一项必要的可信和自适应机器学习能力。
Aug, 2023
自介绍一个新颖的机器遗忘框架,基于最小 - 最大优化范式的既定原理,并 capitalized on strong Membership Inference Attacks(MIA)的能力来促进从训练模型中遗忘特定样本。
Feb, 2024
探索机器遗忘(MU)在大型语言模型(LLMs)领域中的应用,称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息,旨在消除不良数据影响(例如敏感或非法信息)及相关模型能力,成为 LLMs 生命周期管理中的重要元素,潜在地作为开发生成式 AI 的基础,既安全、安全、可信,又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面,例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外,我们还概述了 LLM 遗忘的有效评估框架,并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。
Feb, 2024
该论文综述了机器取消学习的最新技术和方法,包括数据删除、扰动和模型更新,并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外,该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向,并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况,同时保持用户信任,特别是在涉及大量个人用户数据的各个领域中。
May, 2023