Oct, 2023

通过可控机器遗忘解决隐私、效用、效率的三难题

PDF
TL;DRControllable Machine Unlearning (ConMU) 是一个新颖的框架，通过三个关键模块实现了 Machine Unlearning 的可控性，平衡了隐私、模型准确性和运行效率之间的权衡。在多个基准数据集上的综合实验展示了我们的控制机制的稳健适应性，并证明了其优于现有未学习方法的优势。
machine unlearningdata privacy regulationsprivacy-utility-efficiency trade-offcontrollable machine unlearningruntime efficiency
发现论文，激发创造
  • 机器遗忘的研究与分类调查

    该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

    May, 2023

  • 通过抑制样本贡献实现机器消减

    机器遗忘（MU）是遗忘一个经过训练的模型中的数据，这是非常重要的，因为要保护 “被遗忘权”。本文从训练数据和未知数据对模型的贡献之间的基本区别出发，理论上发现输入灵敏度可以近似度量贡献，并实际设计了一个名为 MU-Mis（通过最小化输入灵敏度进行机器遗忘）的算法，以抑制遗忘数据的贡献。实验结果表明，MU-Mis 在很大程度上优于最先进的 MU 方法。此外，MU-Mis 与 MU 的应用更加密切，因为它不需要使用剩余数据。

    Feb, 2024

  • 机器遗忘中的威胁、攻击与防御：一项综述

    机器去学习的关键概念、影响因素和机制的综述，提供对威胁和防御的分类、方法和解决方案的建议，以促进未来研究和实际应用的发展。

    Mar, 2024

  • 基于马尔可夫链蒙特卡罗的机器遗忘：遗忘需要被遗忘的内容

    本文提出了一种基于 MCU 算法的机器学习模型快速且高效地去除数据子集的方案，并利用 MCU 鉴别和标志对模型预测产生影响的对抗或隐私数据。实验表明，MCU 可以从训练数据集的子集中有效地去除模型的影响，并优于现有的算法。

    Feb, 2022

  • 大型语言模型的机器遗忘思考

    探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作为开发生成式 AI 的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了 LLM 遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。

    Feb, 2024

  • 推荐系统的机器反学习：一种洞察

    该论文通过研究机器忘记（MUL）在推荐系统中的应用，讨论了适应性、个性化、隐私和偏见等挑战，并提出了类似传统模型的 MUL 通过根据用户偏好和伦理考量动态调整系统知识的方法。论文批判性地审查了 MUL 的基础知识、实际应用和算法透明度等挑战，并提供了关于 MUL 如何改变推荐、讨论用户信任以及未来研究方向的见解。该文档引导研究人员克服个性化与隐私之间的权衡挑战，鼓励提供满足有针对性的数据删除实际需求的贡献。同时，强调了 MUL 在安全和适应性机器学习中的作用，并提出了推动其发展边界的方法。该论文的创新之处在于对这些方法的局限性进行了探索，为推进该领域的发展提供了激动人心的前景。

    Jan, 2024

  • FRAMU: 基于注意力的联邦加强学习的机器消去

    Machine Unlearning 的一个新颖框架是 Attention-based Machine Unlearning using Federated Reinforcement Learning (FRAMU)，通过自适应学习机制、隐私保护技术和优化策略，解决了数据隐私和模型效率方面的挑战，并在动态数据环境中提供了一个强大的隐私保护解决方案，优化了模型性能。

    Sep, 2023

  • MU-Bench：一个面向机器学习取消任务的多模态多任务基准

    为了解决目前机器遗忘研究领域的不一致性和局限性，研究者们开发了 MU-Bench，这是第一个综合性的机器遗忘基准测试，它统一了删除样本和训练模型的集合，并广泛涵盖了任务和数据模态，包括语音和视频分类， evaluation 结果表明，RandLabel 和 SalUn 是 MU-Bench 上最有效的一般机器遗忘方法，而 BadT 和 SCRUB 能够在删除集合上达到随机性能，此外，研究还分析了一些尚未完全研究的机器遗忘方面，包括可扩展性，参数高效微调和课程学习的影响，以及对数据集偏差的敏感性，MU-Bench 提供了易于使用的工具包，包含了数据集划分，模型和实现，以及一个排行榜，以促进统一和可扩展的机器遗忘研究。

    Jun, 2024

  • 用记忆法码实现单次机器遗忘

    本文提出了一种称为 one-shot MU 的方法，该方法通过向受不良训练数据敏感的模型参数添加噪声来实现目标，利用 Fisher 信息矩阵评估敏感模型参数，而无需使用训练数据来计算该矩阵，进而用类特定的合成信号，即基于助记符代码来避免需要保留训练数据。通过人工和自然数据集的广泛实验，证明了该方法优于现有方法。

    Jun, 2023

  • 朝向自然机器遗忘

    机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。

    May, 2024