MMJan, 2024

推荐系统的机器反学习：一种洞察

PDF
TL;DR该论文通过研究机器忘记（MUL）在推荐系统中的应用，讨论了适应性、个性化、隐私和偏见等挑战，并提出了类似传统模型的 MUL 通过根据用户偏好和伦理考量动态调整系统知识的方法。论文批判性地审查了 MUL 的基础知识、实际应用和算法透明度等挑战，并提供了关于 MUL 如何改变推荐、讨论用户信任以及未来研究方向的见解。该文档引导研究人员克服个性化与隐私之间的权衡挑战，鼓励提供满足有针对性的数据删除实际需求的贡献。同时，强调了 MUL 在安全和适应性机器学习中的作用，并提出了推动其发展边界的方法。该论文的创新之处在于对这些方法的局限性进行了探索，为推进该领域的发展提供了激动人心的前景。
发现论文，激发创造
  • 机器遗忘的研究与分类调查

    该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

    May, 2023

  • 机器遗忘综述

    本文旨在对机器学习模型中 “遗忘特定数据” 的概念、场景、方法和应用进行综合性探讨，并为研究人员和从业人员提供包括设计标准和算法在内的全面资源，以帮助创新隐私技术和提醒相关研究领域存在的问题。

    Sep, 2022

  • 机器遗忘中的威胁、攻击与防御：一项综述

    机器去学习的关键概念、影响因素和机制的综述，提供对威胁和防御的分类、方法和解决方案的建议，以促进未来研究和实际应用的发展。

    Mar, 2024

  • 大型语言模型的机器遗忘思考

    探索机器遗忘（MU）在大型语言模型（LLMs）领域中的应用，称为 LLM 遗忘。通过维持基本知识生成的完整性且不影响非因果相关信息，旨在消除不良数据影响（例如敏感或非法信息）及相关模型能力，成为 LLMs 生命周期管理中的重要元素，潜在地作为开发生成式 AI 的基础，既安全、安全、可信，又无需完全重新训练的资源高效方法。从概念制定、方法论、度量和应用等方面研究 LLMs 遗忘领域。重点突出现有 LLM 遗忘研究中常被忽视的方面，例如遗忘范围、数据模型交互和多方面功效评估。并在 LLM 遗忘与模型编辑、影响函数、模型解释、对抗训练和强化学习等相关领域之间建立联系。此外，我们还概述了 LLM 遗忘的有效评估框架，并探讨了其在版权和隐私保护以及降低社会技术危害方面的应用。

    Feb, 2024

  • 机器取消学习：解决方案与挑战

    机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

    Aug, 2023

  • 通过可控机器遗忘解决隐私、效用、效率的三难题

    Controllable Machine Unlearning (ConMU) 是一个新颖的框架，通过三个关键模块实现了 Machine Unlearning 的可控性，平衡了隐私、模型准确性和运行效率之间的权衡。在多个基准数据集上的综合实验展示了我们的控制机制的稳健适应性，并证明了其优于现有未学习方法的优势。

    Oct, 2023

  • 多模式机器遗忘

    Machine Unlearning（机器遗忘）是从已经训练好的模型中删除特定的训练数据样本及其相应的影响，其具有重要的实际价值。本文提出了 MMUL，一种专门设计用于多模态数据和模型的机器遗忘方法，通过关注三个关键性质来制定多模态遗忘任务：（a）解耦模态，（b）保留单模态知识，（c）保留多模态知识。实验证明，MMUL 在区分已删除和剩余数据方面优于现有的基线方法，并且在遗忘后能够大部分保持原始模型的预先存在的知识。

    Nov, 2023

  • 传统模型与大型语言模型的机器遗忘：简要调查

    通过提供深入探讨机器消遣技术的定义、分类和评价标准，以及不同环境下的挑战和解决方案，本文对传统模型和大型语言模型上的消遣进行分类和研究，提出了评估消遣效果和效率的方法以及性能测量标准。本文揭示了当前消遣技术的局限性，并强调了全面的消遣评估的重要性，以避免随意的遗忘。该调查不仅总结了消遣技术的关键概念，还指出了其突出问题和未来研究的可行方向，为该领域的学者提供了有价值的指导。

    Apr, 2024

  • 选择性遗忘：推进机器遗忘技术和语言模型评估

    该研究旨在调查机器遗忘（MU），这是一个新兴领域，专注于解决神经模型意外保留个人或敏感数据的问题。本文介绍了一种新的方法，以实现语言模型内的精确选择性遗忘，并提出了两个创新的评估指标：敏感信息提取可能性（S-EL）和敏感信息记忆准确性（S-MA），用于衡量消除敏感信息的有效性。为了加强遗忘框架，提出了一种有效的敏感区域注释方法，包括在线和离线策略。在线选择机制利用语言概率得分确保计算效率，而离线注释则采用基于大型语言模型（LLMs）的强大两阶段过程。

    Feb, 2024

  • 学习如何忘却：机器遗忘调查

    该调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题，并指出该领域未来的研究方向，旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。

    May, 2023