Feb, 2024

纠正机器遗忘

HTML
PDF
TL;DR机器学习模型面对大规模互联网数据集引起的数据完整性挑战，本研究探讨在检测到数据被篡改或错误时模型开发者能够做出的应对措施。我们将“修正机器遗忘”定义为解决训练模型中受未知篡改影响数据的问题，尽管只能知道受影响样本的一个小部分。我们发现修正遗忘问题与传统的注重隐私的遗忘方法有显著不同的要求。我们希望我们的工作能促进对修正遗忘方法的研究，为处理来自于大规模网络训练带来的数据完整性挑战的从业者提供新的策略。
发现论文，激发创造
  • 难以忘怀：基于认证机器遗忘的毒化攻击

    本文研究用户信息的删除和机器去学习概念，阐述了目前保证用户隐私的方法以及可能出现的潜在攻击方式，其中特别探讨了有意设计的训练数据能触发完全重新训练的中毒攻击。

    Sep, 2021

  • 学习如何忘却：机器遗忘调查

    该调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。提供强大的非IID删除模型以缓解公平性问题，并指出该领域未来的研究方向，旨在为寻求在ML系统中提供隐私和平等的研究人员和从业者提供有价值的资源。

    May, 2023

  • 机器取消学习：解决方案与挑战

    机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

    Aug, 2023

  • 通过细粒度模型参数扰动进行机器反学习

    机器遗忘方法针对用户隐私保护目标有重要作用，但会带来大量计算成本。我们提出了细粒度 Top-K 和 Random-k 参数扰动的不精确机器遗忘策略，以在保持可计算性开销的同时满足隐私需求。我们还引入了评估机器遗忘效果和模型泛化能力的新指标——遗忘率和记忆保留率。通过实施这些创新技术和指标，我们在不显著牺牲模型性能的前提下实现了高效的隐私保护，并提供了一种评估遗忘程度的新方法。

    Jan, 2024

  • 机器反学习：分类、度量、应用、挑战与前景

    数字个人数据是一项重要的资产，机器遗忘权利要求模型提供者根据用户的请求删除用户数据，机器去学习涉及到中心化和分布式模型下的去学习算法、近似去学习、验证和评估指标、不同应用中的去学习挑战和解决方案、以及针对机器去学习的攻击，期望通过全面调研描绘机器去学习领域的最新进展，并为未来研究提供方向。

    Mar, 2024

  • 机器遗忘中的威胁、攻击与防御: 一项综述

    机器去学习的关键概念、影响因素和机制的综述，提供对威胁和防御的分类、方法和解决方案的建议，以促进未来研究和实际应用的发展。

    Mar, 2024

  • 机器遗忘: 一项全面调查

    该研究综述了现有的机器去学习方法，系统地分类并讨论了其差异、联系和开放问题，包括集中式去学习、分布式和不规则数据去学习、去学习验证以及隐私和安全问题，并提出了潜在的研究方向。

    May, 2024

  • 机器反学习无法消除数据投毒攻击

    我们重新审视了用于大规模深度学习的几种近似机器遗忘方法的功效。虽然现有的遗忘方法在一些评估设置下表现出了有效性，但我们实验证明它们无法消除数据污染的影响，在各种类型的污染攻击和模型中都表现出失败的情况。我们引入了基于数据污染的遗忘评估指标，结果表明需要更广泛的视角来避免对没有可证保证的深度学习机器遗忘程序产生虚假的自信。此外，我们的工作表明尽管遗忘方法在有效消除毒害数据点方面显示出一些迹象且无需重新训练，但目前这些方法还不是“时机已到”，并且相对于重新训练而言带来的好处有限。

    Jun, 2024

  • 从仁慈到恶意：机器遗忘中善意数据的威胁

    通过无差别攻击数据 poising 在机器取消学习中腐蚀模型准确度的弱点，本研究强调了对于机器取消学习中的“数据污染”问题的进一步研究的必要性。

    Jul, 2024

  • 机器去学习的验证是脆弱的

    本研究针对机器学习中的隐私问题，探讨了数据所有者如何通过机器去学习从模型中移除数据。研究发现当前的验证策略存在脆弱性，模型提供者可绕过这些策略继续保留原数据的信息，从而揭示了机器去学习验证的潜在风险与局限性，为未来相关研究指明了方向。

    Aug, 2024