Jan, 2024

对比反学习：机器反学习的对比方法

PDF
TL;DR我们提出了一种对比遗忘框架，利用表示学习的概念，从而更有效地消除一部分训练样本（即遗忘样本）对经过训练的模型产生的影响。通过将遗忘样本的嵌入与其余样本进行对比，使其远离原始类别并被拉向其他类别，通过直接优化表示空间，有效地消除了遗忘样本的影响，同时保持了从其余样本学习到的表示。在各种数据集和模型上进行的实验证明，与最先进的算法相比，对比遗忘实现了最佳的遗忘效果和效率，同时性能损失最小。
发现论文，激发创造
  • 对比学习中的机器去学习

    我们介绍了一种基于梯度约束的新方法，用于有效实现机器遗忘，无需大量训练周期和仅需要标识待遗忘数据，该方法在对比学习模型和监督学习模型上表现出色，展示了其在各种学习范式中的多功能性和适应性。

    May, 2024

  • 图像到图像生成模型的机器反学习

    提出了机器遗忘在图像生成模型中的普适框架，通过计算高效的算法，能够在保留样本上几乎不影响性能，同时有效地从遗忘样本中删除信息，而且不依赖保留样本的可用性，符合数据保留政策。

    Feb, 2024

  • 机器遗忘：综述

    通过分类和总结现有的机器遗忘技术的特点，本文综述了机器遗忘技术的关键理念，并讨论了其面临的挑战和未来的研究机会。

    Jun, 2023

  • 机器取消学习：解决方案与挑战

    机器遗忘是一项关键技术，用于选择性地移除训练数据点对训练模型的影响。本文提供了机器遗忘研究的全面分类和分析，并回顾了最新的解决方案，讨论了其优势和限制，并提出了未来的发展方向，以推动机器遗忘作为一项必要的可信和自适应机器学习能力。

    Aug, 2023

  • 机器遗忘：一项全面调查

    该研究综述了现有的机器去学习方法，系统地分类并讨论了其差异、联系和开放问题，包括集中式去学习、分布式和不规则数据去学习、去学习验证以及隐私和安全问题，并提出了潜在的研究方向。

    May, 2024

  • 上下文学习中的不可学习算法

    机器去学习是一项理想的操作，然而实现精确的去学习是具有挑战性或低效的，这篇论文关注于大型语言模型的任务适应阶段的高效去学习方法，并提供了一种算法来选择少量训练样本进行任务适应，最终得出在上下文学习方面比微调方法更有优势的结论。

    Feb, 2024

  • 数据集精炼驱动的机器遗忘

    改进机器遗忘，提出图像分类的数据集精简技术和创新性遗忘方案，平衡隐私保护、实用性和效率，并运用于抵御成员推理和模型逆推攻击，并去除精简模型中的数据以快速训练任何模型。

    Jan, 2024

  • 如何应对忘却困难问题

    机器遗忘是从训练模型中删除某个子集（即 “遗忘集”）的效果，而不损害模型的效用，例如遵守用户要求删除他们的数据，或删除错误标记、被污染或其他有问题的数据。本文通过调查两个影响遗忘难度和算法性能的关键因素，发现基于这些因素的遗忘集评估揭示了先进算法的新行为，从而改善了顶级的遗忘算法。

    Jun, 2024

  • 学习如何忘却：机器遗忘调查

    该调查提供了机器遗忘技术的简明评估，概述了准确和近似方法、可疑攻击和验证方法，并比较了每种方法的优点和局限性，评估了它们的性能，突出了挑战性的需求。提供强大的非 IID 删除模型以缓解公平性问题，并指出该领域未来的研究方向，旨在为寻求在 ML 系统中提供隐私和平等的研究人员和从业者提供有价值的资源。

    May, 2023

  • 机器遗忘综述

    本文旨在对机器学习模型中 “遗忘特定数据” 的概念、场景、方法和应用进行综合性探讨，并为研究人员和从业人员提供包括设计标准和算法在内的全面资源，以帮助创新隐私技术和提醒相关研究领域存在的问题。

    Sep, 2022