Jun, 2024

MU-Bench：一个面向机器学习取消任务的多模态多任务基准

PDF
TL;DR为了解决目前机器遗忘研究领域的不一致性和局限性，研究者们开发了 MU-Bench，这是第一个综合性的机器遗忘基准测试，它统一了删除样本和训练模型的集合，并广泛涵盖了任务和数据模态，包括语音和视频分类， evaluation 结果表明，RandLabel 和 SalUn 是 MU-Bench 上最有效的一般机器遗忘方法，而 BadT 和 SCRUB 能够在删除集合上达到随机性能，此外，研究还分析了一些尚未完全研究的机器遗忘方面，包括可扩展性，参数高效微调和课程学习的影响，以及对数据集偏差的敏感性，MU-Bench 提供了易于使用的工具包，包含了数据集划分，模型和实现，以及一个排行榜，以促进统一和可扩展的机器遗忘研究。
machine unlearningmu-benchdeleted samplestrained modelsevaluation
发现论文，激发创造
  • 多模式机器遗忘

    Machine Unlearning（机器遗忘）是从已经训练好的模型中删除特定的训练数据样本及其相应的影响，其具有重要的实际价值。本文提出了 MMUL，一种专门设计用于多模态数据和模型的机器遗忘方法，通过关注三个关键性质来制定多模态遗忘任务：（a）解耦模态，（b）保留单模态知识，（c）保留多模态知识。实验证明，MMUL 在区分已删除和剩余数据方面优于现有的基线方法，并且在遗忘后能够大部分保持原始模型的预先存在的知识。

    Nov, 2023

  • 机器遗忘的研究与分类调查

    该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

    May, 2023

  • 通过可控机器遗忘解决隐私、效用、效率的三难题

    Controllable Machine Unlearning (ConMU) 是一个新颖的框架，通过三个关键模块实现了 Machine Unlearning 的可控性，平衡了隐私、模型准确性和运行效率之间的权衡。在多个基准数据集上的综合实验展示了我们的控制机制的稳健适应性，并证明了其优于现有未学习方法的优势。

    Oct, 2023

  • MultiBench: 多模态表示学习的多尺度基准

    MultiBench 是一个系统性和统一化的基准测试，跨越 15 个数据集，10 种模态，20 种预测任务和 6 个研究领域。MultiBench 提供自动化的端到端机器学习流程，简化和标准化数据加载，实验设置和模型评估。随着大量的实践证明，不同研究领域提出的方法可以改善 9/15 数据集的最先进性能。MultiBench 处理了跨模态一般化，复杂性和健壮性的问题，对于未来研究具有重要的挑战性，包括可扩展性到大规模多模态数据集和对现实缺陷的健壮性。

    Jul, 2021

  • 单图像去学习：多模态大型语言模型中高效的机器去学习

    通过建立大规模多模态语言模型（Multimodal Large Language Models）的遗忘模型，研究了 “机器遗忘”（Machine unlearning）中的视觉数据遗忘问题，提出了一种高效的方法 Single Image Unlearning（SIU），通过对单个相关图像进行微调，实现对概念的可视化识别的遗忘。实验证明 SIU 显著优于现有方法，并能够避免入侵式成员推断攻击和越狱攻击。

    May, 2024

  • MuirBench: 强大多图像理解综合基准测试

    MuirBench 是一个全面的基准测试，侧重于多模式 LLM 的强大的多图像理解能力。MuirBench 由 12 个不同的多图像任务（如场景理解，排序）组成，涉及 10 个多图像关系类别（如多视图关系，时间关系）。通过评估 20 种最新的多模态 LLMs，结果显示即使在表现最佳的模型 GPT-4o 和 Gemini Pro 面对 MuirBench 时也面临挑战，准确率分别为 68.0% 和 49.3%。基于单个图像训练的开源多模态 LLMs 很难推广到多图像问题，准确率低于 33.3%。这些结果凸显了 MuirBench 的重要性，鼓励社区开发能够超越单个图像的多模态 LLMs，并提出未来改进的潜在途径。

    Jun, 2024

  • 通过抑制样本贡献实现机器消减

    机器遗忘（MU）是遗忘一个经过训练的模型中的数据，这是非常重要的，因为要保护 “被遗忘权”。本文从训练数据和未知数据对模型的贡献之间的基本区别出发，理论上发现输入灵敏度可以近似度量贡献，并实际设计了一个名为 MU-Mis（通过最小化输入灵敏度进行机器遗忘）的算法，以抑制遗忘数据的贡献。实验结果表明，MU-Mis 在很大程度上优于最先进的 MU 方法。此外，MU-Mis 与 MU 的应用更加密切，因为它不需要使用剩余数据。

    Feb, 2024

  • 机器遗忘中的威胁、攻击与防御：一项综述

    机器去学习的关键概念、影响因素和机制的综述，提供对威胁和防御的分类、方法和解决方案的建议，以促进未来研究和实际应用的发展。

    Mar, 2024

  • 遗忘而不被遗忘：机器遗忘的改进基准

    机器学习模型存在安全漏洞，包括泄漏关于模型的训练数据的攻击。该研究探讨如何在隐私保护问题中有效应对数据删除需求，通过有效更新已训练模型的机器遗忘算法，以维持模型性能，避免重新训练模型的代价。本文提出了替代性的算法评估方法，通过针对图像识别数据集的实验，对当前机器遗忘算法进行更详细的评估，展示了该领域的最新状况。

    May, 2024

  • 走向机器遗忘基准：面部识别系统中的个人身份遗忘

    机器遗忘是一种重要的工具，用于使分类模型在训练时遗忘特定的数据。我们提出了一种机器遗忘设置，旨在遗忘包含个人隐私的特定实例，同时保持给定模型的原始任务。我们还在我们提出的基准数据集上报告了最先进的机器遗忘方法的性能。

    Nov, 2023