Feb, 2024

ViT-MUL：近期应用于视觉 Transformer 的机器遗忘方法的基线研究

PDF
TL;DR机器反学习（MUL）是机器学习中的一个新兴领域，旨在从训练模型中删除特定训练数据点的学习信息。尽管在计算机视觉领域对 MUL 的研究最近非常活跃，但大部分的工作都集中在基于 ResNet 的模型上。鉴于 Vision Transformers（ViT）已成为主导的模型架构，针对 ViT 进行详细研究 MUL 的工作是必要的。本文在最近的 MUL 算法和数据集上对 ViTs 进行了全面的实验。我们期望我们的实验、消融研究和发现能够为此领域提供宝贵的见解，并激发进一步的研究。
machine unlearningmulmachine learningvitvision transformers
发现论文，激发创造
  • 推荐系统的机器反学习：一种洞察

    该论文通过研究机器忘记（MUL）在推荐系统中的应用，讨论了适应性、个性化、隐私和偏见等挑战，并提出了类似传统模型的 MUL 通过根据用户偏好和伦理考量动态调整系统知识的方法。论文批判性地审查了 MUL 的基础知识、实际应用和算法透明度等挑战，并提供了关于 MUL 如何改变推荐、讨论用户信任以及未来研究方向的见解。该文档引导研究人员克服个性化与隐私之间的权衡挑战，鼓励提供满足有针对性的数据删除实际需求的贡献。同时，强调了 MUL 在安全和适应性机器学习中的作用，并提出了推动其发展边界的方法。该论文的创新之处在于对这些方法的局限性进行了探索，为推进该领域的发展提供了激动人心的前景。

    Jan, 2024

  • 多模式机器遗忘

    Machine Unlearning（机器遗忘）是从已经训练好的模型中删除特定的训练数据样本及其相应的影响，其具有重要的实际价值。本文提出了 MMUL，一种专门设计用于多模态数据和模型的机器遗忘方法，通过关注三个关键性质来制定多模态遗忘任务：（a）解耦模态，（b）保留单模态知识，（c）保留多模态知识。实验证明，MMUL 在区分已删除和剩余数据方面优于现有的基线方法，并且在遗忘后能够大部分保持原始模型的预先存在的知识。

    Nov, 2023

  • MulT: 一种端到端的多任务学习变压器

    我们开发了一种称为 MulT 的端到端多任务学习 Transformer 框架，用于同时学习多个高级视觉任务，包括深度估计、语义分割、重着色、表面法线估计、2D 关键点检测和边缘检测。我们的框架基于 Swin transformer 模型，利用任务特定的基于 Transformer 的解码器头为每个视觉任务进行预测，并采用共享的注意机制模型来建模跨任务的依赖关系。我们在多个多任务基准测试中评估了我们的模型，显示出我们的 MulT 框架优于最先进的多任务卷积神经网络模型和所有各自的单任务 Transformer 模型。我们的实验进一步突出了共享所有任务的注意力的优点，并证明我们的 MulT 模型具有鲁棒性和很好的泛化性能。

    May, 2022

  • 机器遗忘的研究与分类调查

    该论文综述了机器取消学习的最新技术和方法，包括数据删除、扰动和模型更新，并强调了训练数据、资源限制和攻击复杂性等需要解决的挑战。此外，该论文强调了机器取消学习在自然语言处理、计算机视觉和推荐系统中的潜在益处和未来方向，并强调了研究人员和从业者继续探索和完善取消学习技术以确保机器学习模型能够适应不断变化的情况，同时保持用户信任，特别是在涉及大量个人用户数据的各个领域中。

    May, 2023

  • 自我监督视觉 Transformer 训练的实证研究

    本文研究的是计算机视觉中的自监督学习，探究了一些基本组件对自监督 ViT 训练的影响，发现稳定性是一个重要的问题，本文通过案例研究表明了部分成果实际上是不完全的失败，并探讨了当前的积极证据、挑战和开放问题。

    Apr, 2021

  • MU-Bench：一个面向机器学习取消任务的多模态多任务基准

    为了解决目前机器遗忘研究领域的不一致性和局限性，研究者们开发了 MU-Bench，这是第一个综合性的机器遗忘基准测试，它统一了删除样本和训练模型的集合，并广泛涵盖了任务和数据模态，包括语音和视频分类， evaluation 结果表明，RandLabel 和 SalUn 是 MU-Bench 上最有效的一般机器遗忘方法，而 BadT 和 SCRUB 能够在删除集合上达到随机性能，此外，研究还分析了一些尚未完全研究的机器遗忘方面，包括可扩展性，参数高效微调和课程学习的影响，以及对数据集偏差的敏感性，MU-Bench 提供了易于使用的工具包，包含了数据集划分，模型和实现，以及一个排行榜，以促进统一和可扩展的机器遗忘研究。

    Jun, 2024

  • 幕后揭秘：揭示预训练视觉语言模型的秘密

    该论文研究了使用 Transformer 模型的大规模预训练模型在图像与语言（V+L）方面的应用，通过评估和探索内部机制，提供了关于多模式预训练及其注意力头的启示和指导。

    May, 2020

  • 单图像去学习：多模态大型语言模型中高效的机器去学习

    通过建立大规模多模态语言模型（Multimodal Large Language Models）的遗忘模型，研究了 “机器遗忘”（Machine unlearning）中的视觉数据遗忘问题，提出了一种高效的方法 Single Image Unlearning（SIU），通过对单个相关图像进行微调，实现对概念的可视化识别的遗忘。实验证明 SIU 显著优于现有方法，并能够避免入侵式成员推断攻击和越狱攻击。

    May, 2024

  • 朝向自然机器遗忘

    机器遗忘通过从预训练模型中消除已学习的特定训练数据，即遗忘数据，以达到消除知识的目的。当前，现有的机器遗忘方法主要是通过修改遗忘数据的标签，并对模型进行微调来实现。然而，这种学习错误信息的过程是不自然的，并且不希望通过不必要地强化错误信息而导致超过遗忘。为了实现更加自然的机器遗忘，我们将剩余数据中的正确信息注入到遗忘样本中，改变其标签。通过将调整后的样本与其标签配对，模型会倾向于使用注入的正确信息，并自然地抑制应该遗忘的信息。尽管这是一个简单的步骤，但这对于自然机器遗忘来说是一个重要的第一步，并且在大幅减少过度遗忘和提高对超参数的鲁棒性方面表现出色，因此具有实际机器遗忘的潜力。

    May, 2024

  • DeiT III：ViT 的复仇

    本文改进了一种用于训练 Vision Transformer (ViT) 的全监督训练方法，通过仅使用三种数据增强方式，此方法优于之前的全监督训练方法，并且在图像分类、迁移学习和语义分割等任务中表现出色，同时也为 ViT 的自我监督方法提供了更好的基线。

    Apr, 2022