Dec, 2022

选择性遗忘：关于在感染木马的机器学习模型中高效、高保真、盲目地抑制后门效应

PDF
TL;DR本篇论文提出了一种名为 SEAM 的技术，能够在少量干净数据的情况下迅速进行已植入后门的模型的遗忘，从而使主要任务得到恢复，并在图像处理和自然语言处理任务上进行了实验验证。
发现论文，激发创造
  • 选择性遗忘：深度生成模型中遗忘的连续学习方法

    本文介绍了一种称为 Selective Amnesia 的方法，它可以被应用于条件变分似然模型，以进行控制性遗忘来避免模型生成有害、误导或不合适的内容。实验表明，这种方法在不同的模型上都能很好地工作。

    May, 2023

  • 针对连续学习者的敌对后门攻击：有针对性地遗忘和制造虚假记忆

    本文探究 EWC 算法对抗恶意攻击的漏洞，发现通过在训练中引入微小的错误信息，恶意攻击者能够逐步地、故意地让模型遗忘数据，从而掌控模型。我们展示了针对 MNIST 数据集不同变种的后门攻击，并证明只需要在不到 1% 的训练数据中注入恶意样本，即可轻松破坏神经网络的记忆。

    Feb, 2020

  • 远程消除后门：去除联邦学习中的痕迹

    该文提出了一种基于机器遗忘的方法，使得攻击者可以有效地去除联邦学习中注入的后门，该方法在保证集中模型性能的同时，防止不相关信息的过度遗忘，并通过图像分类方案的全面评估证明了其在多种攻击情境下有效去除后门。

    Apr, 2023

  • 通过机器遗忘进行的后门攻击

    近年来，由于深度学习研究和应用的快速发展，人工智能的安全问题变得越来越突出。在这项工作中，我们提出了一种基于机器反学习的黑盒后门攻击方法，通过精心设计的样本对训练集进行增强，然后利用取消学习请求来逐步激活隐藏的后门。我们还提出了两种方法来检测或减轻这种恶意消除学习请求，实验证明：我们的攻击可以成功植入后门到模型中，而分散处理增加了攻击的难度；我们的检测算法能够有效识别减轻样本，而分散处理降低了我们的检测算法的有效性。

    Sep, 2023

  • 去学习后门威胁：通过本地令牌去学习增强多模态对比学习的后门防御

    不同模态对比学习在构建高质量特征方面具有很大的潜力，但其开放性意味着可能遭受后门攻击。本文从模型遗忘的角度探讨了一种防御机制，即通过构建一小组有毒样本，迅速消除后门威胁。实验结果表明，该方法不仅能保证攻击的成功率最小化，还能保持模型的高准确性。

    Mar, 2024

  • 通过选择性突触减衰实现快速机器反学习而无需重新训练

    机器遗忘能力对于遵守数据隐私法规以及删除有害、被操控或过时信息变得越来越重要。本研究提出了一种名为选择性突触阻尼（SSD）的新型机器遗忘方法，该方法以快速、高性能的方式进行遗忘，且不需要长期存储训练数据。该方法在一系列实验中与现有的遗忘方法进行了对比，结果显示 SSD 的性能与基于重新训练的后续处理方法相当，证明了重新训练后续遗忘方法的可行性。

    Aug, 2023

  • 元学习先验在神经网络中减缓灾难性遗忘

    本文提出了一种基于元学习的训练方式，通过序贯地训练神经网络来缓解深度学习中存在的灾难性遗忘问题。在此基础上，提出了 SeqFOMAML 算法，并在 Omniglot 和 MiniImageNet 上的分类任务数据集上进行了验证。

    Sep, 2019

  • 数据高效后门攻击

    本文提出了一种基于过滤和更新策略的深度神经网络反向攻击样本优化方法，从而提高了毒化数据的效率。通过在 CIFAR-10 和 ImageNet-10 数据集上的实验结果验证了该方法的有效性。

    Apr, 2022

  • 通过集群激活屏蔽消除自监督学习的后门

    提出了一种通过集群激活屏蔽和新颖的 PoisonCAM 方法来消除自我监督学习背门攻击的痕迹，并在 ImageNet-100 数据集上达到 96% 的背门触发器检测准确率。

    Dec, 2023

  • 自监督学习的后门攻击

    该研究探讨了对于基于无监督大规模未标注数据的自监督学习方法的后门攻击，提出了通过知识蒸馏的防御方法，并在实验中取得了成功。

    May, 2021