针对连续学习者的敌对后门攻击：有针对性地遗忘和制造虚假记忆

Feb, 2020

针对连续学习者的敌对后门攻击：有针对性地遗忘和制造虚假记忆

Targeted Forgetting and False Memory Formation in Continual Learners through Adversarial Backdoor Attacks

Muhammad Umer, Glenn Dawson, Robi Polikar

TL;DR本文探究 EWC 算法对抗恶意攻击的漏洞，发现通过在训练中引入微小的错误信息，恶意攻击者能够逐步地、故意地让模型遗忘数据，从而掌控模型。我们展示了针对 MNIST 数据集不同变种的后门攻击，并证明只需要在不到 1% 的训练数据中注入恶意样本，即可轻松破坏神经网络的记忆。

Abstract

artificial neural networks are well-known to be susceptible to catastrophic forgetting when continually learning from sequences of tasks. Various continual (or "incremental") learning approaches have been proposed to avoid catastrophic forgetting, but they are typically adversary agnos

artificial neural networks catastrophic forgetting continual learning elastic weight consolidation adversarial attack

发现论文，激发创造

脑洗：一种用于忘记的连续学习中的中毒攻击

BrainWash 是一种新颖的数据污染方法，通过向连续学习模型添加 BrainWash 噪声，能够在不接触以前任务数据的情况下使模型遗忘先前学习的任务，从而破坏连续学习模型的性能。

Nov, 2023

模型更新过程中的灾难性遗忘

本文论述了如何在更新神经网络模型时减少深度学习模型遗忘前期知识的问题，从而减少新模型的训练成本，并介绍混合少量历史数据的数据彩排和弹性加权差异等方法以提高整体准确度。

Jun, 2023

高效的非回忆式零遗忘连续学习：自适应权重调节

通过创建每个任务的任务特定调制参数来实现，我们的方法试图在确保不遗忘的同时，最大化新任务的性能。通过全面的实验评估，我们的模型在获取和保留对其他多任务模型而言困难的新任务方面表现出卓越的性能，从而强调了我们的方法在防止灾难性遗忘并适应新任务的获取方面的功效。

Nov, 2023

对手感知的持续学习

本文提出了一种对抗背景攻击的新型防御性框架，该框架利用了攻击者隐藏后门模式的能力，提出了学习一个更加可感知（更强大）的模式以抵抗攻击的思想，同时通过使用多种连续学习基准数据集来证明其有效性。

Apr, 2023

对抗性鲁棒基于记忆的持续学习器

对记忆型持续学习算法的对抗鲁棒性进行研究，提出了一种新的对抗鲁棒记忆型持续学习方法，通过调整数据的逻辑值来减轻敌对样本导致的过去信息遗忘，并通过梯度选择机制克服有限存储数据导致的梯度混淆，实验结果表明该方法在对抗数据上取得高达 8.13% 的更高准确性。

Nov, 2023

针对增量学习器的后门攻击：一个实证评估研究

本文实验证明了增量学习算法在处理时间序列中存在可利用的后门攻击，在多个学习场景中，攻击者可以通过污染极小部分的数据，影响包括先前的未知任务和后续任务，同时提出了通过激活聚类的防御机制，用于检测和减轻潜在的安全风险。

May, 2023

神经网络中的灾难性遗忘测量

本文介绍了 5 种减轻神经网络灾难性遗忘的机制（规则化，合成，彩排，双重记忆和稀疏编码）并提供了新的指标和基准来直接比较它们，实验结果表明，这些机制对于实现最佳性能而言是至关重要的，但难以完全解决灾难性遗忘问题。

Aug, 2017

基于提示的持续学习中的后门攻击

基于提示的方法在连续学习中为数据隐私问题提供了前沿解决方案，但在面向多个数据提供方且禁止长期存储私人用户数据的情景中，其出色的记忆能力可能成为双刃剑，因为它可能在从私人用户数据中学习时无意识地保留注入的有毒知识。本文针对这一问题，揭示了连续学习面临的一个潜在威胁：后门攻击，该攻击在特定触发器存在时驱动模型追随预设的对抗目标，在处理干净样本时依然表现正常。我们指出了对增量学习者执行后门攻击面临的三个关键挑战，并提出相应的解决方案：（1）可传递性：我们使用一个替代数据集，并操纵提示选择，将后门知识转移到其他数据提供方的数据上；（2）弹性：我们模拟受害者的静态和动态状态，确保后门触发器在强烈的增量学习过程中保持稳健；（3）真实性：我们应用二元交叉熵损失作为反作弊因素，防止后门触发器退化为对抗性噪声。大量的实验验证了我们的连续后门框架，在各种基准数据集和连续学习者上取得了高达 100％的攻击成功率，进一步的消融研究证实了我们贡献的有效性。

Jun, 2024

差分隐私继续学习

研究提出一种基于变分推理的差分隐私连续学习框架，该框架利用旧数据的差分隐私生成模型估计当前模型下旧数据的可能性，以解决机构删除历史数据的隐私问题所导致的神经网络记忆降解问题。

Feb, 2019

选择性遗忘：关于在感染木马的机器学习模型中高效、高保真、盲目地抑制后门效应

本篇论文提出了一种名为 SEAM 的技术，能够在少量干净数据的情况下迅速进行已植入后门的模型的遗忘，从而使主要任务得到恢复，并在图像处理和自然语言处理任务上进行了实验验证。

Dec, 2022