CVPRDec, 2020

深度网络中的混合隐私遗忘

PDF
TL;DR本篇文章提出了一种遗忘技术，可以在大规模视觉分类任务中从网络训练的权重中移除一部分训练样本的影响，同时在混合隐私设置中保留核心样本的信息，采用合适的线性逼近替换标准深度网络可以实现相当的精度且达到最前沿的效果。
forgetting techniquesmixed-privacy settingtraining samplesvision classificationdeep networks
发现论文，激发创造
  • 深度网络比样本更细粒度的选择性遗忘

    本文针对深度神经网络中可能被攻击者篡改、包含敏感信息的数据进行了选择性遗忘的研究，提出了一种基于优化方法对遗忘过程进行控制的方法，并通过实验结果验证了其有效性。

    Dec, 2020

  • 深度网络中的选择性遗忘：无尽的网络阳光

    介绍了一种针对深度神经网络的数据遗忘的方法，通过修改权重，使其不再包含特定的训练数据，并且减小了权重中信息泄漏的可能。

    Nov, 2019

  • 超越盒子：清除深度网络中从输入输出观测可获得的信息

    本文介绍了一种消除深度神经网络对训练数据的依赖性的新方法，通过添加与损失梯度共同作用的噪声来实现不断遗忘，同时利用神经切向核的激活和权重动态之间的联系计算信息。

    Mar, 2020

  • 使用少量样本在预训练模型中实现类级遗忘

    我们提出一种新方法，以解决隐私 / 伦理问题所限制的数据集和类别的深度学习模型训练问题。该方法可以通过识别与受限类别高度相关的模型参数并使用有限的可用训练数据从中删除有关受限类别的知识，而不会影响模型对其它类别的预测能力。该方法具有显著的速度优势，并且性能与在完整数据上重新训练的模型相似。

    Oct, 2022

  • 深度消除学习：快速高效的无训练遗忘控制方法

    我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

    Dec, 2023

  • 选择性遗忘：深度生成模型中遗忘的连续学习方法

    本文介绍了一种称为 Selective Amnesia 的方法，它可以被应用于条件变分似然模型，以进行控制性遗忘来避免模型生成有害、误导或不合适的内容。实验表明，这种方法在不同的模型上都能很好地工作。

    May, 2023

  • 连接主义网络中的偶然遗忘

    本文提出了遗忘与重新学习（forget-and-relearn）是一个有利于神经网络学习的新型方法，通过不断遗忘不必要的信息并强化对不同条件下有用的特征，来塑造模型的学习轨迹。其思想融合了图像分类和语言涌现领域的众多迭代训练算法，并通过遗忘不必要的信息来改善模型。通过分析，提出了关于神经网络迭代训练动态的一致性观点，并提供了一条清晰的路径向更高性能。

    Feb, 2022

  • 克服多模型遗忘

    我们发现了一种现象，称之为多模型遗忘，它出现在序贯训练多个具有部分共享参数的深度网络时，以前训练的模型的性能随着优化下一个模型而降低，为了克服这个问题，我们引入了一种统计上可证明的权重可塑性损失，根据前面模型的重要性对模型的共享参数进行正则化学习，并证明了在训练两个模型时以及进行神经架构搜索时的有效性，将权重可塑性添加到神经架构搜索中可将最佳模型保存到搜索的末尾，并在自然语言处理和计算机视觉任务中获得了改进的结果。

    Feb, 2019

  • 通过对抗遗忘实现不变表示

    本论文提供了一种新方法，通过对抗遗忘机制来实现深度神经网络的不变性，使其可以在多种数据集和任务中实现状态 - of-the-art 的性能。

    Nov, 2019

  • 机器学习及其之后的遗忘：一项调研

    这份论文调查了机器学习中遗忘的多方面本质，从神经科学研究中得出结论，认为遗忘是一种适应性功能而非缺陷，它能增强学习过程，防止过拟合，并与各种机器学习子领域的应用联系，以提高模型性能和增强数据隐私。此外，本文还讨论了将遗忘机制整合到机器学习模型中所面临的当前挑战、未来方向和伦理考虑。

    May, 2024