基于类别判别剪枝的联邦遗忘

WWWOct, 2021

Federated Unlearning via Class-Discriminative Pruning

Junxiao Wang, Song Guo, Xin Xie, Heng Qi

TL;DR本文研究了在联邦学习中，通过实现 Term Frequency Inverse Document Frequency (TF-IDF) 对不同分类通道进行量化刻画，进而实现非对称遗忘（category forgetting）的目的，而不需要全局访问训练数据，仅通过不需要从头开始重新训练模型的渐进式剪枝来调整分类模型，实验结果表明相对于重新训练模型，无论是在 CIFAR10 数据集还是 CIFAR100 数据集中，本文的方法均可大幅加速非对称遗忘速度 8.9x ~ 9.9x，而且可以较准确地刻画通道与分类的关系，从而提供了一种合规性更高的选择。

Abstract

We explore the problem of selectively forgetting categories from trained CNN classification models in the federated learning (FL). Given that the data used for training cannot be accessed globally in FL, our insights probe deep into the internal influence of each channel. Through the v

federated learning category forgetting cnn models tf-idf channel pruning

发现论文，激发创造

深度神经网络的鉴别感知通道剪枝

介绍了一种有效的基于鉴别力的通道剪枝方法，利用额外的损失函数增加中间层的鉴别力并根据重构误差和额外损失函数选择最具鉴别力的通道，并提出了一种迭代贪心算法来优化参数和通道选择。对类似于 ILSVRC-12 的测试数据，使用该算法对 ResNet-50 剪枝显示出相当有效的性能。

Oct, 2018

使用知识蒸馏进行联邦遗忘

在联邦学习中，提出了一种新颖的联邦遗忘方法，通过从模型中减去历史累积更新来消除客户端的贡献，并利用知识蒸馏方法恢复模型的性能，而不使用来自客户端的任何数据。该方法不依赖于客户端的参与，不对神经网络的类型有任何限制，并引入后门攻击来评估遗忘效果。实验结果表明了本文方法的有效性和效率。

Jan, 2022

针对深度模型压缩的鉴别感知网络裁剪

该研究介绍了一种简单而有效的方法（称为 DCP），旨在尽可能地选择实际有助于卷积神经网络判别能力的通道，并进一步通过去除多余的内核来压缩深层网络，同时通过自适应停止条件来防止选择冗余的通道 / 内核并实现更好的性能。

Jan, 2020

PruneNet: 全局重要性通道剪枝

本文提出了一种简单而有效的基于数据驱动优化的频道修剪方法，该方法通过每层发现必要的宽度，以非均匀修剪 ResNet-50 等深度神经网络，实现了与现有方法相同的 FLOP 降低率，同时提高了 0.98％的准确度，并优于其他深度神经网络如 ResNet-34 和 ResNet-18。

May, 2020

基于模型解释的联邦机器遗忘的选择性参数更新

提出了一种基于模型解释的更有效和高效的联邦遗忘方案，通过理解深层网络和个别通道重要性，选择已训练模型中对需要遗忘的数据至关重要的通道，并对这些通道进行微调，以消除这些数据的贡献。实验结果表明该方法的有效性。

Jun, 2024

CFDP: 常见频域剪枝

本文介绍了一种基于频域的模型修剪方法，通过剪切神经网络架构的不必要部分，提高模型效率和性能，实现了在 CIFAR-10 上达到 95.25% 的准确率，并在使用 55% 的可训练参数和 60% 的 FLOPs 的情况下，超过了所有基准测试结果。

Jun, 2023

深度消除学习：快速高效的无训练遗忘控制方法

我们提出了一种新的类别遗忘算法，通过估计待保留和遗忘类别的特征或激活空间，并计算这些空间之间的共享信息，从而实现有效的机器遗忘，并在各种图像分类数据集和网络架构中相比其他基准算法效果明显提高，且计算效率提高了约 6 倍。

Dec, 2023

基于分类损失和特征重要性的通道剪枝指导

本论文提出了一种新的分层通道剪枝方法 CPLI，它考虑了分类损失和特征重要性，并进一步改进了现有的方法，通过新策略抑制不重要特征的影响，并在三种基准数据集（CIFAR-10，ImageNet 和 UCF-101）上取得了显著的效果。

Mar, 2020

通信高效且可证明的联邦反学习

研究联邦去学习问题，解决个别客户或数据对通过联邦学习得到的全局模型的影响，推导出所删除数据的无合差异性模型。引入了一种新的完全联邦去学习框架，满足通信效率和完全去学习可证明性的两个基本条件。通过定义确切的联邦去学习，保证无学习之后的模型与未删除数据时训练的模型在统计上无差异。利用模型参数对数据集轻微变化的变动程度来实现快速联邦去学习的关键特性：总变差稳定性。利用这一洞见，我们开发了一种名为 FATS 的总变差稳定的联邦学习算法，修改了经典的 FedAvg 算法以实现轮次通信的降低。我们还设计了针对 FATS 的高效去学习算法，包括客户级和样本级的去学习。我们提供了学习和去学习算法的理论保证，证明它们在原始模型和去学习模型上都达到了确切的联邦去学习，并具有合理的收敛速度。在 6 个基准数据集上经过实证验证，展示了该框架在准确性、通信成本、计算成本和去学习效果方面的优越性。

Jan, 2024

一种深层神经网络压缩的新型通道修剪方法

本文提出了一种基于遗传算法的新型通道剪枝方法，通过分层和知识蒸馏框架的剪枝中，显著降低了模型的冗余，并在三个基准数据集上验证其性能。

May, 2018