有针对性的激活罚则帮助 CNN 忽略虚假信号

Sep, 2023

有针对性的激活罚则帮助 CNN 忽略虚假信号

Targeted Activation Penalties Help CNNs Ignore Spurious Signals

Dekai Zhang, Matthew Williams, Francesca Toni

TL;DR神经网络（NN）可以学习依赖于训练数据中的虚假信号，从而导致很差的泛化能力。最近的研究针对该问题使用附加的虚假信号的真实注释来训练 NNs。然而，这些方法可能导致虚假信号在深度卷积 NNs（CNNs）中重新出现。我们提出了一种新方法，即目标激活惩罚（TAP），通过罚则来控制深度 CNNs 中虚假信号的重新出现，同时降低训练时间和内存使用。此外，真实注释可能需要费用较高。我们展示了 TAP 对 MNIST 基准测试和两个临床图像数据集的两种最先进方法的优势，使用四种不同的 CNN 架构，并表明 TAP 仍然适用于由预训练模型生成的注释作为真实注释的有效替代。

Abstract

neural networks (NNs) can learn to rely on spurious signals in the training data, leading to poor generalisation. Recent methods tackle this problem by training NNs with additional →

neural networks spurious signals targeted activation penalty deep cnns ground-truth annotations

发现论文，激发创造

TAPS：连接认证和对抗性训练

本文提出了一种结合 IBP 和 PGD 训练的（不精确）认证训练方法 TAPS，通过减少过度正则化和提高准确度来实现精确但不一定可靠的最坏情况损失逼近，在很多方面取得了新的最好结果。

May, 2023

TapNet: 任务自适应投影增强的神经网络用于少样本学习

本文提出了一种增强任务适应性的 TapNets 神经网络模型，利用元学习策略和基于任务的投影方法来实现在只有少量训练数据的情况下进行优化，共学习一个网络和一组每类参考向量，通过将特征线性投影到投影空间并计算查询和参考向量之间的距离，从而实现出色的泛化性能。在 Omniglot, miniImageNet 和 tieredImageNet 数据集中的小样本下，该模型在各项指标下达到最优的分类精度。

May, 2019

自适应网络剪枝

本文提出了一种通过自适应网络剪枝方法（SANP）来降低卷积神经网络的计算成本。该方法引入了通用的显着性和剪枝模块（SPM）来为每个卷积层预测显着性评分，并且针对每个通道剪枝。在两个数据集和三个骨干的广泛实验中，SANP 在分类准确率和剪枝率方面都超过了最先进的方法。

Oct, 2019

神经剪枝中保持可训练性

本文介绍了一种具有可扩展性的训练可塑性剪枝方法（TPP），该方法通过惩罚卷积内核的克罗内克矩阵来使神经网络保持可训练性，从而在剪枝表现和对再培训超参数的鲁棒性方面得到了改善，特别是在具有非线性结构的 ConvNets 上表现明显优于其他对应方法。

Jul, 2022

通用后门缓解和测试时间检测的改进激活剪裁

深度神经网络容易受到后门攻击，通过限制内部激活层的界限，可以有效减轻此类攻击及提高分类性能，在测试时还可以检测和校正激活界限网络与原网络之间的输出差异。

Aug, 2023

WRPN：宽度减少精度网络

研究表明，使用 WRPN 减少激活地图的精度以及增加层中的滤波器地图数量，可以提高深度神经网络的执行效率和速度，并达到基于全精度网络的准确性。