改进 CNN 分类性能的多阶段特征去相关约束

Aug, 2023

改进 CNN 分类性能的多阶段特征去相关约束

Multi-stage feature decorrelation constraints for improving CNN classification performance

Qiuyu Zhu, Xuewen Zu, Chengfei Liu

TL;DR为了优化卷积神经网络的训练结果，本文提出了一种多阶段特征去相关损失函数（MFD Loss），通过约束各个阶段的特征相关性，优化特征映射，进一步提高分类准确性。与单一 Softmax Loss 相比，使用 Softmax Loss+MFD Loss 的分类性能明显更好，并且实验证明 MFD Loss 与其他典型损失函数的组合效果也很好。

Abstract

For the convolutional neural network (CNN) used for pattern classification, the training loss function is usually applied to the final output of the network, except for some regularization constraints on the netw

convolutional neural network training loss function network layers feature mapping classification accuracy

发现论文，激发创造

局部约束异相关性正则化卷积神经网络

本文介绍了一种名为 OrthoReg 的深度学习正则化技术，通过局部强制特征正交性，有效减少负相关特征权重之间的干扰，提高了特征去相关化的效果，降低了过拟合现象，可用于多种卷积神经网络数据集。

Nov, 2016

增强学习图像压缩的通道特征去相关

通过充分利用现有的深度神经网络容量，本研究提出了一种改进压缩的方法，通过引导潜在特征学习更丰富和多样化的特征来实现更好的重构效果，并将通道相关的特征去相关损失集成到优化过程中，实验证明该方法在两种传统压缩方法上提高了压缩性能，没有增加额外的复杂性，可以作为类似方法的即插即用的优化方案。

Mar, 2024

CAM-loss: 学习空间区分特征表示

提出了一种新型的 CNN 分类器损失函数，即 CAM-loss，利用类激活映射来约束特征图，以得到更具有区分度的特征表示，并提出了一种基于 CAAM-CAM 匹配的知识蒸馏方法。

Sep, 2021

利用特征金字塔解码器增强内在对抗鲁棒性

本文提出了一种攻击不可知的防御框架，通过在目标卷积神经网络中嵌入去噪和图像恢复模块以及限制分类层的 Lipschitz 常数来提高神经网络的固有鲁棒性，针对各种白盒和黑盒攻击进行了评估，证明了通过本文所提出的 Feature Pyramid Decoder 增强 CNN 可以获得足够的鲁棒性，特别是当进一步进行对抗训练时，性能比非增强版本更好。

May, 2020

NDDR-CNN: 多任务 CNN 中的层级特征融合，通过神经鉴别降维

本文提出了一种新型卷积神经网络结构用于多任务学习，在每个层自动进行不同任务间的特征融合。具体而言，通过将不同任务的相同维数的特征按通道拼接起来，然后利用 1x1 卷积，批量归一化和权重衰减完成较为简单的维数约减。该网络被称作神经鉴别性维数约减 (NDDR)，能够适用于各种现有的 CNN 架构并具有良好的泛化性能，本文的实验结果也证明了这一点。

Jan, 2018

基于互通通道损失的细粒度图像分类

本研究提出的互相通道（MC）损失函数具有两个组件：一个区别度组件和一个多样性组件，它们共同对特征通道进行调整，以形成针对特定类别的本地可区分区域。在四个特定数据集上的试验表明，MC 损失函数的有效性与其他近期提出的视觉分类损失相比具有明显优势。

Feb, 2020

通过特征模式一致性约束提高对抗鲁棒性

通过分析网络中的潜在特征行为，我们引入一种新颖而有效的特征模式一致性约束（FPCC）方法，以增强潜在特征维持正确特征模式的能力，从而使模型在面对对抗性示例时具有内在的对抗鲁棒性，超过最先进的模型。

Jun, 2024

深度人脸识别损失函数的性能比较

本文比较了用于人脸识别的不同损失函数（Cross-Entropy、Angular Softmax、Additive-Margin Softmax、ArcFace 和 Marginal Loss）在 ResNet 和 MobileNet 两种 CNN 架构下的表现，采用了 CASIA-Webface 和 MS-Celeb-1M 两个数据集进行训练，并在 LFW 人脸数据集上进行了测试。

Jan, 2019

深度神经网络的对比中心损失

本文提出了一种新的辅助监督信号 —— 对比中心损失，它能够进一步增强特征的区分能力，通过惩罚训练样本到它们对应类别中心距离的对比值和样本到非对应类别中心距离之和的对比值同时考虑了类内紧凑性和类间可分性。在不同的数据集上的实验证明了对比中心损失的有效性。

Jul, 2017

基于分组抑制的特征正则化方法用于鲁棒分类

提出了一种使用组间抑制（group-wise inhibition）的卷积神经网络（CNN）正则化方法，通过处理具有不同激活分布的特征映射来考虑特征独立性，以实现对于严峻环境如腐败、对抗样本和低数据区域的稳健分类。

Mar, 2021