使用固定随机分类器训练的深度神经网络模型在领域间转移更好

Feb, 2024

Deep Neural Network Models Trained With A Fixed Random Classifier Transfer Better Across Domains

Hafiz Tiomoko Ali, Umberto Michieli, Ji Joong Moon, Daehyun Kim, Mete Ozay

TL;DR通过固定 ETF 权重的 DNN 模型训练，我们展示了在跨域数据集上显著提高传输性能的能力，尤其是在细粒度图像分类数据集上，超过了基准方法和明确漂白活跃度协方差的方法。

Abstract

The recently discovered neural collapse (NC) phenomenon states that the last-layer weights of deep neural networks (DNN), converge to the so-called →

发现论文，激发创造

研究表明，深度神经网络中的最后一层特征和分类器在经过训练直至收敛后仍呈现出相同的结构特性，表现为神经崩塌现象。本研究进一步证明了这种现象在深度线性网络中同样存在，并且成功地拓展到了失衡数据的情况下。实验证明了我们的理论分析。

Jan, 2023

该研究提出了一种新的深度神经网络架构，通过固定线性分类器到 Hierarchy-Aware Frame (HAFrame)，利用余弦相似度辅助损失函数来学习 collapse 到 HAFrame 的层级感知特征，从而降低模型预测的误差且保持其准确性。

Mar, 2023

在该研究中，我们将神经坍缩现象推广到不平衡类别的交叉熵损失下，证明了虽然类内特征会坍缩，但类均值将收敛到长度不同的正交向量结构，并发现分类器权重与类均值的缩放和居中相关，这扩展了在平衡类别设置下的神经坍缩现象。通过在实际架构和数据集上进行实验证明了我们的结果。

Jan, 2024

训练深度网络的末期化训练（TPT）会导致神经坍塌现象，即最后一层训练激活的交叉示例内部变化降至零，导致分类器的决策简化为最近的类中心决策规则，然而这种对称且非常简单的几何结构具有更好的泛化性能，更好的稳健性和更好的可解释性。

Aug, 2020

深度神经网络中神经崩溃现象及其对泛化性能的影响，以及多类支持向量机、非保守性泛化等的理论解释与实验观察。

Oct, 2023

我们提供了关于神经网络结构中神经崩溃现象的全局优化景观分析，发现交叉熵损失在没有约束条件的特征模型中存在良性全局景观，其中 Simplex ETFs 是唯一的全局最小值，并且我们的实验表明可以通过设置特征维度等于类别数并将最后一层分类器固定为 Simplex ETF 来降低内存使用量。

May, 2021

本文将已有的理论框架扩展到多个非线性层，通过理论证明和实验验证，说明神经网络的最后一个层的可折叠性会向更早的层传播，同时解释了已有的实验结果。

May, 2023

神经崩溃是最后一层神经网络分类器中出现的几何结构，本文研究了批归一化和权重衰减对神经崩溃的影响，并提出了几何直观的类内和类间余弦相似度度量来捕捉神经崩溃的核心方面。结果表明，批归一化和权重衰减可能是神经崩溃出现的基本因素。

Sep, 2023

在分类任务的深度神经网络训练中，观察到了一个现象，称为神经崩溃，它似乎无论损失函数的选择如何，都会在最后一层分类器和特征中发生。作者提供了在均方误差损失下，神经崩溃解决方案是唯一的全局极小值，并且研究了调整超参数来改善优化景观的可能性，最后在实际网络框架上验证了理论发现。

Mar, 2022

深度神经网络中的神经塌缩现象对于非线性模型和多分类问题呈现低秩结构的突变是其优化的主要原因。

May, 2024