Jan, 2018

修正分类器：训练最后一层权重的边际价值

PDF
TL;DR本文提出用 Hadamard 矩阵初始化分类器可以在大多数任务中加速推断，并且该分类器可以在全局比例常数下固定，不会或几乎不会减少准确性，从而获得内存和计算优势。我们还讨论了这对于当前神经网络模型理解的意义。
neural networksclassificationaffine transformationhadamard matrixinference
发现论文，激发创造
  • 训练不变量和低秩现象：超越线性网络

    本论文研究神经网络训练中的隐性偏差，探究梯度流和梯度下降的极限情况下，使用对数或指数损失函数对线性可分数据进行训练的深度线性网络的权重收敛于秩 1 矩阵的现象是否会发生于全连接层和跳跃连接层的 ReLU 激活前馈网络中，提出了一些训练不变性，并以特定参数方向收敛的 ReLU 网络的常数权重和多线性函数作为论据进行证明。

    Jan, 2022

  • 通过控制神经网络权重中的标签噪声信息来提高泛化能力

    研究发现，神经网络在存在噪声或不正确标签的情况下，往往会记住有关噪声的信息。为了减少这种记忆现象，提高泛化能力，本文提出使用一个辅助网络来训练，并利用 Shannon 互信息量化记忆的信息量。在 MNIST、CIFAR-10、CIFAR-100 和 Clothing1M 等数据集上验证了该算法的有效性。

    Feb, 2020

  • 随机加权网络的有趣属性：在几乎没有学习的同时进行泛化

    该论文研究深度神经网络的性质和学习方式，发现在深层卷积神经网络中，固定大部分权重可以在性能表现上与训练所有权重相媲美，探讨了该性质在创建更强鲁棒性的表示方面的应用。

    Feb, 2018

  • 使用固定随机分类器训练的深度神经网络模型在领域间转移更好

    通过固定 ETF 权重的 DNN 模型训练，我们展示了在跨域数据集上显著提高传输性能的能力，尤其是在细粒度图像分类数据集上，超过了基准方法和明确漂白活跃度协方差的方法。

    Feb, 2024

  • 神经网络的等效标准化

    通过引入一种快速的迭代方法，可以最小化权重的 L2 范数，同时提高了测试准确率，从而为小批量数据提供了一种替代 CIFAR-10 和 ImageNet 的 ResNet-18 中的批量和分组规范化方法

    Feb, 2019

  • 线性神经网络层促进单 / 多指数模型学习

    本文探讨了超参数神经网络中大于两层的隐式偏差。通过添加线性层，可以优化神经网络的表示成本，并提高实际子空间的准确匹配度与预测性能。

    May, 2023

  • 神经网络分类器的末尾和倒数第二层出现单纯对称的研究

    神经网络分类器的倒数第二层在高维空间中呈现出较大的对称性，通过仅仅简述深度网络的玩具模型，证明了即使是分类器的最终输出在某些条件下也不会对来自于同一类中的数据样本一致，这里的条件包括分类器是浅层网络或深层网络无法将样本带入适当的几何配置。

    Dec, 2020

  • 最后一层重新训练足以提高对噪音相关性的鲁棒性

    通过研究表明神经网络在分类预测中往往依赖于一些简单的虚假特征，但即便如此，这些网络依然能够学习到一些与所需属性相关的核心特征。本研究通过重新训练网络中的最后一层，证明其能够在处理虚假特征方面表现出较好的性能，并能够显著降低模型复杂度和计算成本。此外，大规模的 ImageNet 训练模型上的最后一层重新训练，也可以显著提高模型对协变量转移的鲁棒性。

    Apr, 2022

  • 具有后阶段权重的神经网络

    使用随机梯度下降法训练神经网络时，通过加权平均一部分训练好的参数，可以获得更好的结果，而这种方法不会增加计算成本，可在 CIFAR-10/100，ImageNet 和其他测试集上得到验证。

    Jul, 2020

  • 不变性学习的最后一层边缘似然

    本研究通过设计自定义的优化程序，提出一种新的较低的边缘似然下限，部分成功地在标准基准测试、低数据范围和医学图像数据集上进行了推理，但在 CIFAR10 数据集上表现出失败模式，该研究表明，当更复杂的逼近方法可用时，边缘似然是神经网络中不变性学习的有前途的方法之一。

    Jun, 2021