ICLRJun, 2020

神经网络分类任务中使用平方误差与交叉熵训练的结构评估

PDF
TL;DR本文提供证据表明，对于 NLP 和 ASR 任务，使用方块损失函数进行神经网络训练，可以获得比交叉熵更好的效果，并且可以提高计算资源的利用率。我们认为，使用方块损失函数需要成为现代深度学习最佳实践的一部分，与交叉熵在平等基础上竞争。
发现论文，激发创造
  • 监督对比学习剖析

    本研究探讨了在最小化损失时，编码器输出空间内所寻求的类别性空间几何是否存在本质差异。同时提供实证证据表明，两种损失函数的优化行为存在显著不同，这将对神经网络的训练产生影响。

    Feb, 2021

  • 深度神经网络测试表现预测的惊人线性关系

    通过在预训练阶段使用不同程度的 “腐败” 数据或使用不同高斯标准偏差的权重初始化网络，利用交叉熵损失可以使网络产生不同的泛化效果。通过去除交叉熵损失中不涉及期望分类性能的成分，可以建立训练误差和测试误差之间的线性关系，而分类错误与规范化交叉熵损失之间的经验关系似乎是近似单调的。

    Jul, 2018

  • 使用余弦损失函数对小数据集进行无预训练深度学习

    本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

    Jan, 2019

  • 混合损失函数用于改善神经网络的泛化性能

    本文探讨了混合交叉熵误差和平方和误差损失函数的有效性，发现该混合损失函数可以在所有问题上提高 ANN 的泛化能力，并且以平方和误差损失函数开始训练再转换为交叉熵误差损失函数的混合函数通常表现最佳。

    Apr, 2022

  • 神经网络分类器作为互信息评估器

    本文提出了一种使用交叉熵和 softmax 作为互信息评估器的神经网络分类器的新视角，并且在数据集不平衡时，开发了一种新的 softmax 形式，该形式可以将分类器转换为互信息评估器。实验结果表明，该形式可以提高分类准确性，特别是对于不平衡的数据集。

    Jun, 2021

  • 所有的损失都是平等的吗：神经崩溃的视角

    本文研究了如何选择神经网络的损失函数，提出所有相关的损失函数都会展现神经折叠现象，且实验表明，无论是交叉熵、标签平滑、聚焦损失还是均方误差，只要神经网络足够大，训练充分，使用这些损失函数训练出的网络特征在测试数据上表现几乎相同。

    Oct, 2022

  • 度量学习的统一互信息视角：交叉熵 vs. 两两损失

    通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。

    Mar, 2020

  • 回归即分类：任务形式对神经网络特征的影响

    研究神经网络对回归问题的解决方法，针对两层 ReLU 网络探索了梯度优化引起偏差的一些现象，提出了一种新的支持度计算方法，得出实验证据，阐述了广义梯度下降和平方损失函数在训练中的优化困难。

    Nov, 2022

  • 交叉熵 vs. 标签平滑：神经崩溃视角

    通过神经崩溃的视角研究标签平滑损失，发现标签平滑能够加快模型收敛速度，增强模型崩溃水平，提供了模型校准和性能优势的有价值见解，同时通过理论和实证相结合的方法，深化了对标签平滑和交叉熵损失之间差异的理解，并展示了神经崩溃框架在深度神经网络研究中的应用。

    Feb, 2024

  • 深度神经网络分类中的损失函数

    研究了不同损失函数选择对深度神经网络及其学习动态的影响，证明了 L1 和 L2 损失函数是深度网络分类目标的合理选择，并提出两种新的损失函数作为现有损失函数的可行替代品。

    Feb, 2017