Apr, 2022

PolyLoss: 分类损失函数的多项式拓展视角

PDF
TL;DR提出一种名为 PolyLoss 的框架，将损失函数设计为多项式函数的线性组合，可根据任务和数据集灵活调整实现更优的分类效果。
polylossloss functionsneural networksclassificationhyperparameters
发现论文，激发创造
  • 深度神经网络分类中的损失函数

    研究了不同损失函数选择对深度神经网络及其学习动态的影响，证明了 L1 和 L2 损失函数是深度网络分类目标的合理选择，并提出两种新的损失函数作为现有损失函数的可行替代品。

    Feb, 2017

  • 循环焦点损失

    本文提出一种新的周期性的焦点损失函数，证明其是比交叉熵 softmax 损失函数或者焦点损失函数更普适的损失函数，并推出了数个实验证据来证明周期性的焦点损失函数对于平衡，不平衡或长尾数据集都提供了更好的性能。

    Feb, 2022

  • 深度 Top-k 分类的平滑损失函数

    论文研究了深度神经网络中 Top-k 分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于 Top-k 优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。

    Feb, 2018

  • 多标签分类的不对称多项式损失

    本文提出了一种有效的非对称多项式损失函数 (APL)，通过泰勒展开和改进多项式函数系数等方式，采用非对称聚焦机制减缓了二元交叉熵 (BCE) 损失函数不足之处，并验证了多项式系数可以重新校准非对称聚焦超参数，实验证明了该方法可以在关系提取、文本分类和图像分类等方面持续提高性能。

    Apr, 2023

  • 几何视角下的焦点损失：降低曲率以增强模型校准

    机器学习算法在决策情境中的关键因素不仅是模型的准确性，还包括模型的置信水平。然而，模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释，以理解焦损失的行为。我们的分析表明，焦损失可以降低训练模型时损失表面的曲率，这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测，揭示了焦损失的行为以及校准性能与曲率之间的关系。

    May, 2024

  • 损失函数与 T - 范数之间的关系

    本文提供了一种新的解释 cross-entropy loss 的方法，并基于此推导出一种新的 loss 函数类，该类函数可以应用于任何有监督的学习任务中，提高收敛速度。

    Jul, 2019

  • 大规模图像分类卷积神经网络的神经损失函数演化

    使用神经损失函数搜索（NLFS）方法，我们在卷积神经网络中发现了三个新的损失函数（NeuroLoss1、NeuroLoss2 和 NeuroLoss3），它们能够以更高的平均测试准确率取代交叉熵作为简单的损失函数，从而实现更好的泛化效果。

    Jan, 2024

  • 深度学习的可证明限制

    这篇论文证明了深度学习在低交叉可预测性函数分布上的失败，提出了算法约束和跨预测性的概念，并利用信息度量来限制统计间距离，探讨了神经网络、优化误差和算法分析的相关问题。

    Dec, 2018

  • 交叉熵损失函数：理论分析与应用

    本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。

    Apr, 2023

  • 图像分类的下一代损失函数

    神经网络通过最小化损失函数来学习，定义了预测模型输出与目标值之间的差异。选择损失函数对于实现特定任务行为至关重要，并且极大地影响模型的能力。我们利用遗传编程方法对众所周知的损失函数进行了实验性挑战，包括交叉熵损失，提出了 5 个最佳函数，并在各种模型架构的标准数据集上进行了评估，结果发现 Next Generation Loss（NGL）函数在所有测试数据集上表现出相同或更好的性能，包括 Imagetnet-1k 数据集。最后，我们将 NGL 函数用于 Pascal VOC 2012 和 COCO-Stuff164k 数据集的分割后任务训练，提高了底层模型的性能。

    Apr, 2024