Apr, 2023

交叉熵损失函数：理论分析与应用

PDF
TL;DR本文研究了广泛应用的交叉熵损失函数，提出了一族损失函数 comp-sum，包括了交叉熵、广义交叉熵、平均绝对误差等。我们首次给出了这些损失函数的 H - 相容性，进一步介绍了一种新的平滑对抗 comp-sum 损失函数，并证明了它们有助于在对抗性环境下提高模型的 H - 相容性。
发现论文，激发创造
  • 深度 Top-k 分类的平滑损失函数

    论文研究了深度神经网络中 Top-k 分类任务的性能评估方法，提出了一族平滑损失函数，与交叉熵类似但更适用于 Top-k 优化，其中一种基于边界的新型损失函数在处理噪声和数据大小等多种情况下比交叉熵更有鲁棒性。

    Feb, 2018

  • 混合损失函数用于改善神经网络的泛化性能

    本文探讨了混合交叉熵误差和平方和误差损失函数的有效性，发现该混合损失函数可以在所有问题上提高 ANN 的泛化能力，并且以平方和误差损失函数开始训练再转换为交叉熵误差损失函数的混合函数通常表现最佳。

    Apr, 2022

  • $\mathscr {H}$- 替代损失函数最小化器的一致性估计误差

    本文主要研究代理损失估计误差及其保证方法，提供零一损失和对抗性损失两种情况下的具体保证方法，并通过模拟实验证明了其紧密性。

    May, 2022

  • 序列预测任务损失估计

    本文提出了一种新的方法来推导可微的替代损失函数，以用于训练包含每个输入 - 输出对的得分的模型，并在语音识别任务中证明了其有效性。

    Nov, 2015

  • 测试时对手存在下交叉熵损失的下限

    本文探讨了在存在测试时对抗情况下的分类器损失的最优下限和对应最优分类输出的确定，并使用自适应算法以高效地计算此下限，进而将其作为诊断工具来确定当前鲁棒性训练方法的有效性，并探讨使用最优分类输出作为软标签以经验地改善鲁棒性训练。

    Apr, 2021

  • 现实世界中基于权重的交叉熵损失函数：建模错标的成本

    该研究提出了一种新的度量分类器拟合度的度量标准 —— 实际成本函数，该函数结合了有关实际问题的信息，例如财务影响，以及用户更易于解释的特性。为了优化这个度量标准，作者介绍了基于实际成本函数的损失函数，并比较了损失函数的设计和已有的损失函数，通过 MNIST 数据集的模拟情境对其效果进行了实证研究。

    Jan, 2020

  • 重新思考用于立体匹配网络的交叉熵损失

    本文提出了一种新的自适应多模交叉熵损失函数，以促进网络为边缘和非边缘像素生成不同的分布模式，并优化推理阶段的视差估计器来减轻边缘处的伪影和对齐偏差，提高了经典立体匹配模型的性能。其中 GANet 在 KITTI 2015 和 2012 基准上排名第一，并且在四个流行的真实世界数据集上展现出优秀的跨域泛化能力。

    Jun, 2023

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023

  • 交叉熵 vs. 标签平滑：神经崩溃视角

    通过神经崩溃的视角研究标签平滑损失，发现标签平滑能够加快模型收敛速度，增强模型崩溃水平，提供了模型校准和性能优势的有价值见解，同时通过理论和实证相结合的方法，深化了对标签平滑和交叉熵损失之间差异的理解，并展示了神经崩溃框架在深度神经网络研究中的应用。

    Feb, 2024

  • 使用余弦损失函数对小数据集进行无预训练深度学习

    本文研究了使用余弦相似度损失函数进行小数据集分类的问题，发现与分类交叉熵损失函数相比，余弦损失函数在只有极少标本的数据集上具有更高的准确性，在使用类别树的先前知识时可以进一步提高分类性能。

    Jan, 2019