ICMLMay, 2023

双重焦点损失用于校准

PDF
TL;DR本文提出了一种基于双 logits 的新的损失函数，该方法在最大化两个 logits 之间的差距方面表现出更好的平衡性，该方法通过在多个模型和数据集上的评估来证明其有效性和金标准表现。
发现论文，激发创造
  • 利用 Focal Loss 对深度神经网络进行校准

    本文研究神经网络中误差校准问题，并提出了使用 Focal Loss 和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的最新性能。

    Feb, 2020

  • 几何视角下的焦点损失：降低曲率以增强模型校准

    机器学习算法在决策情境中的关键因素不仅是模型的准确性，还包括模型的置信水平。然而，模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释，以理解焦损失的行为。我们的分析表明，焦损失可以降低训练模型时损失表面的曲率，这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测，揭示了焦损失的行为以及校准性能与曲率之间的关系。

    May, 2024

  • 使用 Focal Loss 对抗浅层启发式：一项关于调制交叉熵在自然语言推理中的经验分析

    本文探讨了使用改进的交叉熵损失函数 focal loss 来约束模型并提高泛化性能的方法，并在自然语言推理方面进行了实验，展示了 focal loss 对学习过程的正则影响，提高了对未知数据的准确性，但其相对于其他方法（如无偏置聚焦损失和自我偏置集合）的性能不如。

    Nov, 2022

  • 循环焦点损失

    本文提出一种新的周期性的焦点损失函数，证明其是比交叉熵 softmax 损失函数或者焦点损失函数更普适的损失函数，并推出了数个实验证据来证明周期性的焦点损失函数对于平衡，不平衡或长尾数据集都提供了更好的性能。

    Feb, 2022

  • 边缘的恶魔：基于边缘的标签平滑方法用于网络校准

    本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

    Nov, 2021

  • 类别不平衡下神经网络的过拟合：分割任务的分析和改进

    本文研究深度学习中的过拟合现象，并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务，提出了针对少量数据样本的正则化模型，模仿少量数据情况下在测试集中出现的数据分布，用于减轻这种分布对模型性能的影响，实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。

    Jul, 2019

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 密集目标检测的 Focal Loss

    本文研究了单阶段物体检测器比两阶段物体检测器速度更快，但精度更低的原因，并提出了一种名为 Focal Loss 的做法，以解决稠密检测器训练中遇到的前景背景类别不平衡问题，该方法能够提高准确性。在该方法的基础上设计了一种名为 RetinaNet 的密集型检测器，取得了超过现有首屈一指的两阶段检测器的精度。

    Aug, 2017

  • 精度和置信度的桥梁：一种用于校准目标检测的训练时损失

    本文针对深度神经网络 (DNNs) 对于物体检测模型的校准问题，提出了一种新的辅助损失函数公式来对齐边界框类别置信度和准确性，并通过在多个基准数据集上的实验验证其有效性。

    Mar, 2023

  • 联邦学习下基于 Fed-Focal Loss 的不平衡数据分类

    本文针对分布式学习中面临的类别不平衡问题，提出了一种新的损失函数 Fed-Focal Loss，通过结合可调节的采样框架，实现在 MNIST，FEMNIST，VSN 和 HAR 基准测试中对于多任务学习的优秀表现，并取得了超过 9% 的绝对提升效果。

    Nov, 2020