Feb, 2020

利用 Focal Loss 对深度神经网络进行校准

PDF
TL;DR本文研究神经网络中误差校准问题，并提出了使用 Focal Loss 和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的最新性能。
miscalibrationdeep neural networkscalibrationfocal losshyperparameter
发现论文，激发创造
  • 双重焦点损失用于校准

    本文提出了一种基于双 logits 的新的损失函数，该方法在最大化两个 logits 之间的差距方面表现出更好的平衡性，该方法通过在多个模型和数据集上的评估来证明其有效性和金标准表现。

    May, 2023

  • 几何视角下的焦点损失：降低曲率以增强模型校准

    机器学习算法在决策情境中的关键因素不仅是模型的准确性，还包括模型的置信水平。然而，模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释，以理解焦损失的行为。我们的分析表明，焦损失可以降低训练模型时损失表面的曲率，这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测，揭示了焦损失的行为以及校准性能与曲率之间的关系。

    May, 2024

  • 使用 Focal Loss 对抗浅层启发式：一项关于调制交叉熵在自然语言推理中的经验分析

    本文探讨了使用改进的交叉熵损失函数 focal loss 来约束模型并提高泛化性能的方法，并在自然语言推理方面进行了实验，展示了 focal loss 对学习过程的正则影响，提高了对未知数据的准确性，但其相对于其他方法（如无偏置聚焦损失和自我偏置集合）的性能不如。

    Nov, 2022

  • 多头多损失模型校准

    提高机器学习模型的预测准确性和可靠性，本文提出了一种简化深度集成模型的方法，通过不同的误差计算方法来训练多个线性分类器，达到与成本高昂的深度集成模型相同的校准能力和良好的分类性能，适用于组织病理图像和内镜图像的分类应用。

    Mar, 2023

  • 深度学习中的校正：现有技术综述

    深度神经模型校准在构建可靠的安全关键应用的人工智能系统中起着重要作用。本文回顾了最新的校准方法，并对它们进行了原理解析。

    Aug, 2023

  • 联邦学习下基于 Fed-Focal Loss 的不平衡数据分类

    本文针对分布式学习中面临的类别不平衡问题，提出了一种新的损失函数 Fed-Focal Loss，通过结合可调节的采样框架，实现在 MNIST，FEMNIST，VSN 和 HAR 基准测试中对于多任务学习的优秀表现，并取得了超过 9% 的绝对提升效果。

    Nov, 2020

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 精度和置信度的桥梁：一种用于校准目标检测的训练时损失

    本文针对深度神经网络 (DNNs) 对于物体检测模型的校准问题，提出了一种新的辅助损失函数公式来对齐边界框类别置信度和准确性，并通过在多个基准数据集上的实验验证其有效性。

    Mar, 2023

  • 循环焦点损失

    本文提出一种新的周期性的焦点损失函数，证明其是比交叉熵 softmax 损失函数或者焦点损失函数更普适的损失函数，并推出了数个实验证据来证明周期性的焦点损失函数对于平衡，不平衡或长尾数据集都提供了更好的性能。

    Feb, 2022

  • 类自适应网络校准

    提出了一种类别自适应标签平滑方法（CALS），在训练过程中允许学习班级特定的乘数，通过在大规模的自适应训练中引入几种修改以量身定制它，以校准深度神经网络，综合评估和多重比较展示了所提出方法的优越性

    Nov, 2022