May, 2024

几何视角下的焦点损失：降低曲率以增强模型校准

PDF
TL;DR机器学习算法在决策情境中的关键因素不仅是模型的准确性，还包括模型的置信水平。然而，模型在分类问题中的置信水平常常与实际预期的模型置信明显偏离。本研究旨在通过对焦损失函数进行几何重新解释，以理解焦损失的行为。我们的分析表明，焦损失可以降低训练模型时损失表面的曲率，这表明曲率可能是实现模型校准的关键因素之一。我们设计了数值实验来支持这一推测，揭示了焦损失的行为以及校准性能与曲率之间的关系。
发现论文，激发创造
  • 利用 Focal Loss 对深度神经网络进行校准

    本文研究神经网络中误差校准问题，并提出了使用 Focal Loss 和温度缩放的方法，通过自动调整超参数来实现良好的校准，同时在多个计算机视觉和自然语言处理数据集上进行广泛的实验，证明了该方法可以在不损失准确率的情况下获得实现真正校准预测的最新性能。

    Feb, 2020

  • 使用 Focal Loss 对抗浅层启发式：一项关于调制交叉熵在自然语言推理中的经验分析

    本文探讨了使用改进的交叉熵损失函数 focal loss 来约束模型并提高泛化性能的方法，并在自然语言推理方面进行了实验，展示了 focal loss 对学习过程的正则影响，提高了对未知数据的准确性，但其相对于其他方法（如无偏置聚焦损失和自我偏置集合）的性能不如。

    Nov, 2022

  • 双重焦点损失用于校准

    本文提出了一种基于双 logits 的新的损失函数，该方法在最大化两个 logits 之间的差距方面表现出更好的平衡性，该方法通过在多个模型和数据集上的评估来证明其有效性和金标准表现。

    May, 2023

  • 损失地形的曲率研究

    通过分析嵌入的黎曼流形的微分几何性质，我们研究了损失景观，并展示了与潜在推理相关的几个设置之间的联系。

    Jul, 2023

  • 曲率损失函数视角下的记忆化

    本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了 CIFAR100 数据集中存在的重复标签问题。实验结果表明，通过曲率排序可以有效地找到疑似错误标签的样本。

    Jul, 2023

  • 数据集选择和压缩的损失曲率匹配

    使用新的 LCMat 目标函数，匹配神经网络模型参数空间中原始数据集和减小后的数据集的损失曲率，以提高数据集减小的泛化性能。实验结果表明，LCMat 相较于现有基线算法具有更好的性能。

    Mar, 2023

  • 多类损失矩阵的凸校准维度

    研究多分类学习问题的替代损失函数的一致性属性，提出了分类校准和凸校准维度的概念和理论，并应用于分析各种损失矩阵和证明在子集排名下某些类型的凸校准替代损失不存在。

    Aug, 2014

  • 不需集中注意力的普遍损失函数学习

    研究使用经验风险最小化解决预测和估计问题，针对一般凸损失函数。我们证明了即使当集中度是错误的或非常受限制的情况下，例如在重尾场景中，我们也可以获得尖锐的误差率。我们的结果表明，误差率取决于两个参数：一个捕捉类别的内在复杂性，以实质上在无噪声（或可实现）问题中导致误差率；另一个衡量类成员之间的交互、目标和损失，并且在问题远离可实现时是主导的。我们还解释了如何选择与类的内在复杂性和问题噪声水平相 calibrated 的损失来处理离群值。

    Oct, 2014

  • 通过提高预测正确性意识来优化校准

    模型校准的新后续校准目标函数通过使用样本的转换版本来减少模型对错误预测样本的置信度并增加对正确预测样本的置信度，从而与现有技术在校准性能上达到相当竞争水平。

    Apr, 2024

  • 循环焦点损失

    本文提出一种新的周期性的焦点损失函数，证明其是比交叉熵 softmax 损失函数或者焦点损失函数更普适的损失函数，并推出了数个实验证据来证明周期性的焦点损失函数对于平衡，不平衡或长尾数据集都提供了更好的性能。

    Feb, 2022