为了校准和一致的延迟学习而捍卫 Softmax 参数化

Nov, 2023

为了校准和一致的延迟学习而捍卫 Softmax 参数化

In Defense of Softmax Parametrization for Calibrated and Consistent Learning to Defer

Yuzhou Cao, Hussein Mozannar, Lei Feng, Hongxin Wei, Bo An

TL;DR通过学习让机器学习分类器在更准确的专家存在时推迟决策，可以提高安全性和性能。本研究证明了以先前文献中代理损失的对称性为原因，而不是 softmax 本身，导致了未校准和无界估计的问题，并提出了一种新颖的统计一致的基于非对称 softmax 的替代损失函数，该方法可以产生有效的估计结果。我们进一步分析了我们方法的非渐近特性，并在基准数据集上验证了其性能和校准性。

Abstract

Enabling machine learning classifiers to defer their decision to a downstream expert when the expert is more accurate will ensure improved safety and performance. This objective can be achieved with the learning-to-defer framework which aims to jointly learn how to classify and how to

machine learning classifiers learning-to-defer framework softmax-based estimator surrogate losses calibration

发现论文，激发创造

学习推迟专家意见的一致估计值

本文探讨了如何学习可以预测或选择推迟下游专家决策的预测器。我们提出了一种基于学习分类器和拒绝器的过程，并理论分析了其效果。该方法基于一种新颖的成本敏感学习算法，我们给出了一种一致的代理损失函数。本文还通过各种实验验证了我们方法的有效性。

Jun, 2020

理解 Softmax 的置信度和不确定性

本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

Jun, 2021

使用一对多分类器的校准学习进行推迟

本研究提出新的基于 one-vs-all 分类器的 L2D 系统，旨在提高 L2D 系统的校准性能，这不会影响我们模型的准确性，同时在各种任务中也表现出可比较（通常是优于）Mozannar 和 Sontag（2020 年）模型的准确性，涵盖仇恨言论检测、星系分类和皮肤病诊断等。

Feb, 2022

学习多位专家推迟预测的原则方法

我们提出了一项关于使用多个专家进行学习推迟的代理损失和算法的研究，并证明了这些代理损失从强大的 $H$- 一致性上获益。我们通过几个实际代理损失的例子阐述了分析的应用，并给出了明确的保证。虽然这项工作的主要焦点是理论分析，但我们还报告了在 SVHN 和 CIFAR-10 数据集上的若干实验结果。

Oct, 2023

高斯专家混合模型中的 Softmax 门控解密

通过引入新的 Vononoi 损失函数，建立最大似然估计器的收敛速度，解决了 softmax gating 高斯混合专家的参数估计中的三种理论挑战。

May, 2023

可扩展概率估计的一对多 Softmax 逼近

介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。

Sep, 2016

关于部分标签学习中的无偏探索

使用标准神经网络结构和 softmax 作为最终层从部分标记的监督中学习概率分类器，根据实验发现原模型可能存在偏差现象，导致梯度下降动力过于敏感而不能进行正确的探索，因此提出一种新型的损失函数来解决这个问题，并在合成数据、部分标注基准和现存规则学习挑战的贡献新基准上进行广泛的评估。

Jul, 2023

边缘的恶魔：基于边缘的标签平滑方法用于网络校准

本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

Nov, 2021

文本分类中的 Softmax 不确定性逼近再探讨

本文深入分析了 Monte Carlo Dropout 方法和 softmax 方法的应用，发现虽然前者可以提供更好的不确定性估计，但后者可以在更低的计算成本下提供竞争力的不确定性估计，并且适合不具备大量计算资源的模型。

Oct, 2022

平衡元 Softmax 用于长尾视觉识别

本文提出了无偏的 Balanced Softmax 方法和 Balanced Meta-Softmax 方法，以解决训练和测试分布不匹配的深度学习分类问题，实验证明其在视觉识别和实例分割任务中胜于现有最佳方法。

Jul, 2020