Jun, 2024

关于分类器在各种测试条件下的排名，Softmax 概率告诉我们什么？

PDF
TL;DR本研究旨在发展一种能准确评估各种分类器在来自未标记数据的离域分布上进行测试时的性能排名的度量方法。通过展示常规的不确定性度量方法，特别是最大 Softmax 预测概率，在某些离域环境下预测模型泛化的内在效用，我们首先介绍了一种名为 SoftmaxCorr 的新度量方法。它计算了一个由 Softmax 输出向量构建的类 - 类相关矩阵与一个预定义的具有理想类别相关性的参考矩阵之间的余弦相似度。如果预测与参考矩阵相似度很高，则表明模型在所有类别上提供自信和统一的预测，反映出最小的不确定性和混淆。通过对一系列数据集的严格评估，包括 ImageNet、CIFAR-10 和 WILDS，我们确认了 SoftmaxCorr 在准确预测模型性能方面在分布内和离域设置中的有效性。此外，我们讨论了我们提出的度量方法的局限性，并提出了未来研究的方向。
发现论文，激发创造
  • 利用标准化余弦相似度的 Softmax 实现无需超参数的 OOD 检测

    本文提出了一种基于缩放余弦相似性的 softmax 的简单、无超参数的方法，用于检测深度神经网络中的 out-of-distribution（分布外）样本。通过实验证明，该方法在考虑超参数依赖性的评估测试中优于现有方法，并且在传统测试中实现了至少与其他方法可比较的性能。此外，它的计算效率比大多数先前的方法更高，因为它只需要一个前向传递。

    May, 2019

  • 理解 Softmax 的置信度和不确定性

    本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

    Jun, 2021

  • 神经网络中重新审视一对多分类器的预测不确定性和越界检测

    本研究旨在提高神经网络参数化概率形式的精度，以改善预测不确定性和检测分布外输入。通过将 softmax 交叉熵与其他概率形式进行比较，作者发现一对全制配方可以提高图像分类的校准，同时与 softmax 的预测性能相匹配，没有额外的训练或测试时间复杂度。

    Jul, 2020

  • 利用高相关特征进行预测

    本文旨在通过考虑在测试期间输入特征的分布发生偏移并表现出低相关性来评估现有的鲁棒特征学习方法和正则化方法的效果，比较它们与设计用于捕捉训练集中高相关特征的基线方法的差异，并在设计的 C-MNIST 数据集上进行了验证。

    Oct, 2019

  • 文本分类中的 Softmax 不确定性逼近再探讨

    本文深入分析了 Monte Carlo Dropout 方法和 softmax 方法的应用，发现虽然前者可以提供更好的不确定性估计，但后者可以在更低的计算成本下提供竞争力的不确定性估计，并且适合不具备大量计算资源的模型。

    Oct, 2022

  • 多类预测中性能度量的统一视角

    本文研究了一种针对多类问题的分类器性能度量 Confusion Entropy 与传统度量 Matthews Correlation Coefficient 的多分类推广之间的关系，并通过理论和计算证据支持了这一结果。

    Aug, 2010

  • 可扩展概率估计的一对多 Softmax 逼近

    介绍了一种对 softmax 概率的有效逼近方法，该方法基于一种严格的下界概率，可通过随机优化进行可扩展的估计，并演示了其在分类问题中的应用。

    Sep, 2016

  • 多项选择问答中，Softmax 概率（在很大程度上）预测大规模语言模型的正确性

    大型语言模型在多项选择问答任务中的最大 softmax 概率 (MSP) 与正确答案相比与错误答案相关性强，对问答任务表现优异的模型的 MSP 生成的 AUROC 在 59/60 情况中高于随机概率，并在最佳的六个模型中 AUROC 平均为 60% 到 69%。通过基于初始模型响应的 MSP 有选择地弃权，提出了一种能提高性能的多项选择问答任务。同样，我们使用预修正前 logit 进行了相同的实验，并获得了类似 (但不完全相同) 的结果。

    Feb, 2024

  • 利用 softmax 信息对于外部数据进行选择性分类的扩充

    本研究针对在深度学习中的视觉识别任务中所出现的 out-of-distribution (OOD) 数据进行了检测，提出了一种基于 softmax 信息保留组合（SIRC）的分类方法，在不影响对 in-distribution 数据（ID）的正确预测的同时，可以提高识别 OOD 数据的准确率，实验表明 SIRC 可以在保证 SCOD 任务上表现较好，而已有的 OOD 检测方法则不如其表现。

    Jul, 2022

  • 神经网络中检测分类错误和超出分布范围示例的基准线

    本文研究了如何检测分类错误和分布异常问题，提出了一种基于 softmax 概率分布的简单基准线，在计算机视觉、自然语言处理和自动语音识别等领域展示了这种基准线的有效性，表明这些未充分探索的检测任务有待未来研究。

    Oct, 2016