区分最大化损失：通过替换损失和校准来有效地提高越界检测和不确定性估计

May, 2022

区分最大化损失：通过替换损失和校准来有效地提高越界检测和不确定性估计

Distinction Maximization Loss: Efficiently Improving Out-of-Distribution Detection and Uncertainty Estimation by Replacing the Loss and Calibrating

PDF

David Macêdo, Cleber Zanchettin, Teresa Ludermir

TL;DR该论文提出了使用 DisMax 损失训练确定性神经网络的方法，提高了分类准确度、样本在分布内和外的识别能力和不确定性估计，同时还保持了神经网络的推理效率。

Abstract

Building robust deterministic neural networks remains a challenge. On the one hand, some approaches improve out-of-distribution detection at the cost of reducing classification accuracy in some situations. On the

deterministic neural network classification accuracy out-of-distribution detection uncertainty estimation dismax loss

发现论文，激发创造

增强同构最大化损失：简单替换 SoftMax 损失，实现无接缝高性能的外分布检测

本文提出了一种基于峰值熵的无缝方法进行异常检测，使用 IsoMax 损失进行训练，取代了 SoftMax 损失并提出了等距化的损失方法，使用最小距离得分替代了峰值熵得分，改善了性能且无需更改模型结构进行训练，与其他主要现有方法相比，该方法具有更多优势。

May, 2021

MaxEnt Loss: 基于约束的最大熵法在外样本分布变化下的校准

介绍了一种解决超出分布校准问题的新损失函数，基于最大熵原理，通过加入在训练过程中观察到的有帮助的统计约束，实现更好的模型校准而不损失准确性，理论分析和实验证明了该方法在合成和现实世界基准上取得了最先进的校准效果。

Oct, 2023

语义分割中的 OOD 检测的熵最大化和元分类

本研究提出了一种改进基于像素 softmax 熵的方法的两步流程，通过引入第二个训练目标，最大化对不同数据集的 softmax 熵，并利用手工创造的 Metric 从 softmax 概率得出透明的后处理步骤来降低误检率，从而提高深度神经网络的 OoD 检测性能。

Dec, 2020

最大权重熵

使用贝叶斯和集成方法，在深度学习中处理不确定性量化和跨分布检测问题，通过最大熵原则来解决预测多样性不足的问题，提出了一种权重参数化的方法，通过奇异值分解来增加权重熵以实现更有效的算法。

Sep, 2023

最大分类器差异的无监督超出分布检测

该研究提出了一种基于两头卷积神经网络和无监督训练的深度学习模型外部数据检测方法，可以对深度学习模型在商业应用场景中面临的性能退化问题进行有效解决。

Aug, 2019

边缘的恶魔：基于边缘的标签平滑方法用于网络校准

本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

Nov, 2021

训练置信度校准的分类器用于检测离分布样本

本文提出了一种新的分类器训练方法，通过对深度神经网络引入两个额外的术语来增强分类器的推断性能，并同时训练分类和生成神经网络以解决样本的分布问题，该方法在多个流行的图像数据集上通过使用深度卷积神经网络的实验证明了其有效性。

Nov, 2017

马哈拉诺比斯感知训练用于外部分布检测

在本研究中，我们提出了一种新的损失函数和网络训练方法，以提高密度感知的开放世界环境中对异常和越界样本的检测能力，并在 CIFAR-10 数据集上进行了验证，将相对马氏距离方法在远距离越界任务中的错误正例率降低了 50% 以上。

Nov, 2023

一种简单的统一框架用于检测样本的离群点和对抗攻击

本文提出了一种简单而有效的方法，可用于检测任何异常样本，适用于任何预训练的 softmax 神经分类器，在高鲁棒性方面表现优越，同时在检测离群样本和对抗样本方面都取得了最先进的性能，在分类增量学习中有着更广泛的应用。

Jul, 2018

神经网络的错误分布检测中学习置信度

通过提出一种简单易实现、产生直观可解释输出的神经网络置信度学习方法，我们成功地实现了对神经网络预测错误的检测以及超出安全执行区域的检测，在该任务中表现优异，并在不需要额外标签或进入区别于正常数据集之外的样本的情况下超过了最近提出的指标构建方法。此外，我们还解决了置信度检测器校准问题，即我们证明被错误分类为正常数据集的正常样本是超出安全执行区域的样本的良好替代品。

Feb, 2018