深度加权平均分类器

Nov, 2018

Deep Weighted Averaging Classifiers

Dallas Card, Michael Zhang, Noah A. Smith

TL;DR本文提出了一种简单的方法，通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签，并在符合性方法的框架内提出了一种新的非一致性测量法，实验验证了理论预期，证明了在不影响准确性或校准的情况下，提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。

Abstract

Recent advances in deep learning have achieved impressive gains in classification accuracy on a variety of types of data, including images and text. Despite these gains, however, concerns have been raised about the calibration, robustness, and →

deep learning interpretability transparent explanations nonparametric kernel regression conformal methods

发现论文，激发创造

用于分类的非参数校准

提出了一种调整分类器置信度估计的方法，使其接近正确分类的概率，该方法利用了潜在高斯过程的非参数表示，并针对多类分类进行了特别设计，适用于任何输出置信度估计的分类器，不限于神经网络，实验证明其性能强。

Jun, 2019

基于距离的神经网络分类器置信度

本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

Sep, 2017

使用置信度配置优化简单模型

本文提出一种名为 ProfWeight 的新方法，用于从预训练的深度神经网络向一个较简单的可解释模型或低计算复杂度的浅层网络中传输信息，该方法使用线性探针通过展开的中间表示生成置信度分数，并在训练简单模型时使用这些中间层的置信度分数进行加权。该方法已在 CIFAR-10 和一个真实制造问题中证明了其价值。

Jul, 2018

深度学习中的一致置信现象及其对校准的影响

本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

Jun, 2023

现代神经网络的校准

深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

Jun, 2017

通过神经模型逼近条件覆盖率和校准性

通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

May, 2022

深度神经网络的置信度感知学习

本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

Jul, 2020

聚合深度卷积特征的跨维度加权

通过交叉维度加权和聚合深度卷积神经网络层的输出，提出了一种简单而直接的创建强大图像表示的方法。实验表明，在图像搜索中，该方法优于基于预训练网络的当前最先进的方法，并提供了易于使用的开源实现来重现结果。

Dec, 2015

无标签数据有多种一致的解释：为什么您应该平均

研究了半监督学习中的一种基于一致性正则化的方法，提出使用随机权重平均和快速随机权重平均来加速模型的训练，达到了最先进的结果

Jun, 2018

使用引导权重的深度学习中的稀疏不确定性表示

本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

May, 2021