NIPSJul, 2018

使用置信度配置优化简单模型

PDF
TL;DR本文提出一种名为 ProfWeight 的新方法，用于从预训练的深度神经网络向一个较简单的可解释模型或低计算复杂度的浅层网络中传输信息，该方法使用线性探针通过展开的中间表示生成置信度分数，并在训练简单模型时使用这些中间层的置信度分数进行加权。该方法已在 CIFAR-10 和一个真实制造问题中证明了其价值。
发现论文，激发创造
  • 利用已知信息增强简单模型

    本文提出了一种新方法 SRatio，可利用复杂模型（如深度神经网络、增强树、随机森林）的信息对训练数据集进行重新加权，以增强性能较低的简单模型，同时整合中间层探针的概念到我们的方法中，实验结果表明在 6 个 UCI 数据集和 CIFAR-10 中，我们在大多数（27 个案例中有 16 个）情况下都超过竞争对手，并在其余情况下达到最佳表现。此外，我们还进行了进一步的实验，以验证断言并直观理解为什么我们的方法有效。

    May, 2019

  • 使用带有线性分类器探测器的白盒元模型进行置信度评分

    本文提出了一种基于两个模型范式的深度神经网络置信度评分机制，通过在任务中观察基础模型的成功 / 失败来学习元模型的置信度评分，实验结果表明该方法在过滤任务中优于各种基线，并使用带或不带噪声的 CIFAR-10 和 CIFAR-100 数据集进行了实验研究，讨论了置信度评分在实验和实际应用之间的重要性。

    May, 2018

  • 深度加权平均分类器

    本文提出了一种简单的方法，通过从非参数核回归中的一些想法得出训练实例的加权总和来预测标签，并在符合性方法的框架内提出了一种新的非一致性测量法，实验验证了理论预期，证明了在不影响准确性或校准的情况下，提高了透明度、可控的错误率和抵抗域外数据的鲁棒性。

    Nov, 2018

  • 利用密度建模在深度神经网络中进行置信度估计

    本文提出了一种基于密度建模的新型置信度度量方法，用以解决 State-of-the-art Deep Neural Networks 存在的小量对抗噪音引起高置信度预测不正确问题，并验证其在图像失真、随机噪声和对抗噪声等方面具有鲁棒性，相比传统方法 softmax，置信度得分更低。

    Jul, 2017

  • 现代神经网络的校准

    深入实验和分析，提出了温度缩放法的简单有效性，可以解决现代神经网络中分类器的置信度校准问题。

    Jun, 2017

  • 深層增強多模態集成人臉識別及樣本級權重

    利用多模型增强技术和样本级加权方法提出了一种强大的特征提取器，通过解决当前面部识别训练基准中高质量图片过多导致对困难样本泛化能力差的问题，以及将样本困难度纳入训练准则，取得了比其他算法更优的表现。

    Aug, 2023

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 信任，但请验证：使用自监督探究来提高可信度

    本文介绍了一种新的自我监督探测方法，该方法能够检查和减轻训练模型的过度置信问题，从而提高其可信度。此方法在信任相关任务 (误分类检测、校准和超出分布检测) 中得到了广泛验证和应用。

    Feb, 2023

  • 使用引导权重的深度学习中的稀疏不确定性表示

    本研究提出一种基于感知器的设计方案，该方案结合了贝叶斯神经网络和深度集成等现代方法，通过在每层的权重矩阵中加入少量的诱导权重来降低存储和计算成本，同时保持较好的预测精度和不确定性估计能力。

    May, 2021

  • 基于距离的神经网络分类器置信度

    本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

    Sep, 2017