Jul, 2017

利用密度建模在深度神经网络中进行置信度估计

PDF
TL;DR本文提出了一种基于密度建模的新型置信度度量方法，用以解决 State-of-the-art Deep Neural Networks 存在的小量对抗噪音引起高置信度预测不正确问题，并验证其在图像失真、随机噪声和对抗噪声等方面具有鲁棒性，相比传统方法 softmax，置信度得分更低。
发现论文，激发创造
  • 理解 Softmax 的置信度和不确定性

    本研究探讨神经网络在预测远离训练数据分布的数据时，未能增加其不确定性的现象，并找出了两种隐含的偏见，从而鼓励 softmax 置信度与认识不确定性相关，并发现预训练 / 微调网络可以减少训练数据和超出分布数据之间的重叠。

    Jun, 2021

  • 基于距离的神经网络分类器置信度

    本文提出了一种基于神经网络中数据嵌入的简单可扩展的可靠置信度评分方法，通过距离损失或对抗训练对得到的嵌入进行处理，比传统置信度评分在分类错误预测、加权分类器集成以及新颖性检测中表现更加优异。

    Sep, 2017

  • 深度神经网络的置信度感知学习

    本文提出了一种基于 Correctness Ranking Loss 的深度神经网络训练方法，可以对类别概率进行显式的正序排名，提高置信度预测。该方法易于实现，不需要额外的计算代价，适用于现有体系结构，并且在分类基准数据集上表现良好。同时，还对置信度估计相关的任务，如超出分布检测和主动学习，具有相同的可靠性。

    Jul, 2020

  • 基于神经网络输出层分布的分类置信度估计

    本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法，可用于知识提取过程中的预测筛选，并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。

    Oct, 2022

  • 密度不确定性层用于可靠的不确定性估计

    为了应用于深度学习的相关领域，评估深度神经网络的预测不确定性是至关重要的。本文提出了一种新的预测不确定性标准，它应该基于输入的经验密度，使得对于训练数据中不可能出现的输入提供更高的不确定性，对于更可能出现的输入提供较低的不确定性，并开发了一个用于随机神经网络的密度不确定性层，以确保满足这一标准，研究了具有密度不确定性层的神经网络在 CIFAR-10 和 CIFAR-100 不确定性基准上的性能

    Jun, 2023

  • 深度学习中的一致置信现象及其对校准的影响

    本文研究了深度神经网络模型校准方面的现有问题，并发现这类模型存在大量 “几乎确定” 置信度，导致常常过于自信。同时，文章提出可采用 Mixup 数据增强技术中的修改损失函数的方法来解决此类问题。

    Jun, 2023

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 高质量韧性深度神经网络

    研究神经网络在图像分类中受质量失真的影响，提出了一种基于混合专家模型的解决方案，通过权重共享方式减少网络参数数量并提高性能。

    Mar, 2017

  • 深度神经网络中攻击领域外不确定性估计

    本文研究了基于深度神经网络的不确定性估计算法的鲁棒性，并提出了一种敌对攻击方法，证明了这些算法对于出域数据的不确定性估计容易受到攻击。在各种基准图像数据集上进行的大量实验结果表明，最先进方法所估计的不确定性很容易被我们的攻击所破坏。

    Oct, 2022

  • 深度学习不确定性估计的通用框架

    提出了一种用基于贝叶斯信任网络和蒙特卡罗采样的方法来对神经网络进行不确定性估计，这个方法具有与神经网络结构和任务无关，不需要优化进程的更改，能够应用于已经训练好的结构，有效地提高了准确性。

    Jul, 2019