Jan, 2024

CreINNs：用于分类任务中的置信间隔神经网络的不确定性估计

PDF
TL;DR本研究介绍了一种用于分类任务的全新可信区间神经网络（CreINNs），通过确定性区间捕获权重不确定性，同时使用概率区间的数学框架预测区间集合；对 CIFAR10 与 SVHN 的异分布检测基准进行的实验证实表明，与变分贝叶斯神经网络（BNNs）和深度集成（DEs）相比，CreINNs 在对认知不确定性估计方面表现优越，并且 CreINNs 的计算复杂度大幅降低，模型尺寸较 DEs 更小。
发现论文，激发创造
  • 不确定性评估的模型平均信任包装器在异常检测中的应用

    本文提出了一种创新方法，称为 “信任套件”，用于模型平均的贝叶斯神经网络（BNN）和深度集成的置信区间表示，能够提高分类任务中的不确定性估计。

    May, 2024

  • Confidence-Nets: 面向小数据集回归神经网络更好预测区间的一步

    本文介绍了一种组合 DNN、XGBoost 和差异性计算技术的集成方法，用于估计预测的不确定性、提高准确性并提供预期变化的区间，其计算简单，适用于小数据集且性能提升显著，且模型的预测区间可平均包括实际值的 71％和 78％。

    Oct, 2022

  • 从协同网络中估计不确定性区间

    本研究提出了一种名为 Collaborating Networks (CN) 的方法，利用两个神经网络来近似回归的累积分布函数及其反函数，实现预测分布的估算，该方法具有高度的一致性、准确性和鲁棒性，在电子健康记录等领域应用具有重要意义。

    Feb, 2020

  • 基于似然比的神经网络置信区间

    该论文介绍了一种利用似然比方法构建神经网络置信区间的初步实现，提出了 DeepLR 方法，该方法具有限定数据区域扩展的不对称区间以及考虑训练时间、网络结构和正则化技术等因素的优势。尽管当前实现方式在许多深度学习应用中代价过高，但在医学预测或天体物理学等领域，对单个预测的可靠不确定性估计已经具有明确的价值。这项工作突显了基于似然比的不确定性估计的潜力，并为未来的研究打下了良好基础。

    Aug, 2023

  • 基于回归神经网络的可靠预测区间

    该论文采用一种名为 Conformal Prediction (CP) 的新型机器学习框架，基于独立同分布的数据，提出了一种扩展传统回归神经网络的方法，将点预测转化为满足所需置信水平的预测区间。作者在四个基准数据集和预测电离层连接中的重要参数之一 —— 总电子含量 (TEC) 的预测问题上进行了实证评估，结果表明该方法产生的预测区间在实践中既具有良好的校准性又足够紧凑。

    Dec, 2023

  • 随机集卷积神经网络（RS-CNN）用于认知深度学习

    本文提出了一种基于随机集的深度学习方法 RS-CNN，通过预测置信函数而非概率向量，估计模型对于其预测的正确程度和可能出现的误差，从而更好地处理机器学习领域中的不确定性和对抗性攻击。

    Jul, 2023

  • 基于信任度评估网络的不确定机器推理

    该论文提出了一种用于不确定情况下高级融合和推理支持的估值网络的数学表示方法，并将其应用于人类操作者的支持。

    Aug, 2022

  • 置信可行集预测器

    使用与所提目的相应的相合预测的方法，成功地用置信集对分类任务进行预测。

    Feb, 2024

  • 使用深度集成实现简单且可扩展的预测不确定性估计

    本研究提出了一种替代贝叶斯 NN 的简单实现方法，其能够产生高质量的预测不确定性估计，并在分类和回归数据集上进行了实验以证明这一点。此外，研究还评估了在已知和未知数据分布下的预测不确定性，并证明该方法能够在超出分布的样本上表现出更高的不确定性，同时在 ImageNet 上证明了该方法的可扩展性。

    Dec, 2016

  • 深度学习中可扩展高效的不确定性估计和降低方法

    部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战，该研究论文总结了一项 (四年级) 博士论文工作，该工作探索了深度学习中可扩展和高效的方法，包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案，包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率，从而增加了神经网络实现的可靠性和鲁棒性。

    Jan, 2024