可靠的不确定性与便宜的神经网络集成:工业零件分类的案例研究
通过研究和实验证明,相比于单个深层神经网络,神经网络集成在识别度、不确定性量化和对数据集迁移的鲁棒性方面并没有显著提高,二者都能实现类似的性能和效益。
Feb, 2022
本文提出了一种利用特征分布建模的不确定性量化方法,并进一步结合高效的集成机制 —— 批量集成随机神经网络(BE-SNNs)来克服特征折叠问题,经过多个 OOD 基准测试,证明 BE-SNNs 在许多方面优于其他现有的方法。
Jun, 2022
本研究提出了一种替代贝叶斯 NN 的简单实现方法,其能够产生高质量的预测不确定性估计,并在分类和回归数据集上进行了实验以证明这一点。此外,研究还评估了在已知和未知数据分布下的预测不确定性,并证明该方法能够在超出分布的样本上表现出更高的不确定性,同时在 ImageNet 上证明了该方法的可扩展性。
Dec, 2016
深度学习中用深度集成方法提升神经网络的鲁棒性能,在大规模图片数据集中使用互信息指标 (OOD)的检测效果比单一模型的熵指标要劣 30-40%,使用集成多个分类器的检测得分对 Deep Ensemble OOD 检测性能有着更好的提升表现 。
Jul, 2022
该研究以深度神经网络模型为对象,研究了其在处理异常情况(如分布外或扰动数据)时的不确定性。研究通过实验证明,使用预训练模型进行分类对于异常图像表现良好,基于概率平均的集成模型能够进一步提高分类性能,而添加扰动会显著影响模型的鲁棒性,表明了人工智能模型的局限性。
Sep, 2023
这项研究提出了一种新技术,即利用混合一组深度神经网络的预测与标准深度神经网络的预测来量化数据的认识不确定性,从而在多个数据集和架构中实现高水平的预测表现。
Jun, 2020
本文旨在研究如何衡量深度神经网络中不同的不确定性因素,进一步探究利用这些因素更有效地解决不同决策问题的方法。其中,作者提出了一个一般学习框架来定量不同根本原因导致的多种不确定性,并发现在对于深度神经网络的分类及早期时间点的事件检测中,对于实现最佳效果的不确定性因素分别为矛盾和真空。此外,本文还提出了一个改进 SSL 算法的框架,以抵御 OOD 对象的重要影响。
Apr, 2023
本文针对文本分类任务中的 OOD 检测问题,提出了基于证据不确定性的方法,该方法通过引入辅助的离群样本和伪样本来训练模型,并明确建模了类别概率的不确定性。实验证明,该方法能够轻松部署于传统 RNN 和 Fine-tuned 预训练 transformers,并在 OOD 检测上优于其他方法。
Jul, 2021
本文提出了一种新型的基于 WGAN 的 evidential neural network (WENN),通过在模型训练中进行多维不确定性建模,增强了 OOD 检测的性能,从而在绝大多数数据集上优于对手模型。
Dec, 2020
该论文介绍了一种基于贝叶斯原理的神经网络反演方法,利用对先验分布采样的数据正则化参数,从而提高神经网络模型的预测不确定性识别和量化能力。经过理论和实证分析,该方法相对于传统的平均集成技术具有更好的性能表现。
Oct, 2018