神经动态数据估值
通过深度学习模型,在扩散模型中使用深度数据一致性更新数据一致性步骤,以解决逆问题的研究论文。DDC 方法在线性和非线性任务中表现出卓越的性能,在仅使用 5 个推理步骤的情况下,平均 0.77 秒生成高质量解决方案,并且具有对于数据集的稳健性和解决多个任务的能力。
May, 2024
本文旨在研究如何衡量深度神经网络中不同的不确定性因素,进一步探究利用这些因素更有效地解决不同决策问题的方法。其中,作者提出了一个一般学习框架来定量不同根本原因导致的多种不确定性,并发现在对于深度神经网络的分类及早期时间点的事件检测中,对于实现最佳效果的不确定性因素分别为矛盾和真空。此外,本文还提出了一个改进 SSL 算法的框架,以抵御 OOD 对象的重要影响。
Apr, 2023
本文讨论了 Deep Neural Networks 在自动驾驶领域中的应用,提出了一种实时提取不确定性量化度量的方法,并使用此方法预测了潜在的崩溃事件。
Nov, 2018
深度神经网络在真实世界中经常面临着分布漂移、各种类型的噪声和概念目标的变化。本文提出了一个适应连续学习数据分布漂移的框架,通过贝叶斯推断中的不确定性量化来缓解灾难性遗忘问题。通过优化一个闭式 ELBO 目标,通过传播分布的前两个矩阵(均值和协方差)来近似预测分布,我们将灾难性遗忘问题降至最低。
Aug, 2023
部署神经网络在资源受限的安全关键系统中面临不确定性和硬件非理想性所带来的挑战,该研究论文总结了一项 (四年级) 博士论文工作,该工作探索了深度学习中可扩展和高效的方法,包括计算内存 (Computation-in-Memory) 使用新兴的阻性非挥发性存储器来估计和降低不确定性。我们采用问题感知训练算法、新颖的神经网络拓扑结构和硬件协同设计解决方案,包括基于自旋电子器件的基于退化的二值贝叶斯神经网络和变分推理技术。这些创新显著提高了异常数据检测、推理准确性和能量效率,从而增加了神经网络实现的可靠性和鲁棒性。
Jan, 2024
通过研究模型在训练过程中的随机性,我们发现在自然语言理解任务中,模型的预测结果的不稳定性会对一部分查询产生影响,提出了一种衡量稳定性现象的方法 —— 标签熵,我们研究了数据不可知的正则化方法和新的数据中心方法,发现它已在计算成本的分数中取得了 90% 的性能优势以及金标准的表现。
May, 2023
本文提出了一组新的方法,可以通过单次前向传递来估计深度神经网络中的认识不确定性,这些确定性不确定性方法在表示信息的前提下,在检测超出分布数据(OOD)方面表现出强大的性能,同时几乎不增加推理时间的计算成本。然而,DUMs 是否校准良好且是否可以无缝地扩展到实际应用仍不清楚。本文对 DUM 进行分类和评估,发现当前方法的实用性受到分布移位校准的限制。
Jul, 2021
本文旨在通过情感测量的方式来识别深度神经网络模型的弱点。通过三种情感测量指标:置信度、不确定性和惊奇度的比较,发现这些指标能够有效地通过对模型计算的分析来辨识出暴露 DNN 行为不当的输入。
Jan, 2019
本文探讨了应用于深度神经网络中的贝叶斯参数估计问题,提出了一种压缩 Monte Carlo 近似方法的新算法,与贝叶斯神经网络中的其他两种方法作了对比,证明了该算法不仅表现更优,而且更简单易于实现且测试所需运算资源更少。
Jun, 2015