本研究旨在提高神经网络参数化概率形式的精度,以改善预测不确定性和检测分布外输入。通过将softmax交叉熵与其他概率形式进行比较,作者发现一对全制配方可以提高图像分类的校准,同时与softmax的预测性能相匹配,没有额外的训练或测试时间复杂度。
Jul, 2020
优化深度神经网络中的不确定性估计是安全关键应用中的一个重要问题。本文提出了利用准确度与不确定性之间的关系进行优化的方法,通过可微的 loss 函数来实现模型的不确定性校准,结果显示比现有的方法在大规模图像分类任务中表现的更好
Dec, 2020
通过引入双Lipschitz约束,Deep Kernel Learning(DKL)相对距离的保留提高了不确定性的估计质量。
Feb, 2021
本研究提出了一种概念简单的基线模型,即通过残差连接和谱归一化构建特征空间后,利用高斯判别分析对softmax神经网络的预测原型进行后处理,从而达到准确预测深度神经网络中的不确定性的目的,这种Deep Deterministic Uncertainty(DDU),可以替代当前复杂且耗时的不确定性量化方法,且比当前最先进的方法的计算成本更低。
本研究探讨神经网络在预测远离训练数据分布的数据时,未能增加其不确定性的现象,并找出了两种隐含的偏见,从而鼓励softmax置信度与认识不确定性相关,并发现预训练/微调网络可以减少训练数据和超出分布数据之间的重叠。
Jun, 2021
为了更好地进行决策,神经网络的不确定性需要和其经验准确性相一致。本研究提出基于连续的分组操作的可微损失函数用于改善神经网络的校准。实验结果表明使用此方法不仅能大幅度降低误差校准误差,还能在保持准确性不变的同时,得到更好的不确定性估计。
Jul, 2021
本文深入分析了Monte Carlo Dropout方法和softmax方法的应用,发现虽然前者可以提供更好的不确定性估计,但后者可以在更低的计算成本下提供竞争力的不确定性估计,并且适合不具备大量计算资源的模型。
Oct, 2022
本文研究了温度调节对自适应条件覆盖度提高的置信翻译方法的影响,并通过实证研究和理论分析揭示了一些数学特性,为此现象提供了解释。
Feb, 2024
我们研究了深度神经网络的鲁棒后处理不确定性校准方法并提出了基于能量模型的新方法,该方法能够适应各种预测,并在各种情况下保持可靠性。
Jul, 2024
本研究针对高容量预测模型中校准不确定性估计的困难,开发了一种端到端框架以学习条件鲁棒优化的不确定性估计,并通过符合性预测提供鲁棒性和校准保证。该方法在能量存储套利和投资组合优化的具体应用中,表现出持续优于两阶段估计-再优化基线的方法。
Sep, 2024