可靠的方差网络训练和估计
本研究提出一种对轻量级贝叶斯神经网络(BNN)进行抽样无关变分推断的简单框架,通过将异方差预测不确定性和经验差异嵌入到学习得到的 BNN 参数的方差中,提高了预测性能。
Feb, 2024
该研究提出了一种新的数据不确定性估计方法,通过主动去噪处理观察数据,以更准确地近似实际数据不确定性。实验证明,与标准方法相比,我们提出的方法更接近实际数据不确定性。
Dec, 2023
本研究提出了一种名为 Collaborating Networks (CN) 的方法,利用两个神经网络来近似回归的累积分布函数及其反函数,实现预测分布的估算,该方法具有高度的一致性、准确性和鲁棒性,在电子健康记录等领域应用具有重要意义。
Feb, 2020
本文提出基于样本不确定性轻量级估计的两种改进型随机梯度下降算法:SGD 迭代中正确类别预测概率的方差和与决策阈值的正确类别概率的接近度来重新加权训练样本,实验结果表明我们的方法可靠地提高了各种网络结构的精度,包括残差学习、动量、ADAM、批量标准化、丢弃和蒸馏等其他流行的训练技术所不能达到的额外收益。
Apr, 2017
基于方差的方法扩展到分类问题中,量化分类的不确定性,实验结果显示这种方法在主动领域适应中与基于熵的方法的准确性相似,并提供了关于类别间不确定性和相关性的信息。
Nov, 2023
在这篇论文中,我们提出了一个基于函数空间变分推断的可扩展函数空间变分推断方法,该方法明确地将贝叶斯推断应用于神经网络,并允许结合先验信息以产生可靠的预测不确定性评估。我们展示了该方法在一系列预测任务上的最新不确定性估计和预测性能,并证明其在安全关键的医学诊断任务中表现出色。
Dec, 2023
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
提出了一种新的、高效的、基于 Backprop 的方法 Bayes by Backprop,用于在神经网络的权重上学习概率分布,通过最小化压缩成本(即变分自由能或边缘似然的预期下界)来规范权重。该方法在 MNIST 分类的任务上表现出与 dropout 相当的性能。在非线性回归问题中,学到的权重的不确定性可以用来提高泛化能力,并且可以用来驱动在强化学习中的探索和开发之间的平衡。
May, 2015