使用对比学习框架,提出一种适用于未标记数据的贝叶斯神经网络(BNNs)的先验分布,得到自监督学习的标签效率和贝叶斯方法的规范不确定性估计,最后证明了该方法在半监督学习和低预算主动学习问题中的数据效率优势。
Apr, 2023
本研究提出了一种基于后验正则化的近似贝叶斯推断方案,可以用未标记的目标数据作为模型置信度的 “伪标签”,这些伪标签被用于调整标记源数据上的损失,显著提高了协变量移位数据集的不确定性量化准确性,适用于转移前瞻性前列腺癌模型在全球范围内的应用。
Jun, 2020
我们的研究提出了一个不确定性估计框架,可应用于任何泛化图神经网络(GNN)的基础网络上,以提高节点分类性能。该不确定性估计器模型是一个神经网络,将不确定性建模为概率分布而非离散的概率标量值。通过在 $n$ 路 $k$ 样本方式下进行训练,我们的方法在少样本学习设置中提高了分类准确率,而无需特定的元学习架构。在多个数据集和不同 GNN 基础网络上进行的实验证明了不确定性估计器对于带有 GNN 的少样本节点分类的有效性。
Jun, 2024
本文提出一种贝叶斯图卷积神经网络的框架,用于在图结构数据上进行节点分类和矩阵补全任务,并采用一种迭代学习算法来提高模型性能,并在试验中展示了当训练数据少时,该方法提供更好的性能。
Nov, 2018
这篇研究论文探究了一种新型的贝叶斯深度学习,通过在网络结构上执行贝叶斯推断来加强深度网络的不确定性估计,并提出了一种有效的随机变分推断方法,以统一网络结构和权重的学习。
Nov, 2019
本研究旨在利用模型不确定性作为 BNN 结构学习的框架,提出了可与模型空间约束结合的可扩展变分推理方法,试图在模型和参数的联合空间中进行推理,进而实现结构和参数不确定性的组合,并在基准数据集上进行了实验,表明使方法比普通 Bayesian neural networks 更加稀疏,但得到了与竞争模型相当的精度结果。
May, 2023
本文研究了基于对比学习的深度学习模型的嵌入向量的不确定性评估问题,并提出了一种方法,直接在嵌入空间中估计数据分布并考虑其局部一致性,结果表明该方法可以有效预测嵌入向量的下游性能。
Jul, 2022
通过综述现有的图卷积神经网络预测不确定性理论与方法,以及相关任务,我们主要关注不确定性的集成,这旨在增强模型性能与预测可靠性,从而桥接理论与实践,并连接不同的图卷积神经网络社区,同时为这个领域提供了有价值的研究方向。
Mar, 2024
该论文介绍了 Bayes by Hypernet,一种新的变分逼近方法,通过将超网络视为隐式分布来解决现代神经网络在未见过的、嘈杂的或标记错误的数据上过于自信,并且不能产生有意义的不确定性度量的短板,本文在 MNIST 和 CIFAR5 任务中表现优异且最具鲁棒性,同时满足复杂度、可扩展性和准确度的要求。
Nov, 2017
该论文介绍了一种基于 “对比分布” 的简单方法,该方法通过训练一个从表示到分布的深度网络,并使用方差来衡量置信度,从而赋予预训练的对比表示学习不确定性的能力。在实验中,作者展示了该深度不确定性模型可用于视觉解释模型行为、检测已部署模型中的新噪声和异常,其中在 11 个任务中,对比 10 种基线方法改进了 14%以上,同样可以用于分类超出分布的示例,其性能可与有监督方法竞争。
Oct, 2020