神经网络中的采样预测匹配示例：一种概率编程方法
本文介绍了一种基于黑盒预测器实现集值预测、控制用户指定水平下的未来测试点期望损失大小以及使用 holdout 集来校准优化预测集大小的方法，这种方法能够提供简单、分布自由和严密的误差控制，适用于多个任务，如分类问题、多标记分类、分类问题中带有层次结构的标签、图像分割和蛋白质结构预测，还有拓展探讨。
Jan, 2021
Venn Prediction 是一种新的机器学习框架，用于产生校准良好的概率预测。本文基于神经网络提出了五种 VP 方法，通过实验评估它们在四个基准数据集上的性能，结果表明它们的输出在校准上表现出了优越性，相比传统的神经网络分类器有了明显的改进。
Dec, 2023
本文介绍了两种轻量级的方法，使具有概率性的深层网络的监督学习变得实用，首先，我们建议使用分类和回归的概率性输出层，其对现有网络只需进行最小的更改，其次，我们使用假设密度过滤（assumed density filtering）并展示如何将激活不确定性以实用的方式传播到整个网络中，这两种概率性网络保留了确定性网络的预测能力，但产生与其预测引起的经验误差相关的不确定性。
May, 2018
该研究介绍了一种使用深度神经网络在概率编程模型中分摊推断成本的方法，并将深度学习与概率编程方法的优势相结合。这种名为 “编译推断” 的方法将用通用编程语言编写的概率程序的语义规范转换为用神经网络规范语言表示的训练过的神经网络，从而实现了原始模型的近似推断。
Oct, 2016
我们提出了概率神经程序 —— 一个编程归纳框架，它允许灵活指定计算模型和推断算法，同时启用深度神经网络。概率神经程序将用于指定神经网络的计算图与加权非确定性选择操作符结合起来，从而既描述了一组决策，又描述了用于做出每个决策的神经网络架构。我们在一个具有挑战性的图表问答任务上评估了该方法，发现相对于基线模型，概率神经程序可以正确执行近两倍的程序。
Dec, 2016
该文章提出了一种验证深度概率模型的新框架，在模型输出过程中采样潜在变量并考虑其所需的条件输入，以高概率满足线性约束，并能够有效地验证功能空间中感兴趣的属性（单调性、凸性）
Dec, 2018
用具有适当启发式条件的一组算法基于神经网络的输出分布来验证其概率，同时计算和迭代优化神经网络输出概率的下界和上界，并通过应用非概率性神经网络验证中的最先进的边界传播和分支约束技术，显著提高了解决时间。
May, 2024
这篇论文证明了深度学习在低交叉可预测性函数分布上的失败，提出了算法约束和跨预测性的概念，并利用信息度量来限制统计间距离，探讨了神经网络、优化误差和算法分析的相关问题。
Dec, 2018
本研究调查了使用概率神经网络（PNN）来建模巧合不确定性的方法，PNN 生成目标变量的概率分布，能够在回归场景中确定预测均值和区间，实验证实了 PNN 在建模巧合不确定性方面的有效性，特别是在真实科学机器学习环境中，PNN 产生接近 0.97 的高精度输出均值估计和 0.80 的预测区间的高相关系数，为利用神经网络的复杂表示能力来揭示科学问题中的复杂输入输出关系的持续探索做出了贡献。
Feb, 2024