自然参数网络：一类概率神经网络
介绍了一种参数化的运算符 BPNN，它可以操作因子图和广义 BP。通过训练 BPNN，可以比原始的 BP 更好地完成一些复杂的计数问题，并且可以更快地收敛于 Ising 模型。
Jul, 2020
研究引入了自然神经网络，旨在通过调整内部表示来加速收敛并改善 Fisher 矩阵的条件。使用简单高效的参数重整方式，从而能够保留神经网络的正向传播计算。研究表明，通过提出的投影自然梯度下降算法 (PRONG)，这种神经网络能够高效地训练；研究同时在无监督和监督学习任务上证明了该方法的优点，并通过对大规模 ImageNet Challenge 数据集的训练显示了其可伸缩性。
Jul, 2015
本研究调查了使用概率神经网络（PNN）来建模巧合不确定性的方法，PNN 生成目标变量的概率分布，能够在回归场景中确定预测均值和区间，实验证实了 PNN 在建模巧合不确定性方面的有效性，特别是在真实科学机器学习环境中，PNN 产生接近 0.97 的高精度输出均值估计和 0.80 的预测区间的高相关系数，为利用神经网络的复杂表示能力来揭示科学问题中的复杂输入输出关系的持续探索做出了贡献。
Feb, 2024
物理神经网络（PNN）是一种利用物理系统特性进行计算的类神经网络，其有潜力在现代人工智能领域引发革新，尤其在训练大规模的 AI 模型以及探索新的训练技术方面尤为重要。
Jun, 2024
本论文介绍了一种学习贝叶斯神经网络的新方法，称为概率反向传播 (PBP)，通过前向概率传递和后向梯度计算，PBP 比现有的贝叶斯技术更具可伸缩性，并提供了准确的网络权重后验方差估计。
Feb, 2015
本文提出了一种全新的方法，即基于贝叶斯推断框架通过闭式计算对感知机进行训练和预测，其中感知机的权重和预测被视作高斯随机变量，为常用的激活函数，如 sigmoid 或 ReLU 提供了预测感知机输出和学习权重的解析表达式，该方法不需要计算昂贵的梯度计算，进一步允许顺序学习。
Sep, 2020
本文介绍了使用本地重新参数化技巧（LRT）和归一化流在 LBBNN 方法的变分后验分布上的应用，以改进预测性能并获得更稀疏的网络，通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。
May, 2023
本文介绍了神经过程（NP）这一类神经网络模型，它拥有高效的计算能力、灵活的概率模型，可以适应新的数据，并能够估计其预测的不确定性。同时，神经过程也能像高斯过程一样对函数进行概率建模，具有延迟更新的能力。我们探讨了神经过程在回归和优化等任务中的表现，并与文献中的相关模型进行了对比。
Jul, 2018
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法，其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题，并通过将权重建模为高斯随机变量的方法，使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示，并与现有技术进行了比较。
Oct, 2021