使用线性置信网络预测分布
我们提出了一种快速的非迭代近似推理方法,通过前馈网络实现从变分后验进行有效精确抽样,该方法通过应用几种直观的模型独立方差减少技术,优于 MNIST 和 Reuters RCV1 文件数据集上的唤醒 - 睡眠算法,并取得了最新成果。
Jan, 2014
本文介绍了使用本地重新参数化技巧(LRT)和归一化流在 LBBNN 方法的变分后验分布上的应用,以改进预测性能并获得更稀疏的网络,通过两个模拟研究证明这些贝叶斯方法的使用可以得到更为实际的预测不确定性估计。
May, 2023
本文提出使用二进制权重和激活的神经网络的概率训练方法 - BLRNet,通过随机性避免了对 sign () 等不可微函数的梯度的逼近,并仍在测试时获得完全的二进制神经网络。 此外,它允许通过从权重分布中进行抽样来进行任时集成预测以提高性能和不确定性估计。我们在多个标准基准上评估了 BLRNet。
Sep, 2018
本文介绍 Quantified Boolean Bayesian Network (QBBN),提供了逻辑和概率推理的统一视角,通过创建具有逻辑推理基础的无界布尔变量的贝叶斯网络,以解决信息检索中大型语言模型(LLM)产生幻觉的问题,并且研究了推断方法中的 LBP 的使用和收敛性。
Feb, 2024
本文提出了一种基于深度条件生成模型(DCGM)的通用框架,能够同时学习多个序列之间的时序依赖关系,并通过引入三维权重张量来捕捉附加信息和序列之间的乘法交互作用。当没有侧信息时,该模型可用于半监督学习,实现鲁棒的序列分类。实验结果表明该方法在序列数据的预测和分类性能方面取得了最先进的成果,并且具有控制风格转换和融合的能力。
May, 2016
本文提出了一种通过闭合式贝叶斯推断方法来学习贝叶斯神经网络的新方法,其中将预测分布的计算和权重分布的更新建模为贝叶斯滤波和平滑问题,并通过将权重建模为高斯随机变量的方法,使网络参数的训练具有连续性且无需梯度下降优化方法。该方法在多个 UCI 数据集上进行了演示,并与现有技术进行了比较。
Oct, 2021
通过构建时序 Sigmoid 置信网络的层次结构,设计深动态生成模型,引入识别模型从变分后验中快速采样,提出的方法在多种序列数据上取得最先进的预测性能,能够合成各种序列。
Sep, 2015
本文提出一种基于深度学习模型的简化 Belief Propagation 方法 (BP Layer),并将其作为卷积神经网络 (CNNs) 的中间层或者最终层来解决密集预测问题,如立体,光学流和语义分割等。
Mar, 2020
该论文介绍了贝叶斯流网络(BFNs),这是一种新的生成模型,通过贝叶斯推理修改一组独立分布的参数,然后将其作为输入传递给神经网络,输出第二个相互依赖的分布。BFNs 在连续数据、离散化数据和离散数据等方面有效,并在图像建模和字符级语言建模任务中实现了有竞争力的对数似然值。
Aug, 2023
提出了一种称为双向推理网络(BIN)的方法,它可以将多个概率神经网络缝合在一起,以建模变量之间的条件依赖关系,并通过迭代更新变量来进行预测。同时,将 BIN 扩展到了复合 BIN(CBIN),通过自适应平滑优化器的方法,在训练阶段的迭代预测过程中提高了精度和计算效率,并在人工合成数据集和真实数据集上展示了 CBIN 单个模型可以实现最先进的性能,而且在大多数推理任务中比为不同任务专门训练的多个模型获得更高的准确性。
Feb, 2019