本文提出了一种基于演化算法和特定领域语言的 Back-propagation 算法变体发现方法,发现了多个更新方程式,这些方程式在训练时间更短时能够比标准的 Back-propagation 算法具有更快的训练速度,并在收敛后表现相似。
Aug, 2018
本文研究概率图模型中置信传播算法的性能,特别关注模型参数对固定点数、收敛性和逼近质量的影响。
Sep, 2022
提出了一种基于预测信念传播的新型学习和推断算法,对于一般潜变量图模型,算法将硬参数学习问题简化为一系列监督学习问题,并将学习不同种类的潜变量图模型统一到一个局部最优、统计一致的学习框架中,此算法在合成和真实数据集上显著优于前人方法,也更快地计算。
Dec, 2017
本研究中,我们分析了一种叫做目标传播(TP)的替代反向传播(BP)的方法,从数学优化的角度进行了研究,并发现了它的基本限制。我们提出了一个创新性的重构损失来改善反馈权重训练,并通过允许直接反馈连接从输出到每个隐藏层来引入架构灵活性。实验结果表明,与差分目标传播(DTP)相比,性能得到了显著提高,并且前向权重更新与损失梯度的对准得到了改善。
Jun, 2020
本研究证明了置信传播算法在容量约束最小费用网络流问题上的全多项式运行时间,还证明了算法的随机逼近方案,这提供了理论依据支持置信传播算法成为解决一类重要的优化问题的有吸引力的方法。
Apr, 2010
研究图模型中 “信念传播” 的收敛性及其在 Ising 模型中的应用。
May, 2019
使用信念传播技术在传感器网络中推理环境数据,并通过通信交流信念而非原始传感器值,具有紧凑的实现和分布式特性,可在异步环境和节点故障情况下跟踪环境变化,并在传感器网络等实时数据处理应用中发挥重要作用。
Oct, 2012
本文提出了一种将 Belief Propagation 算法扩展到量子网络的方法,并研究了量子 Markov Networks 的结构,探讨了使用量子 Belief Propagation 作为一种启发式算法的可能性。最后,描述了该方法在量子纠错编码和模拟多体量子系统中的应用。
Aug, 2007
提出了 GAIT-Prop 算法,该算法是目标传播算法的一种改进形式,并与 Backpropagation 算法在某些条件下等价。该算法在神经网络训练中可以产生与传统 Backpropagation 算法几乎相同的性能表现,尤其在软正交性约束得到应用时。
Circular Belief Propagation (CBP) 是 Belief Propagation (BP) 的扩展,通过学习检测和取消虚假相关性和置信度放大来限制循环引起的消息回声的负面影响,实验结果表明 CBP 在二进制概率图的数值实验中远远超过了 BP,并且与先前提出的算法相比表现良好。
Mar, 2024