核信念传播
本文提出了一种基于解线性方程组的方法,用于近似解决循环因子带权 Markov 随机场的置信传播问题,并且这种方法能够同时享有完全收敛的保证和较快的矩阵实现、适应于异质网络的特点。实验结果表明,在节点权重较弱的网络图上,这种线性化的方法在保证准确性的同时大大加快了推断速度,达到了与 BP 相当的标签准确性。
Feb, 2015
本文提出了一种称为 “块置信传播学习” 的方法,该方法使用近似边际的块坐标更新来计算梯度,从而避免了对整个图形模型进行推理。通过实验证明,该方法相较于标准训练方法具有更高的可扩展性。
Nov, 2018
本文引入一种新的技术 —— 随机正交序列消息传递(SOSMP)—— 用于计算具有连续随机变量模型中的 BP 固定点,通过对信息的正交级数展开的确定性近似和基础系数的积分更新的蒙特卡洛估计的随机近似 贴近 BP 固定点,此技术已被证明在任何树形图和满足缩小条件的任何图形中的 BP 更新都会收敛到唯一的 BP 固定点的 δ 邻域。同时,我们演示了如何根据所需的近似精度 δ 和兼容性函数的平滑度来选择基础系数的数量,并通过模拟实例和光流估计应用证明了我们理论的正确性。
Dec, 2012
本文提出了一种低复杂度的信念传播算法 —— 随机信念传播(SBP)算法,该算法是一种自适应随机的 BP 信息传递版本,其信息传递减少了计算复杂度和通讯复杂度,并在各种图形模型中证明了收敛性和计算复杂度降低的理论格局。
Nov, 2011
提出了一种非参数学习 Expectation Propagation(EP)中消息操作符的高效策略,该方法使用基于内核的回归,以代替经典 EP 中所需的多元积分,并具有原理性的不确定性估计,能够在遇到不确定的情况下快速更新,适用于具有多个数据集的学习问题,如逻辑回归分类问题。
Mar, 2015
高维模型中的高效推理是机器学习中的一大挑战。本文介绍了高斯集成信念传播算法(GEnBP),它是集合卡尔曼滤波器和高斯信念传播方法的融合。GEnBP 通过图模型结构中的低秩局部消息传递来更新集合,结合了每种方法的优点,能够处理高维状态、参数和复杂、嘈杂、黑盒子生成过程。GEnBP 特别适用于集合大小远小于推理维度的情况,常见于时空建模、图像处理和物理模型反演等领域。GEnBP 可应用于包括联合学习系统参数、观测参数和潜在状态变量在内的一般问题结构。
Feb, 2024
本研究提出了一种基于粒子的 Loopy Belief Propagation 实现方法,它在连续状态空间上构建了适应性高效的提议分布,使用 Expectation Propagation 框架迭代更新参数,具有更优的效果和更少的计算代价。
Jun, 2015
Circular Belief Propagation (CBP) 是 Belief Propagation (BP) 的扩展,通过学习检测和取消虚假相关性和置信度放大来限制循环引起的消息回声的负面影响,实验结果表明 CBP 在二进制概率图的数值实验中远远超过了 BP,并且与先前提出的算法相比表现良好。
Mar, 2024
使用高斯信仰传递算法(GaBP)解决线性方程组问题,实现了迭代解法,从而实现了分布式消息传递实现解决方案的算法。通过广泛的模拟实验,在具有数百万节点和数亿通信链接的真实网络拓扑上展示了 GaBP 算法的吸引力和适用性。
Nov, 2008
本文设计了一种在再生核希尔伯特空间(RKHSs)中的新型非参数 Bellman 映射,用于强化学习。该方法利用 RKHS 的丰富逼近性质,不依赖数据的统计属性,不需要马尔可夫决策过程的转移概率知识,并可以在没有训练数据的情况下进行操作。该方法还提供了一种变分框架来设计所提出的 Bellman 映射的自由参数,并证明了这些参数的适当选择可以产生几种常见的 Bellman 映射设计。作为应用,这些映射方法被用于解决自适应滤波中的异常值问题。通过在线策略迭代算法,在没有有关异常值的统计信息和训练数据的情况下,选择每个时间实例中 “最优” 系数 p,以实现最小均方 p - 误差法。在合成数据的数值测试中,该方法在大多数情况下表现出比几种强化学习和非强化学习方案更优越的性能。
Mar, 2024