本文介绍了一种新型的线性加性马尔可夫过程 LAMP,并在理论上对其稳态和混合时间进行了分析,同时提出了一种基于交替极小化的算法来从数据中学习 LAMP 模型。实验结果表明,LAMP 模型不仅比一阶马尔可夫模型更有效,甚至在参数复杂度几乎不增加的情况下,也能与深度时序模型(如 LSTMs)相媲美。
Apr, 2017
本文提出了一种新的算法 SS-MAMP 来解决 Approximate message passing 算法在迭代过程中的收敛问题,在满足充分统计条件的情况下保证了算法的收敛和正交性。
Jun, 2022
本文介绍了 AMP Markov 性在高斯链图模型中的应用和最大似然估计方法,结合广义最小二乘法和迭代比例拟合得出迭代算法,并给出了一些有用的迭代算法收敛结果。
Aug, 2005
本研究使用统计物理中的启发式工具定位相变,并计算了多层神经网络中教师 - 学生场景下的最优学习和泛化误差。我们提出了适用于委员会机器的 AMP 算法版本,允许对大量参数进行多项式时间的最优学习,发现存在一些区间,信息理论上可实现低泛化误差,而 AMP 算法则不能满足这个目标,这表明不存在有效的算法解决这些问题,揭示了高的计算间隔。
Jun, 2018
本文介绍了一种新的随机过程类别 Markov 神经过程 (MNPs),由神经参数化的 Markov 转移算子所构造,证明这些转移算子可以保留 SPs 的交换性和一致性,因此提供了对神经过程 (NPs) 框架的迭代构造的灵活性和表现力,实验表明,在各种任务上,MNPs 模型比基线模型具有明显的优势。
May, 2023
本文研究了 Andersson-Madigan-Perlman(AMP)解释下的链图模型,并提出了一种基于约束的算法用于学习一个 FAITHFUL 到给定概率分布的 AMP 链图。此外,还介绍了一种名为最大协方差 - 浓度图(MCCG)的新型图模型,研究了 MCCG 的全局、局部和成对 Markov 特性,并证明它们的等效性,最后,提出了一种用于从 MCCG 中读取概率分布依赖关系的图形准则。
Mar, 2013
本文介绍了一种新型的迭代估计算法 S-AMP,其固定点是在一组(一阶和二阶)矩匹配约束下准确吉布斯自由能的静止点,在大系统极限下。该算法基于测量矩阵的频谱的 S 变换,并将近似信息传递(AMP)算法推广到一般矩阵集合上。此外,我们还表明,S-AMP 的最优性是直接由其设计而不是通过解决单独的优化问题(如 AMP 算法)而实现的。
May, 2014
提出了一种新的低成本迭代参数估计技术 - MAMP,通过长记忆匹配滤波器来抑制干扰并具有与 AMP 相媲美的复杂度,在所有右单位矩阵中,经过优化的 MAMP 收敛于 OAMP/VAMP,并因此成为最优贝叶斯估计。
Jun, 2021
该研究考虑了学习多智能体 Hawkes 过程的问题,并提出了一种多样性驱动的叠加策略,该策略可以改善学习结果和收敛性能,进而在真实数据的顺序推荐系统中解决冷启动问题。
Feb, 2018
本研究利用香农熵的谱分解方法,对 Markov 过程的特征,以及如可表示性,可继承性和可压缩性等属性进行研究。研究者还开发了一种谱方法,用于估计低秩 Markov 模型的转移矩阵,以及恢复状态聚合和可堆叠分区等潜在结构。