用克隆的隐马尔可夫模型学习高阶时序结构
本研究重新探讨使用最新的神经模型方法实现隐藏马尔可夫模型(HMM)规模化的挑战,提出了一种方法来快速有效地在大规模状态空间中对 HMM 进行精确推断、紧凑参数化以及有效规范化,取得的实验证明,该方法比之前的 HMM 和 n-gram 方法更准确,为实现最先进的神经模型的性能作出了贡献。
Nov, 2020
分析医疗时间序列数据具有挑战性,而多维度且具有不规则采样、噪声和缺失值的数据、违反可交换性的异质患者组以及可解释性和不确定性量化至关重要。本文提出了一种新颖的模型类别 —— 混合耦合隐马尔可夫模型(M-CHMM),并展示了它优雅地解决了这些挑战。通过提出基于(i)粒子滤波和(ii)分解近似的采样器算法,我们使模型学习成为可能。与现有推理方法相比,我们的算法具有计算可行性、改善混合度和似然估计的特点,似然估计对于学习混合模型是必要的。对具有挑战性的真实流行病学和半合成数据的实验证明了 M-CHMM 的优点:改善数据拟合,能够高效处理缺失和噪声测量,提高预测准确性,并能够识别数据中可解释的子集。
Nov, 2023
本文提出了分层时序记忆(HTM)的序列记忆,使用无监督的 Hebbian-like 学习规则可以连续学习大量变序列。 HTM 序列记忆能够处理多元序列及预测,还具有连续的在线学习、处理多元及多分支序列的能力、传感器噪声稳健性和容错性等优点,可应用于离散和连续序列预测、异常检测和序列分类等多领域。
Dec, 2015
本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径,并在文本数据和医疗时间序列数据上测试了该算法,发现 LSTM 和 HMM 学习文本特征的信息互为补充。
Nov, 2016
本文提出了一种称为变分分层 EM (VHEM) 的算法,用于基于分层 EM 算法 (HEM) 对 HMM 进行聚类。该算法将给定的 HMM 集合聚类成相似的 HMM 组,并用集群中的 HMM 表示集群,以便更好地在时序数据的各种任务上使用。结果显示,VHEM 能够改善模型鲁棒性、减少学习时间和内存需求。
Oct, 2012
本文提出了一种学习算法来从数据中估计 HQMM 的参数,该算法可以模拟经典的 HMM 并放宽了在量子电路上建模 HMM 的限制,同时在合成数据上的试验表明,我们的算法可以学习与真实 HQMM 相同数量状态和预测精度的 HQMM,而用 Baum-Welch 算法学习的 HMM 则需要更多状态才能匹配预测精度。
Oct, 2017
提出了一种名为 Pyramidal Hidden Markov Model (PHMM) 的模型,通过采用金字塔式堆叠的方式自适应地识别长期多步随机状态,能够有效处理非平稳和嘈杂数据,建立更准确、全面的长期依赖性进行时间序列预测,实验证明该模型在多元时间序列数据上相比竞争对手有更好的性能。
Oct, 2023
本文通过扩展树状数据上的隐马尔可夫模型 (HMMs) 框架,专注于解决具有相互关联分支的树状结构数据的场景,研发了一种能够高效解决似然、解码和参数学习问题的动态规划算法,具有多项式规模计算可行性且不受下溢问题的影响,为分析复杂生物数据提供了实用工具,同时推进了对树状 HMMs 的理论理解。
Jun, 2024
本文讨论了如何从不知道缺失数据位置的数据中学习隐马尔可夫模型,在医学和计算生物学等领域中,这些缺失数据会成为使用隐马尔可夫模型的障碍。作者为这个问题提出了一种生成缺失数据位置的通用模型,并给出了两种学习算法,即(半)解析方法和 Gibbs 采样。在各种情况下对这些算法进行了评估和比较,测量了它们在模型错误规格化下的重建精度和鲁棒性。
Mar, 2022
这篇研究提出了一种混合隐藏马尔可夫 - LSTM 模型,用于交通流预测,相比于传统方法,如 Markov 切换 ARIMA 和 LSTM,该模型具有显着的性能提升。
Jul, 2023