本研究介绍了一种新的递归神经网络的方法，即基于粒子滤波的递归神经网络，它将不确定性建模为一组粒子，并提出了一种全可微分的粒子滤波算法来更新其内部状态分布，实验证明该方法在真实世界序列预测方面优于标准门控递归神经网络。

May, 2019

采用基于粒子流的贝叶斯推理方法，通过状态空间模型实现时间序列预测以及不确定性分析，比当前点预测方法提供更好的不确定性特征与相似的预测准确性。

Jun, 2021

我们提出了一种基于长短期记忆机制的算法来解决非均匀采样数据上具有长期依赖性的序列建模问题，其核心是将记忆从时间连续状态中分离出来，形成了一种新的 ODE-LSTM 模型。实验证明，该模型在非均匀采样数据的长期依赖建模上优于基于其他递归神经网络的模型。

Jun, 2020

这篇研究提出了一种混合隐藏马尔可夫 - LSTM 模型，用于交通流预测，相比于传统方法，如 Markov 切换 ARIMA 和 LSTM，该模型具有显着的性能提升。

Jul, 2023

通过将循环神经网络与隐马尔科夫模型相结合，旨在增加其可解释性，发现 LSTM 和 HMM 可以学习互补的文本特征信息。

Jun, 2016

本文介绍了一种利用长短时记忆模型和隐马尔科夫模型相结合的方法来提高循环神经网络的可解释性的途径，并在文本数据和医疗时间序列数据上测试了该算法，发现 LSTM 和 HMM 学习文本特征的信息互为补充。

Nov, 2016

本文提出了一种基于可视化分析的方法，通过理解和比较用于自然语言处理的循环神经网络模型，包括基于各个隐藏状态单元对输入文本的响应和相似性进行 聚类和可视化，以及通过基于聚合信息的图标序列可视化分析 RNN 的隐藏状态的行为，实验结果表明该方法在领域专家的案例研究和评论中具有可用性和有效性。

Oct, 2017

本文介绍了神经粒子平滑法，一种用于从给定概率模型中采样输入字符串注释的顺序蒙特卡罗方法，通过训练向前看的 LSTM 来改进样本的质量，同时解释了神经模型和神经采样器可被视为处理非常大状态空间上的 HMM 时的低维非线性逼近。

Apr, 2018

我们提出了一种新的模型，Predictive State Recurrent Neural Networks (PSRNNs)，用于过滤和预测动态系统中的信息。我们使用了循环神经网络 (RNNs) 和预测状态表示 (PSRs) 的见解，并继承了这两种模型的优势。我们表明，我们的模型可以通过联合反向传播算法和基于统计一致性的学习算法 Two-Stage Regression (2SR) 的初始化来有效地学习和因数分解模型大小，以减少模型计算时间和提高模型性能。通过实验，我们证明了在所有情况下，PSRNNs 比其他常见的动态系统建模方法都有更好的表现。

May, 2017

该研究提出了一种新颖的内存高效的循环神经网络（RNN）架构，用于解决目标定位问题，并通过将经典的粒子滤波器与 GRU RNN 架构相结合，提出了构建粒子滤波器 RNN 模型（mePFRNN）的关键特性是在处理不同尺寸环境时所需的参数数目相同。因此，相比于先前提出的 PFRNN 模型，该提议的 mePFRNN 架构消耗更少的存储参数内存。通过在对称且嘈杂的环境中进行测试，以展示我们模型的性能，实验结果表明，相比于其他考虑的竞争者，mePFRNN 模型具有更精确的定位结果，并且需要更少的训练参数。

Oct, 2023