- 层级状态空间模型用于连续序列到序列建模
基于原始感官数据的推理是一个普遍存在的问题，本研究提出了一种基于分层状态空间模型（HiSS）的新技术，用于连续的序列预测，并在六个真实传感器数据集上展示了其优越性。
- 蟒蛇是否能学会学习？一项关于上下文学习任务的比较研究
使用混合模型能够增强在语言模型中的上下文学习能力，这项研究对几种模型进行了比较，发现混合模型可以在某些任务中克服各个模型独立处理时的局限性。
- BlackMamba: 状态空间模型的专家混合
利用 Mamba SSM 和 MoE 相结合的新型架构 BlackMamba，在模型训练和推理 FLOPs 方面表现优秀，实现了 SSM 的线性复杂度生成和 MoE 快速高效推理的结合。
- ACLLOCOST: 面向长文档提要生成的状态空间模型
LOCOST 是基于状态空间模型的编码器 - 解码器结构，用于带有长上下文输入的条件文本生成，具有低复杂度的计算和能够处理超长序列的能力。在长篇摘要任务上评估模型，其性能可与同等规模的顶级稀疏转换器相媲美，同时在训练过程中节省高达 50% - 在线变分顺序蒙特卡洛
在该研究中，我们使用基于粒子方法和变分推断的变分序贯蒙特卡洛（VSMC）方法，在时间上分布了 VSMC 代理 ELBO 的梯度的近似，从而实现了面向数据流的在线学习，能够高效地进行参数估计和粒子提议适应。同时，我们提供了与数据量趋于无穷大时 - 基于置信传播的顺序蒙特卡洛自动瑞奥 - 布莱克韦利化
本文提出了一种混合推断算法，能够在可能的情况下使用置信传播计算封闭解，在出现精确计算失败时使用基于采样的顺序蒙特卡洛方法，该算法实现了自动的 Rao-Blackwellization，对于高斯树模型甚至可以实现精确推理。
- 循环距离编码神经网络用于图表示学习
通过最短距离和线性循环网络，我们提出了一种新的图神经网络架构，以解决信息提取和计算复杂度的挑战，并在各个基准测试中展示了与最新颖的图转换器相比性能具有竞争力且计算复杂度大大降低。
- 稳定的状态空间模型的记忆问题通过稳定的参数化得到缓解
在本文中，我们从参数化的角度研究了状态空间模型（SSMs）的长期记忆学习能力。我们证明了没有进行重新参数化的状态空间模型具有类似于传统循环神经网络的记忆限制：状态空间模型能够稳定逼近的目标关系必须具有指数衰减的记忆。我们的分析将这种 “记忆 - 通过近似对角化为长序列的状态空间模型提高鲁棒性
在这篇论文中，我们提出了一个用于解决机器学习中的病态对角化问题的通用、稳定的 “扰动 - 然后对角化” (PTD) 方法，并基于此方法引入了 S4-PTD 和 S5-PTD 模型。通过对不同初始化方案的传递函数进行理论分析，我们证明了 S4 - 具有逐层非线性的状态空间模型是具有指数衰减记忆力的通用逼近器
通过在时间方向上添加逐层非线性激活函数，我们证明堆叠状态空间模型能够近似任意连续序列关系，并增强模型学习复杂序列模式的能力，同时理论和实证结果表明状态空间模型并不能根本解决指数衰减记忆问题。
- 无采样概率深度状态空间模型
提出了一种基于神经网络的确定性推理算法，用于训练和测试具有未知参数形式的概率深度状态空间模型，实验结果表明该方法在预测性能和计算预算方面具有卓越的平衡性。
- 多应答异方差高斯过程模型及其推断
通过引入异方差高斯过程（Heteroscedastic Gaussian process regression），并结合协变量引导的精度矩阵过程的混合公式，我们提出了一个新的框架，扩展了异方差高斯过程（HeGP）的概念，从回归任务扩展到分类 - 应用状态空间模型的图论方法在气候科学中的 Granger 因果关系研究
Granger 因果性作为一种评估一个时间序列对另一个时间序列的可预测性的方法，在许多应用领域被广泛使用，本研究提出了一种基于图形状态空间模型的 Granger 因果性方法，应用于气候问题，并展示了其相对于标准 Granger 因果性方法的 - 稀疏图线性动态系统
该研究论文提出了一种新的联合图模型框架来填补现有的状态空间模型中静态图模型和基于因果关系的图模型之间的缺失。作者通过引入一个高效的块交替主要化极小化算法实现了该框架，并通过对合成和真实气象变化数据的实验验证了所提出模型和推断算法的有效性。
- 基于深度高斯马尔科夫随机场的图结构动态系统
该论文提出了一种基于图结构状态空间模型的概率推理方法，利用深度学习和高斯马尔可夫随机场的有原则的推理方法，定义简单的空间和时间图层，并通过变分推理从单个时间序列中高效地学习出灵活的时空先验分布，可缩放地采样出闭合的后验。
- 一种基于子空间编码器方法的非线性状态空间识别初始化方法
本文介绍了使用 Best Linear Approximation (BLA) 对子空间编码器方法进行初始化的方式，该方式在弱非线性系统中提高了模型质量，并且解决了训练过程中的收敛问题。
- ICLR利用简单的离散状态空间有效建模时间序列
提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构，其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力，并引入一个 “闭环” 变化的伴随 SSM，使其能够生成自己的逐层输入进行长期预测，同时通过算法实现前向传递的内存和计 - 具有隐含因果效应分离的神经状态空间建模
本文介绍了一种用于重建生理系统中微弱信号的新技术，通过显式建模和分离潜在内部干预对系统的潜在状态产生的影响，并通过推断隐藏的内部干预来实现对本机干预的动态的建模，从而重建招发生在心脏电学传导中的异常事件，并演示了其在电学传导中的应用（使用深 - 利用神经网络进行连续时间系统辨识：模型结构和拟合标准
本文提出了一种基于状态空间模型的、定制化神经模型结构及两种自定义拟合标准，通过优化隐藏状态与神经网络参数以最小化测量输出和估计输出之间的差异，同时保证优化状态序列与估计系统动态一致，从而证明了该方法的有效性，进而在三个案例研究中应用于系统辨 - 用于强化学习的快速生成模型的学习和查询
在模型基强化学习中，精心设计的生成模型 —— 状态空间模型可以学习和操作紧凑的状态表述，并且显著降低动作序列预测的计算成本。在广泛的实验中，状态空间模型可以精确捕捉 Atari 游戏的动态，并且提供了高速计算，这使它们在强化学习的决策中具有