事件相机的状态空间模型
本研究通过将结构信息整合到在线逼近目标中,采用拉普拉斯正则化项,将状态空间模型理论扩展到时间图,提出了 GraphSSM 框架,用于建模时间图的动态性,实验证明 GraphSSM 在各种时间图基准测试中的有效性。
Jun, 2024
在这篇论文中,我们首次全面回顾了 State Space Model(SSM)作为自注意力基础的 Transformer 模型的特性和优势,并提供了实验比较和分析。此外,我们还研究了 SSM 在自然语言处理和计算机视觉等多个领域的应用,并提出了未来研究的方向,希望能推动 SSM 在理论模型和应用方面的发展。
Apr, 2024
本篇论文提出了一种基于双重随机变分推断和高斯过程的可扩展训练算法,用于可靠地训练完全概率状态空间模型中的潜在状态时间相关性, 并在真实世界基准数据集集上评估了所提出的 PR-SSM 的效果与最先进的概率模型学习方法进行了比较
Jan, 2018
提出了一种名为 SpaceTime 的新型状态空间时间序列体系结构,其通过一种新的 SSM 参数化基于伴随矩阵来提高表现力,并引入一个 “闭环” 变化的伴随 SSM,使其能够生成自己的逐层输入进行长期预测,同时通过算法实现前向传递的内存和计算效率提高,并在大量不同的基准测试中取得最先进的结果。
Mar, 2023
提出了一种名为 Graph State Space Convolution (GSSC) 的方法,该方法是 State Space Models (SSMs) 在图结构数据上的扩展,通过利用全局置换等变集合聚合和以节点之间的相对距离作为卷积核的可分解图卷积核,保留了 SSMs 的三个优点。实验证明 GSSC 在计算图子结构和十个常用基准数据集的表现上比 Message Passing Neural Networks (MPNNs) 更加表达能力强,且在 7 个数据集上取得了最佳结果,在其他 3 个数据集上也有显著提升。该研究结果突出了 GSSC 作为一种强大且可扩展的图机器学习模型的潜力。
Jun, 2024
基于扩散模型,我们提出利用状态空间模型进行视频生成,以解决注意力机制对内存的消耗随序列长度增加而呈二次增长的限制,并通过实验证明在更长的视频序列生成中,我们的基于状态空间模型的方法能够显著节省内存消耗同时保持与基于注意力模型竞争力的结果。
Mar, 2024
通过对比转换器架构的普遍存在的理论弱点,我们的分析揭示了状态空间模型在状态跟踪方面与转换器非常相似的表达能力的限制,这可能从根本上限制了它们解决现实世界状态跟踪问题的能力。
Apr, 2024