- 神经序列模型的时滞嵌入理论
为了生成连贯的回应，语言模型从输入文本序列中推断未观察到的含义。本研究通过测试序列模型重建未观察到动态系统的能力，发现每个序列层可以学习到该系统的可行嵌入。然而，状态空间模型比变压器具有更强的归纳偏差，尤其是它们在初始化阶段更有效地重建未观 - 通过随机游走学习图上的长程依赖
本文提出了一种名为 NeuralWalker 的新型架构，通过将随机游走视为序列，利用序列模型捕捉这些游走中的长程依赖关系，从而克服了消息传递图神经网络和图变换器方法的局限性，实现更具表达力的图表示，并能够使用任何序列模型来捕捉长程依赖关系 - 层级决策曼巴
通过引入两种新方法，Decision Mamba (DM) 和 Hierarchical Decision Mamba (HDM)，增强了 Transformer 模型的性能，实验证明 Mamba 模型在大多数任务中优于 Transform - CALRec：生成式 LLM 的对比对齐在顺序推荐中的应用
传统推荐系统如矩阵分解方法依赖于学习一个共享的稠密嵌入空间来表示物品和用户偏好。最近，序列模型如 RNN、GRU 和 Transformer 在序列推荐任务中也表现出色。研究人员最近开始探索使用在大量文本语料库上预训练的大型语言模型（LLM - 基于马尔可夫序列的缺失质量优化估计
我们研究了离散时间，符合遗传马尔可夫链问题中估计固定质量（也称为 unigram 质量）的问题。我们开发了一种线性运行时间估计器，称为 Windowed Good-Turing（WingIt），并证明它的风险按照混合时间的总变化比例衰减。
- SplAgger: 元强化学习的拆分聚合
通过研究表明，即使在没有任务推断目标的情况下，任务推断序列模型仍然是有益的，并提出了 SplAgger 方法，通过使用置换变体和不变体组件，以在连续控制和记忆环境中胜过所有基线。
- AMAGO：面向自适应代理的可扩展上下文强化学习
AMAGO 是一个上下文强化学习代理，使用序列模型解决泛化、长期记忆和元学习的挑战，通过重新设计离策略上下文方法，能够训练长序列 Transformer 以整合端到端强化学习，在元强化学习和长期记忆领域展现出强大的实证性能，并且在稀疏奖励和 - 适用于顺序保持序列建模的变分连接主义时间分类
将序列模型 CTC 与变分模型相结合，导出两个可用于训练保持顺序、更具普适性的序列模型的损失函数，实现直接优化模型对数似然的变分下界。
- 无监督序列模型中的世界模型中的线性表现
序列模型对其决策过程是如何表示的？我们的研究表明，将模型的内部状态线性化表示为 “我的颜色” 与 “对手的颜色” 可以通过简单的向量运算来控制模型的行为，从而实现对内部表示的精确理解。线性表示为解决序列模型的解释性问题提供了重要进展，并通过 - 线性递推跟随非线性投影的普适性
使用基于循环线性层（包括 S4、S5 和 LRU），与位置逐层多层感知器（MLPs）交错的序列模型家族可以有效逼近任何足够规则的非线性序列映射，其中循环层被视为能够将输入序列信息忠实地存储在内部状态中，并在高度表达的 MLP 进行处理之前。
- 序列决策的大规模序列模型：一项调查
该论文综述了基于 Transformer 的序列模型在解决序列决策问题、加强学习等方面的应用，分类讨论了不同的应用方式，并提出了未来研究的潜在方向，包括理论基础、网络架构、算法和高效训练系统。
- 多模态情感识别基于时间模型的比较
本文研究了在多模态情感识别中使用不同序列模型的表现，使用多层 CNN 模型处理音频和图像，比较了 GRU、Transformer、LSTM 和 Max Pooling 这四种序列模型的准确度、精度和 F1 分数，观察到这些序列模型在情感识别 - 使用对角线线性递归神经网络简化和理解状态空间模型
本文主要介绍了一种基于线性状态空间的序列模型，使用 vanilla Diagonal Linear RNNs 构建模型，并比较了该模型与 SSMs 以及 attention-based models 的表现。作者在 13 个合成序列任务中分 - 基于眼动的神经序列模型对汉语研究者和失读者的分类
本文提出两个能够处理整体刺激物的简单序列模型，不需要对句子中所有单词进行特征聚合，同时根据儿童的眼动情况，从语言学角度研究汉语读者的识别障碍。结果表明，使用序列模型可以在眼动序列上识别视觉障碍，但将语言刺激考虑在内并无法提高识别率。
- 分层决策 Transformer
本文提出了一种层次算法用于从演示中学习序列模型，可解决强化学习中的任务策略估计问题，通过选择子目标来指导低层控制器完成任务，改善了以往方法的性能，并证明了其在多项任务中优于基线方法，表明层次模型适用于从演示中学习序列模型。
- 文本分类任务的深度序列模型
本文研究大数据领域，探讨了自然语言处理、文本分类和序列模型的应用，结果显示序列模型在二分类和多分类上取得了优异的成果，但机器仍需进一步改进以达到人类水平。
- 动态图神经网络建模海洋变量
在本文中，我们使用先进的机器学习方法，包括序列模型（LSTM 和 Transformers）和关系模型（图神经网络），建立了一个在巴西东南海岸 Santos-Sao Vicente-Bertioga 海湾地区可以预测洋流速度和海面高度等环境 - RobBERTje: 一个被蒸馏的荷兰 BERT 模型
该论文讨论预训练模型以及使用语言模型精简方法创建的 RobBERTje 蒸馏模型，发现在包含长序列的任务上，与其教师模型相比，蒸馏模型具有更少的性别刻板印象和更好的训练和性能效果。
- MM得分变换器：从音符级别表示生成音乐得分
本文讨论了使用 Transformer 模型对音乐成分进行分词表示的方法，以生成适当的音乐符号表示法。研究发现，该方法在所有 12 种音乐方面都显著优于现有方法。作者还探讨了适合使用该模型的有效符号表示法，确定了该方法的最佳效果。
- 序列模型中的妄想：交互和控制
本研究讲述了如何通过将动作视为因果干预来从根本上解决大型序列模型自我建议错觉问题的难题，并结合事实和反事实误差信号的有监督学习方法，教授系统如何对数据进行调节或干预。