- 理解 Transformer 在序列建模中的表达能力和机制
我们对 Transformer 在序列建模中长、稀疏和复杂内存的逼近性质进行了系统研究，调查了 Transformer 的不同组件（如点积自注意力、位置编码和前馈层）对其表达能力的影响机制，并通过建立显式的逼近率来研究它们的综合效应。我们的 - 基于 Transformer 的极化码嵌套构建
通过使用序列建模框架，我们提出了一种针对各种信道条件下，根据给定长度和速率迭代构建极化码的方法，并通过仿真结果显示，序列建模使用变压器设计的极化码在 AWGN 和瑞利衰落信道下比 5G-NR 序列和密度演化方法表现更好。
- 基于 Transformer 的模型在学习模拟结构递归方面仍不完美
研究了基于 Transformer 模型从示例中学习结构递归的能力，探讨了该模型在性能和语义理解等方面的局限性。
- 预测对话中的引发情绪
理解和预测多方多轮对话中的情感轨迹具有重要意义。本研究引入了预测对话中情感的新问题（PEC），采用文本和 / 或情感输入预测下一轮（n+1）的情感，通过建模顺序、自依赖和最近性这三个与对话中引发情感有关的维度，并将它们融入了两种深度神经网络 - 基于决策变压器的实时网络入侵检测
基于过往轨迹和转换器架构的实时网络入侵检测，具有准确性和及时性的新解决方案。
- 频谱状态空间模型
本文研究具有长距离依赖的预测任务的序列建模，提出了一种基于谱滤波算法学习线性动力系统的状态空间模型的新形式。这一提议产生了一种名为谱状态空间模型的新型序列预测架构，通过对合成动力系统进行评估，支持了谱滤波在需要非常长远记忆的任务中的理论优势 - 扩散式任务无关里程碑规划器
利用序列建模方法来预测未来轨迹的决策问题在近年来取得了良好的结果。本文进一步利用这种序列预测方法在长期规划、基于视觉的控制和多任务决策等更广泛的领域中进行研究，提出了一种基于扩散模型的生成序列模型的方法，在潜空间内计划一系列里程碑，并使代理 - 论异构临床时间序列的逐步嵌入的重要性
使用深度学习对表格时间序列模型进行步进式嵌入，提高临床序列建模的性能。
- 提升 AI 研究论文分析：基于因子转换器的序列建模法提取方法论组件
对于快速发展的新型科学方法学的名称的自动提取，本论文提出了一种基于序列建模的分解方法，通过利用方法学领域的宏观类别信息，如 NLP，RL 等，以及在快速发展的人工智能文献中进行实验来说明其可行性，并证明此分解方法在几次试验中超过现有技术基线 - EMNLP具身序列建模中的抽象状态表示的出现
通过序列建模决策，目标是模仿语言模型的成功，其中通过建模代理行为来预测。尽管性能可观，但尚不清楚是否通过序列建模产生了代表环境状态信息的内部表示。本研究利用 BabyAI 环境（一个基于语言的导航任务的格子世界），构建了一个以语言指令、行动 - ICLRGateLoop: 全数据控制的线性递归用于序列建模
门控循环模型 GateLoop 利用了线性递推模型的潜力，通过采用数据控制的状态转换，推广了线性递归模型，如 S4、S5、LRU 和 RetNet，实现了比现有模型更优越的自回归语言建模，具有低成本的递归模式和高效的并行模式以及对 Tran - 将持续学习重构为序列建模
我们在这项工作中旨在建立起机器学习研究的两个重要领域之间的紧密联系：连续学习和序列建模。也就是说，我们提出将连续学习作为序列建模问题进行建模，使得先进的序列模型可以用于连续学习。通过采用元连续学习（MCL）框架，我们可以在元级别上对序列模型 - STORM: 基于随机 Transformer 的高效强化学习世界模型
近年来，基于模型的强化学习算法在视觉输入环境中展现出了显著的效果。本研究介绍了一种名为 STORM 的高效世界模型架构，它将 Transformer 的强大序列建模和生成能力与变分自编码器的随机性结合起来，取得了 Atari 100k 基准 - 使用离散化语音单元探索语音识别、翻译和理解：一项比较研究
通过对离散单元在端到端语音处理模型中应用的系统和全面的探索，实验证明离散单元在几乎所有设置中都可以取得相当好的结果。
- 离线强化学习的多目标决策 Transformer
离线强化学习以多目标优化问题的形式重新定义为序列建模任务，引入动作空间区域以解决变换模型的关注机制在输入上分配变化注意权重的潜在问题。实验证明这些提议使得变换模型更有效地利用关注机制，达到或超过当前最先进方法的性能。
- 基于序列建模的强化学习离策略评估中使用双重策略估计的统计高效方差缩减
提出了一种利用线下序列建模和线下强化学习相结合的双策略估计 (DPE) 的强化学习算法，具有统计上证明的方差降低性质，应用于多个 OpenAI Gym 中的任务，并在 D4RL 基准测试中取得了性能改进，优于基线方法，展示了序列建模强化学习 - 保留网络：大型语言模型的转换器接班者
本文提出了 RetNet 作为大型语言模型的基础架构，同时实现了训练并行性、低成本推理和良好的性能表现。通过理论推导，提出了序列建模的 retention 机制，支持三种计算模式，即并行、循环和分块循环，并在语言建模上取得了良好的结果。
- 大型语言模型作为通用模式机
使用预训练语言模型实现模式补全、序列建模、机器人控制等任务。
- 离线强化学习的隐式计划器：以目标条件预测编码为例
本研究探讨了序列建模在轨迹数据中提取有用表示并对政策学习做出贡献的能力，并引入了 Goal-Conditioned Predicitve Coding (GCPC) 方法，通过对未来的目标条件潜在表示进行学习实现了竞争力表现。
- 跨通道传播：通过自监督学习改善基于扩散的视觉运动策略
本文提出了 Crossway Diffusion 方法，在扩展 Diffusion-based policy 学习过程中利用自我监督学习的目标，以提高视觉运动策略学习的效果，并在各种模拟和实际机器人任务中证明了其优势。