ConvSSMs combine ConvLSTM and state space methods to efficiently model long spatiotemporal sequences, outperforming Transformers and ConvLSTM in terms of training speed and sample generation while matching or exceeding state-of-the-art methods on various benchmarks.

Oct, 2023

提出了一种结构化状态空间序列模型（S4），它在处理长依赖序列数据方面与传统模型相比有着更好的结果，通过调整状态矩阵可以将模型计算复杂度降低，达到了 SOTA 水平。

Oct, 2021

利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

May, 2017

本论文提出了一种轻量级掩膜生成器的技术，采用长短掩膜对 S4 模型进行改进，从而更有效、准确地模拟视频中的长期时空依赖关系，并在三个数据集上均取得了比之前最先进的 S4 模型更高的准确性，降低了 23％的内存占用。

Mar, 2023

长序列模型中，使用了 LongVQ 方法以更有效地利用向量量化技术来压缩全局抽象，并以线性时间计算注意力矩阵，有效地解决长距离依赖问题。

Apr, 2024

通过采用分层和分块思想，我们提出了 CHELA（硬件高效的短长卷积与线性注意力）来解决线性注意力在因果设置下仅保持在理论层面的问题，同时通过替换状态空间模型（SSMs）为短长卷积，实现了稳定的 SSMs，保持真正的线性复杂度。通过对 Long Range Arena 基准和语言建模任务的综合实验，我们证明了所提方法的有效性。

Jun, 2024

本研究提出了 LSG attention 机制以解决 Transformer 模型自注意力机制中违反 $O (n^2)$ 的限制，同时还提出了相应工具和方法用于新模型的训练和现有模型的调整。实验结果表明，LSG attention 机制在长文本的分类和摘要任务中效率优秀，也可以用于有效地扩展预训练模型的序列长度。

Oct, 2022

研究比较深度卷积网络和带有循环结构的深度卷积神经网络的效果，针对视频识别、图像描述、检索以及视频叙事方面的问题，开发出一种新颖的循环卷积架构，该架构可以训练端到端，可以同时学习时间动态和卷积感知表示，并具有学习长期依赖性的能力。实验结果证明，循环卷积模型在识别或生成方面与现有的模型相比具有明显的优势。

Nov, 2014

该文章介绍了一种名为 TaLK Convolutions 的自适应卷积操作，通过预测汇总内核的大小而不是使用固定大小的内核矩阵，使序列编码过程的时间复杂度为 O (n)，从而有效地改善了注意力 / 卷积算法等方面的问题，这种方法对于大规模标准机器翻译、抽象摘要和语言建模数据集的效果具有显著的改进。

Feb, 2020

我们提出了一种新的全局卷积网络方法，利用全息降维表示（HRR）来编码和解码序列元素的特征，并且在微软恶意软件分类挑战、Drebin 和 EMBER 恶意软件基准测试中取得了最新的研究成果，时间复杂度高效。

Mar, 2024