状态空间模型在机器翻译中的有效性如何？
本文研究了两种简单而有效的注意力机制——全局式和局部式，证明了这两种方法在英德翻译任务中的有效性，并使用不同的注意力架构建立了一个新的WMT'15英德翻译任务最佳结果的集成模型，其BLEU分数为25.9分，比现有的最佳基于NMT和n-gram reranker的系统提高1.0分。
Aug, 2015
本文提出一种基于注意力机制的Transformer模型，优于使用循环或卷积神经网络的现有机器翻译模型，且可并行训练、训练时间更短，使得BLEU评分得以显著提高，并成功将该模型应用于英语句法分析等任务。
Jun, 2017
介绍了一种新的循环记忆单元来加强Transformer框架下文档级机器翻译的一致性，提出了一种两阶段的训练策略，实现了在三个流行数据集上的优异表现，并在TED和News数据集上实现了比过去最好结果更好的结果。
May, 2022
本文介绍了最近提出的序列模型Structured State Spaces，以及将其应用于机器翻译任务中的实验。我们发现，与Transformer相比，S4在翻译长句方面存在困难。最终我们提出加入注意力机制，使得S4的性能优于Transformer。
Apr, 2023
使用混合模型能够增强在语言模型中的上下文学习能力，这项研究对几种模型进行了比较，发现混合模型可以在某些任务中克服各个模型独立处理时的局限性。
Feb, 2024
序列建模是跨多个领域的一个关键领域，包括自然语言处理、语音识别、时间序列预测、音乐生成和生物信息学。历史上，循环神经网络（RNNs）和长短时记忆网络（LSTMs）在机器翻译、命名实体识别等序列建模任务中占主导地位，但转换器的进步改变了这一范式，因为其性能更优越。然而，转换器面临O(N^2)注意力复杂度和处理归纳偏差的挑战。各种改进方法已被提出来应对这些问题，其中使用频谱网络或卷积在一些任务上表现良好，但仍然难以处理长序列。状态空间模型（SSMs）已经成为此背景下序列建模范式的有希望的可替代选择，特别是随着S4及其变种（如S4nd、Hippo、Hyena、Diagnol State Spaces（DSS）、Gated State Spaces（GSS）、Linear Recurrent Unit（LRU）、Liquid-S4、Mamba等）的出现。本综述将基于门控结构、结构体系和循环结构对基础SSMs进行分类，还重点介绍了SSMs在视觉、视频、音频、语音、语言（特别是长序列建模）、医疗（包括基因组学）、化学（如药物设计）、推荐系统和时间序列分析等领域的不同应用。此外，我们总结了SSMs在长序列竞技场（LRA）、WikiText、Glue、Pile、ImageNet、Kinetics-400、sstv2以及早餐、硬币、LVU等各种时间序列数据集上的性能。有关Mamba-360工作的项目页面可在此网页上找到：https://github.com/badripatro/mamba360。
Apr, 2024
选择性状态空间模型（SSMs）如Mamba克服了Transformer的一些缺点，例如与序列长度呈二次增长的计算复杂度和从键值缓存中获取大量的推理时间内存需求。此外，最近的研究显示，SSMs可以达到或超越Transformer的语言建模能力，使其成为一种有吸引力的替代选择。然而，迄今为止的研究只在相同数据的受控环境中进行了小规模实验，比较了SSMs和Transformers。为了了解这些体系结构在更大规模上的优缺点，我们在相同数据集上直接比较了8B参数的Mamba、Mamba-2和Transformer模型，数据集涵盖了多达3.5T个标记。我们还将这些模型与由43%的Mamba-2、7%的注意力和50%的MLP层（Mamba-2-Hybrid）组成的混合体系结构进行了比较。通过使用多种任务，我们回答了Mamba模型是否能在较大的训练预算下与Transformers相匹配的问题。我们的结果表明，纯SSMs在许多任务上达到或超越了Transformers，但在需要强大的复制或上下文学习能力（例如，5-shot MMLU、电话簿）或长期推理的任务上，它们落后于Transformers。相反，我们发现8B的Mamba-2-Hybrid在我们评估的所有12个标准任务上超过了8B Transformer（平均增加2.65个点），并且在生成推理标记时预计速度最多快8倍。为了验证长期上下文能力，我们进行了其他实验，评估了支持16K、32K和128K序列的Mamba-2-Hybrid和Transformer的变体。在23个额外的长期上下文任务中，混合模型在平均水平上继续紧密匹配或超越了Transformer。为了进一步的研究，我们将检查点以及用于训练我们的模型的代码作为NVIDIA的Megatron-LM项目的一部分发布。
Jun, 2024
本研究针对 Mamba 模型在长上下文理解中的效率问题，提出了 ReMamba，该模型通过选择性压缩和适应技术，增强了 Mamba 对长上下文的理解能力，且额外推理成本极小。实验结果显示，ReMamba 在 LongBench 和 L-Eval 基准测试中，分别提高了 3.2 和 1.6 的表现，表现接近相同大小的变压器模型。
Aug, 2024
本研究针对Mamba模型在长上下文理解能力的不足进行了探讨，并提出了ReMamba，旨在提高其长上下文的理解能力。ReMamba通过选择性压缩和适应技术，在两阶段的再前馈过程中引入，几乎不增加额外的推理成本，实验结果表明其在LongBench和L-Eval基准上均显著优于传统基线。
Aug, 2024
本研究针对Mamba模型在长上下文理解能力有限的问题，提出了一种改进的方法ReMamba，通过在两阶段重新前馈过程中引入选择性压缩和适应技术，从而提升了Mamba对长上下文的理解能力。实验结果表明，ReMamba在LongBench和L-Eval基准上分别提高了3.2和1.6个百分点，且性能接近同尺寸的变换器模型。
Aug, 2024