Jul, 2019

带有Product Keys的大型内存层

HTML
PDF
TL;DR本文介绍了一种结构化记忆，它可以轻松地集成到神经网络中，并基于产品键的设计和访问模式，使用快速准确的最近邻搜索来显着增加架构的容量。这种记忆层可用于处理非常大规模的语言建模任务，并可以提高模型预测准确性并在训练和测试时间内保持计算效率。我们将其插入基于Transformer的体系结构的代码中，实验结果表明，仅有12层的记忆增强模型优于具有24层的基线Transformer模型，并且在推理时间上快两倍。
发现论文，激发创造
  • 具稀疏读写能力的记忆增强型神经网络的规模化

    我们提出了一种稀疏存储器访问方案（Sparse Access Memory，SAM），实现了具有非常大的内存时的高效训练，SAM在训练上的数据效率与现有模型相当，可以扩展到数千个时间步和记忆量的任务，同时可以适用于维护记忆之间时间关联的模型，如可微分神经计算机（Differentiable Neural Computer）。

    Oct, 2016

  • 使用连续缓存来改进神经语言模型

    本文提出一种扩展神经网络语言模型以适应最近历史的方法，将过去的隐藏活性作为记忆保存，并通过与当前隐藏激活的点积来访问它们，此机制非常高效，能够扩展至非常大的存储空间。同时，作者指出了神经网络外部存储与基于计数的语言模型中缓存模型之间的联系，并在几个语言模型数据集上证明了他们的方法比最近的记忆增强网络性能显着优越。

    Dec, 2016

  • Megatron-LM：使用模型并行训练十亿级语言模型

    本文提出了一种用于训练亿级参数的transformer模型的简便、高效的内部层模型并行方法，并且通过在WikiText103，LAMBADA和RACE数据集中取得了最先进的结果，证明了大型语言模型可以进一步推进最先进的技术。

    Sep, 2019

  • 使用新的执行算法，以恒定内存训练大型神经网络

    本研究提出一种名为L2L的新型执行技术，使用16GB V100设备可以在单个16GB V100和512GB CPU内存的机器上承载高达50亿个参数的模型，相比现有方法，减少了45％的内存使用量并提高了40％的吞吐量，实现了人工智能民主化。

    Feb, 2020

  • 预训练语言模型的大型产品密钥存储器

    本文研究了如何将Product Key Memory（PKM）应用于预训练语言模型中，以提高模型容量和利用率，并验证了通过初始化和增加PKM来提高预训练和下游任务性能的有效性。

    Oct, 2020

  • Transformer前馈层即键值内存

    通过实验我们发现，transformer模型中的前馈层作为键值内存操作，其键与训练示例中的文本模式相关，并且每个值在输出词汇表上引入一个分布。同时利用残差连接使得前馈层的输出分布集中于出现在每个模式后的可能出现的标记。

    Dec, 2020

  • 高效变换器的基于近似的两层前馈网络

    如何在不牺牲性能的情况下减少神经网络的计算和内存需求？本研究提出了sparse Mixtures of Experts方法，通过一种综合框架将各种方法整合在一起以近似两层神经网络，并提出方法来改进这种方法，这样可以使大型语言模型在资源利用方面更加高效。

    Oct, 2023

  • 大型语言模型高效推理的层压化KV缓存

    提出了一种新的方法，只计算和缓存少量层的键值以大幅节省内存消耗并提高推理吞吐量。在大型语言模型上的实验证明，该方法的推理吞吐量比标准Transformer高26倍，同时在语言建模和下游任务中具有竞争性能。此外，该方法与现有的Transformer节省内存技术正交，因此可以轻松将它们与我们的模型集成，进一步提高推理效率。

    May, 2024

  • MLKV：用于内存高效Transformer解码的多层键值头

    通过多层键-值共享方式，将键值缓存扩展到变压器层，进一步降低内存使用量，提高变压器模型在大规模场景中的效率。

    Jun, 2024

  • 记忆³：带显式记忆的语言建模

    利用显式记忆将大型语言模型（LLMs）的训练和推理成本降低，实现更小的参数大小、训练成本和推理成本，从而传递意义的计算。

    Jul, 2024