Apr, 2024

使用指针增强神经记忆增强顺序模型中的长度外推

PDF
TL;DR我们提出了 Pointer-Augmented Neural Memory (PANM)，以帮助神经网络理解和应用符号处理于新的、更长的数据序列。PANM 包含一个外部神经记忆，使用新颖的物理地址和指针操作技术，模拟人类和计算机的符号处理能力。通过明确地使用物理指针访问内存内容，PANM 可以促进指针分配、解引用和算术运算。值得注意的是，它可以通过对序列数据进行端到端训练来学习执行这些操作，从而为各种顺序模型提供动力。我们的实验证明了 PANM 在超长推断能力方面的卓越表现，以及在需要符号处理的任务（如算法推理和 Dyck 语言识别）中的改进性能。PANM 帮助 Transformer 在组合学习任务中达到了高达 100% 的泛化准确率，并且在数学推理、问答和机器翻译任务中取得了显著更好的结果。
pointer-augmented neural memorysymbol processingneural networkssequence datacompositional learning
发现论文，激发创造
  • 双序列建模的神经联想记忆

    该研究提出了一种基于关联记忆的新架构用于双序列建模，派生了用于增强通用循环神经网络（RNN）的循环关联记忆（AM-RNNs），扩展至同时操作两个 AM 的 Dual AM-RNN，并在文本推理方面取得了非常有竞争力的结果。

    Jun, 2016

  • 序列到序列学习的深度基于记忆的架构

    DEEPMEMORY 是一种基于神经网络的序列到序列学习框架，采用非线性转换方法来将输入序列（比如中文句子）转换到目标输出序列（比如翻译成英文），其使用内存的堆叠层存储中间表示并进行读写操作来实现从一种表示到另一种表示的非线性转换，这种方法可以处理机器翻译等领域的非常复杂的序列数据，同时 DEEPMEMORY 可以通过正常的反向传播算法进行训练。

    Jun, 2015

  • 增强语言模型的长期记忆

    提出了一种名为 LongMem 的框架，该框架通过引入长期记忆机制，使得语言模型能够利用历史上下文信息，从而使得模型在文本生成等任务中取得了优异效果。

    Jun, 2023

  • 序列建模的长记忆

    提出了一种名为长表达记忆（LEM）的新方法，用于学习长期顺序依赖关系，它可以通过梯度进行高效处理并且具有足够的表达能力，能够学习复杂的输入输出映射，通过实验验证了 LEM 在图像分类、时间序列分类、语音识别、语言建模等任务中的优越性。

    Oct, 2021

  • 端对端记忆网络

    本文介绍了一种具有循环注意力模型的神经网络，该模型可以扩展到可能很大的外部存储器，并被应用于各种任务，如（合成）问答和语言建模。同时，本文展示了多个计算步骤（跳数）的关键概念可以提高性能表现。

    Mar, 2015

  • 高维鲁棒性记忆增强神经网络

    该研究旨在开发一种新型的计算机架构，将内存增强神经网络（MANN）与计算存储器单元相结合，以实现在高维向量上的模拟内存计算，并使用基于内容的注意机制来处理此计算存储器单元上的数据，并在 Omniglot 数据集上展示出良好的性能来完成少样本图像分类任务。

    Oct, 2020

  • 使用连续缓存来改进神经语言模型

    本文提出一种扩展神经网络语言模型以适应最近历史的方法，将过去的隐藏活性作为记忆保存，并通过与当前隐藏激活的点积来访问它们，此机制非常高效，能够扩展至非常大的存储空间。同时，作者指出了神经网络外部存储与基于计数的语言模型中缓存模型之间的联系，并在几个语言模型数据集上证明了他们的方法比最近的记忆增强网络性能显着优越。

    Dec, 2016

  • 记忆增强型大语言模型是计算通用的

    我们展示了通过增加外部记忆来增强变压器型大语言模型以实现计算机普适性的方法。在不修改语言模型权重的情况下，我们将迭代设计被存储的指令计算机以精确模拟通用图灵机 U 15,2，从而证明了这一方法的可行性。

    Jan, 2023

  • 记忆扩展的循环神经网络可以学习广义 Dyck 语言

    本文介绍了三种增强记忆的循环神经网络 (MARNNs)，通过一系列简单的语言建模任务来探索其能力，可以识别具有层级结构的一般性 Dyck 语言，并通过模拟下推自动机来学习带有多达六个圆括号对的 Dyck 语言，此外还包括两个确定性回文语言和字符串反转转导任务。本文还强调了增强记忆模型相对于简单 RNN 的建模能力增强程度，同时，对这些模型的局限性进行了一些思考。

    Nov, 2019

  • 记忆增强神经网络的单次学习

    本研究证明了增强记忆功能的神经网络具有快速吸纳新数据和利用数据进行准确预测的能力，并介绍了一种基于内容而不是基于位置的外部记忆访问方法。

    May, 2016