NIPSJun, 2015

使用无界记忆学习传导

PDF
TL;DR使用设计成类似于机器翻译等实际转换问题的合成语法，我们探索了深度循环神经网络的表达能力并提出了新的基于记忆的循环网络，实现了传统数据结构（如堆栈、队列和双端队列）的连续可微分模拟。我们证明，这些架构表现出卓越的泛化性能（generalisation performance）并且通常能够学习到生成算法。
deep recurrent neural networkssynthetic grammarsmemory-based recurrent networksgeneralisation performancetransduction experiments
发现论文，激发创造
  • 用循环神经网络进行序列传导

    本文介绍了一种基于递归神经网络的端到端，概率序列转换系统，该系统可以将任意输入序列转换为任意的有限离散输出序列，并在 TIMIT 语音语料库上提供了音素识别的实验结果。

    Nov, 2012

  • 神经堆栈的无可及转换

    分析了增加堆栈功能的 RNN 模型的行为，研究它们在多个任务中的表现，并发现这些模型可以通过发现直观的基于堆栈的策略来解决这些任务。但是，与 LSTMs 等经典架构相比，堆栈 RNNs 更难训练，并且更复杂的网络通常会将栈用作非结构化内存来找到近似解。

    Sep, 2018

  • 自生成的重播记忆用于持续神经机器翻译

    通过利用编码器 - 解码器 Transformers 的生成能力，我们提出了一种新的方法来持续学习神经机器翻译系统，以有效地从包含不同语言的经验流中学习，通过使用模型作为生成器填充重播记忆来对抗灾难性遗忘，而无需明确记忆训练数据。

    Mar, 2024

  • Transduce：学习用于字符串转换的转导文法

    从输入输出示例中综合字符串转换程序，利用各种技术，基于归纳偏差，包含一组受限基本运算符进行组合。提出了一种新算法 Transduce，基于抽象转导语法及其概括。我们通过实验证明，Transduce 可以在没有归纳偏差的情况下有效地学习位置转换，成功率高于当前最先进技术。

    Dec, 2023

  • 记忆扩展的循环神经网络可以学习广义 Dyck 语言

    本文介绍了三种增强记忆的循环神经网络 (MARNNs)，通过一系列简单的语言建模任务来探索其能力，可以识别具有层级结构的一般性 Dyck 语言，并通过模拟下推自动机来学习带有多达六个圆括号对的 Dyck 语言，此外还包括两个确定性回文语言和字符串反转转导任务。本文还强调了增强记忆模型相对于简单 RNN 的建模能力增强程度，同时，对这些模型的局限性进行了一些思考。

    Nov, 2019

  • 使用 RNN Seq2seq 模型学习跨序列转换和对齐

    本研究使用递归神经网络序列对序列 (RNN seq2seq) 模型，研究其在学习四种字符串转换任务（相同、反向、完全重复和指定输入重复）方面的能力，发现虽然关注度有助于学习，但是其结果仍存在显著局限性。此外本研究结果更好地说明了形式语言的复杂性层次结构，而不是字符串转移的层次结构。

    Mar, 2023

  • 循环神经网络的语言知识作为记忆

    通过使用外部语言知识来作为 RNN 模型的显式信号，将文本序列图形化表示并进行无环子图分解，以实现 RNN 模型对长期依赖关系的建模，并应用于文本理解任务，实现新的 SOTA 效果。

    Mar, 2017

  • 揭开语言习得的黑盒子

    通过序列记忆和分块构建的最小认知体系架构用于学习语言，替代了使用深度学习的大型语言模型，并且能够从零开始学习人工语言，并提取支持学习的语法信息。研究表明这种简单的架构的强大性，并强调序列记忆作为语言学习过程的关键组成部分的重要性，这可能解释了仅人类发展了复杂语言的原因。

    Feb, 2024

  • 使用向量量化预测网络状态的 RNN 转录器 VQ-T

    本文研究使用 VQ-LSTM 单元在预测网络中来改善 ASR 系统中 beam search 和 hypothesis merging 算法中的问题，实验结果支持这种 LSTM 单元与传统 LSTM 网络相比能够产生更好的 ASR 性能和效果。

    Aug, 2022

  • 无监督循环神经网络语法

    本文介绍利用无监督学习方法，采用变分推断的深度学习算法，成功地应用于语法树和句子的生成，在语言建模和语法识别领域已经有较广泛的应用。

    Apr, 2019