Oct, 2019

有序记忆

PDF
TL;DR本研究提出了一种命令式记忆网络结构（Ordered Memory architecture），通过引入一种新的基于注意力机制的累计概率控制内存的写入和擦除操作，并使用一种新的门控递归单元将低级表示组合成高级表示。在逻辑推理和列表组合任务中获得了强大的表现，并证明其表现与现有方法相当。
发现论文，激发创造
  • 有序记忆基准

    本文评估了 Shen 等人提出的有序记忆模型在自然语言处理中的表现，并发现该模型的性能可以媲美当今树状模型的最佳表现，同时优于那些需要更少参数的模型。

    Feb, 2023

  • 有序神经元：将树结构集成到循环神经网络中

    本文提出了一种新的循环神经网络体系结构，称为 ON-LSTM，通过对神经元进行排序来添加合理的生物学归纳偏差，从而增强了语言建模、无监督解析、有针对性的句法评估和逻辑推理等四项任务的性能表现。

    Oct, 2018

  • 端对端记忆网络

    本文介绍了一种具有循环注意力模型的神经网络，该模型可以扩展到可能很大的外部存储器，并被应用于各种任务，如（合成）问答和语言建模。同时，本文展示了多个计算步骤（跳数）的关键概念可以提高性能表现。

    Mar, 2015

  • 基于视觉注意力的无序 RNN 多标签分类

    本文提出了用于多标签分类的联合学习注意力和循环神经网络模型，可有效利用注意力和 LSTM 模型，并且扩展了 beam 搜索技术以提高效率。

    Jul, 2017

  • 序列生成和记忆的递归神经网络模型

    本文提出 Partial In-Network Training（PINning）方法，基于随机网络架构和少量的连接修改，实现突触交互和外部输入的协作而不是前馈或非对称连接，高效地产生神经序列和工作记忆，此方法能够匹配细胞分辨率成像数据，并暗示神经序列可能从较大结构的神经网络中学习而来。

    Mar, 2016

  • 高阶递归神经网络用于声学建模

    本文提出了一种基于高阶循环神经网络 (HORNN) 的方法来解决训练标准循环神经网络 (RNN) 中的梯度消失问题，并通过使用 MGB3 数据集进行语音识别实验，证明了该方法可以显著减少字词错误率，同时使用仅为网络参数数目和计算量的 20%-50%。

    Feb, 2018

  • 树状记忆网络用于建模长期时间依赖关系

    提出了一种基于树形记忆网络的序列映射模型，用于捕获长期和短期依赖关系，并在飞行轨迹建模和行人轨迹建模等实际问题中实现了较好的性能。

    Mar, 2017

  • 循环正交网络和长记忆任务

    本文通过分析两个合成数据集来研究 RNNs 在处理长期依赖问题时的信息存储方法，并阐明了几种不同类型信息在 RNNs 中如何存储，这同时解释了最近采用的指定初始化或转移矩阵约束的方法的成功。

    Feb, 2016

  • 高阶循环神经网络

    本研究提出了一种新型神经网络结构，更好地建模序列数据的长期依赖性，称之为 higher order RNNs，实验结果表明，比常规 RNNs 和 LSTMs 性能都要好，适用于各种序列模型任务。

    Apr, 2016

  • 门控正交循环单元：关于遗忘学习

    本文提出了一种基于递归神经网络（RNN）的新模型，它结合了单元 RNN 的记忆能力和门控 RNN 的遗忘冗余 / 无关信息的能力，并通过引入栅门机制扩展了单元 RNN。该模型能够在多项长期依赖基准任务上优于 LSTMs、GRUs 和单元 RNNs，并在多个自然顺序任务中提供有竞争力的结果，包括 bAbI 问题回答、TIMIT 音频预测、Penn TreeBank 和长期依赖的合成任务，如算法、括号、去噪和复制任务。

    Jun, 2017