Jan, 2016

循环记忆网络语言建模

HTML
PDF
TL;DR本文提出了一种新的循环神经网络体系结构Recurrent Memory Network（RMN），不仅能够放大循环神经网络的作用，而且有助于我们理解其内部功能并发现数据中的潜在模式。在语言建模和句子完成任务上展示了RMN的强大性能。在长句完成挑战中，RMN的准确性为69.2％，超过了以前的最新技术水平。
发现论文，激发创造
  • 深度循环神经网络语音识别

    本文研究了将深度网络的多层表示与强大的RNN模型相结合的模型 - 深度递归神经网络，通过合适的正则化和端到端的训练方法，该模型在TIMIT语音识别基准测试中获得了最佳记录得分17.7％。

    Mar, 2013

  • 循环神经网络中学习更长记忆

    本文介绍了一种用于解决长期依赖的神经网络结构——循环神经网络，并通过对语言建模等实验得出其同LSTM网络有着类似的性能表现。

    Dec, 2014

  • 循环神经网络在序列学习中的关键评估

    本文对于近三十年来产生和实践了重要的循环神经网络（RNN），LSTM和BRNN等模型的研究进行综述，旨在提供一个自成体系的最前沿阐述和历史视角，并引用了相关研究文献。

    May, 2015

  • 利用外部记忆的循环神经网络进行语言理解

    使用外部内存改进循环神经网络以提高其记忆能力，在ATIS数据集上取得了最先进的结果。

    May, 2015

  • 依赖递归神经语言模型用于句子补全

    本文研究了如何将RNN语言模型与句子的句法依赖相结合，以提高递归神经网络(RNN)语言模型的性能和准确率，并在Microsoft Research Sentence Completion Challenge的评估中展示了其优越性，并达到了同类最先进模型的效果。

    Jul, 2015

  • LightRNN: 记忆和计算高效的循环神经网络

    提出了一种新的RNN算法，使用2-Component共享嵌入表示单词，并成功地将其应用于语言建模任务，大大减少了模型大小和训练时间。

    Oct, 2016

  • 一种高等级语言模型的直接输出连接

    这篇论文提出了一种最新的循环神经网络语言模型，不仅从最后一层，还从中间层计算概率分布。该方法提升了基于杨等人(2018)语言建模矩阵分解解释的语言模型的表现力，并在标准基准数据集 Penn Treebank 和 WikiText-2 上实现了最佳得分。此外，作者还展示了该方法在机器翻译和标题生成两个任务上的应用。

    Aug, 2018

  • 评估LSTM模型在形式语言中的泛化能力

    本研究对长短期记忆网络的归纳学习能力进行了实证评估，发现在不同的训练设置下模型性能存在显著差异，并强调在提出神经网络模型的学习能力时需要进行仔细的分析和评估。

    Nov, 2018

  • RNN归来：用于可逆句子嵌入的残余循环网络

    该研究提出了一种基于残差递归网络的可逆句子嵌入模型，通过无监督编码任务来训练。我们的方法采用基于回归的输出层来重构输入序列的单词向量，通过ADAM优化器实现高准确度和快速训练，同时引入剩余连接和匹配放弃技术，表现出了在自然语言处理领域各种应用的潜力。

    Mar, 2023

  • 循环神经网络和长短时记忆网络：教程和调研

    本研究论文介绍了递归神经网络 (RNN)、 长短期记忆网络 (LSTM)及其变体，在训练过程中解决长序列中的梯度消失/爆炸问题，并详细介绍了LSTM 中的门控单元，双向 RNN 及 Embeddings from Language Model (ELMo) network 的原理。

    Apr, 2023