Dec, 2016

门控卷积网络的语言建模

PDF
TL;DR本研究提出一种基于卷积神经网络的有限环境文本处理方法，采用新型简化门控机制，具有并行优势和长期学习效应，相比循环神经网络可获得更高的性能和更短的处理时间。在大规模文本任务中取得了领先水平，是非循环方法首次能够与强循环模型竞争。
language modelingneural networksconvolutionsgating mechanismlong-term dependencies
发现论文，激发创造
  • 针对文本建模的 CNN：非线性、非连续卷积

    论文研究了采用低秩 n 元张量和模式加权的时序卷积网络（TCN）用于文本处理，在标准的情感分类和新闻分类任务中实现了最新的性能

    Aug, 2015

  • 卷积序列到序列学习

    利用卷积神经网络架构完全替代了循环神经网络的流行序列到序列学习方法，运用门控线性单元简化了梯度传播，为每个解码器层装备了单独的注意力模块，在 GPU 和 CPU 上取得了比 Wu 等人（2016）更高的准确性和十倍以上的速度。

    May, 2017

  • 探索语言建模的极限

    本文研究了递归神经网络在大规模语言建模中的最新进展和应用，对语料库和词汇量的大小和语言的复杂性和长期结构等问题进行了探讨，并在 One Billion Word Benchmark 上进行了详尽的研究，最佳单一模型将习惯度从 51.3 降低到 30.0，而模型集成则创下了 41.0 到 23.7 的新纪录，在总结中，研究结果可供自然语言处理和机器学习界进一步研究和提高。

    Feb, 2016

  • Mogrifier LSTM

    本文介绍了长短时记忆网络的互相门机制，以实现更好地建模自然语言处理中上下文之间的交互， 并通过实验在多个数据集上证明了其在语言建模上较传统模型具有更好的泛化能力和性能表现。

    Sep, 2019

  • 门控字、词循环语言模型

    本研究提出一种基于长短时记忆（LSTM）单元的循环神经网络语言模型（RNN-LM），有效地利用字符级和单词级输入，在预测英语文本中的下一个单词方面表现优异。

    Jun, 2016

  • 使用上下文门控的可学习池化方法进行视频分类

    通过聚类聚合和可学习的非线性单元 Context Gating 模型改进了现有视频表达方式，提高了视频分类准确率。

    Jun, 2017

  • 使用膨胀卷积和门控技术实现高效的关键字检测

    本文探讨了利用端到端无状态时间建模来进行小尺寸关键词检测的应用，提出了一种新的模型，该模型受到了序列建模领域内扩张卷积的启发，通过增加门控激活和残差连接来训练更深层次的架构。实验结果表明，该模型优于使用 LSTM 单元的循环神经网络，具有更高的准确性和更低的虚警率。

    Nov, 2018

  • 基于循环神经网络的上下文感知自然语言生成

    本文研究了利用连续的语义表征通过递归神经网络生成特定情境下的自然语言的方法，提出了两种新方法，其中包含了注意力机制以解决因长序列引起的长程依赖问题，并在用户评论数据上进行了实验，展示了该方法生成的虚假评论非常自然，并且大部分能够躲过现有的虚假评论检测算法。

    Nov, 2016

  • 对话上下文融合的端到端语音识别中的门控嵌入

    本文提出一种新颖的基于门控神经网络的语音识别模型，采用对话上下文 / 词 / 语音嵌入，结合外部词和 / 或句子嵌入来提高对话上下文表示，从而显著提高单词错误率，对 Switchboard 对话语音语料库的实验表明我们的模型优于标准的端到端语音识别模型。

    Jun, 2019

  • 语音识别的长跨度语言建模

    本文探索多句子语境下神经语言模型的应用，并介绍结合了注意力机制和 LSTM 的新型模型在语音识别和长跨度语言模型方面的实验结果。

    Nov, 2019