Nov, 2019

学习多级依赖关系以提高鲁棒性词识别

HTML
PDF
TL;DR本文提出了一个鲁棒的单词识别框架，该框架捕捉了加噪句子中的多级序列依赖关系。该框架采用了每个单词字符的序列到序列模型，其输出被提供给一个单词级别的双向递归神经网络。我们进行了大量的实验验证了该框架的有效性。结果表明，该框架的性能较其他现有方法有了很大提高，并且也说明了字符级依赖可以在单词识别中起到重要的作用。
发现论文，激发创造
  • 依赖递归神经语言模型用于句子补全

    本文研究了如何将RNN语言模型与句子的句法依赖相结合，以提高递归神经网络(RNN)语言模型的性能和准确率，并在Microsoft Research Sentence Completion Challenge的评估中展示了其优越性，并达到了同类最先进模型的效果。

    Jul, 2015

  • 作为头选项的依存句法分析

    本文提出了一种使用神经网络实现依存分析的模型，该模型可用于自然语言处理和语言学领域，并且在多种语言上取得了与当前最新技术同等的效果。

    Jun, 2016

  • 将词向量与词分类器联系起来：面向语言建模的损失框架

    通过将输入嵌入和输出投影矩阵进行绑定，利用更多信息和减小可训练变量数量，提出了一种提高自然语言模型学习效率的新型理论框架，并在Penn Tree Bank数据集上实现了最先进的性能。

    Nov, 2016

  • 依赖敏感卷积神经网络用于建模句子和文档

    本研究旨在通过 Dependency Sensitive Convolutional Neural Networks (DSCNN) 分类系统实现句子和文档的表示，不需要依靠解析器和昂贵的短语标记，拓展了句子层级处理的任务范围，并以其在情感分析、问题分类和主观分类等任务中取得的最新表现获得了验证。

    Nov, 2016

  • Character-Word LSTM 语言模型

    使用长期短期记忆（LSTM）、字符信息和单词嵌入等技术，设计了一种基于字符的语言模型，有效提高了对单词的建模能力，优于传统基于单词的模型。

    Apr, 2017

  • 使用辅助损失学习 RNN 中的长期依赖关系

    通过增加自监督辅助损失，提高循环神经网络对长期依赖关系的识别能力，可应用于序列长度达16,000的图像分类和实际文档分类任务中，具有竞争基线模型无法比拟的良好性能和资源效率。

    Mar, 2018

  • 使用字母到单词编码器进行单词级语音识别

    通过字级别的单词网络，我们提出了一种直接生成单词嵌入的序列模型，这种直接生成单词的方法可以有效提高语音识别中的词义判断准确率，并且可以更高效地进行训练和推理。

    Jun, 2019

  • 用于连续句子分类的预训练语言模型

    本文提出一种基于预训练语言模型(BERT)的方法，能够直接利用所有句子中的所有单词的上下文信息进行文档级理解的任务，且在四个数据集中取得了最先进的结果。

    Sep, 2019

  • 候选融合：将语言模型集成到序列到序列手写词识别结构中

    本文提出了一种新颖的候选融合方式(Candidate Fusion)，该方法在将外部语言模型集成到序列到序列架构中的同时，提供了来自外部语言模型的建议作为序列到序列识别器的新输入。Candidate Fusion提供了两个改进，一方面，序列到序列识别器不仅可以将自身和语言模型的信息组合，还可以选择语言模型提供的信息的重要性。另一方面，外部语言模型可以适应训练语料库甚至学习识别器产生的最常见错误。通过全面实验，Candidate Fusion证明在手写识别任务中优于现有的最先进的语言模型。

    Dec, 2019

  • NAT: 受噪声影响的训练用于强健神经序列标记

    本文提出了两种噪声感知训练对象来提高对受干扰输入的序列标记的鲁棒性，一种是使用混合干净和嘈杂样本的数据增强方法来训练神经模型，另外一种是通过稳定性训练算法鼓励模型生成噪声不变的潜在表示，实验结果证实，这种方法能够提高流行的序列标记模型的鲁棒性，保持原始输入的准确性。

    May, 2020