Sep, 2016

基于格的循环神经网络编码器用于神经机器翻译

PDF
TL;DR该论文提出了一种基于词格的循环神经网络编码器用于解决中文等没有自然词分界符的语言在神经机器翻译中遇到的问题，该编码器不仅可以缓解对分词错误的负面影响，还具有更高的表达和灵活性。实验结果表明，该编码器优于传统编码器。
neural machine translationchineseword-latticerecurrent neural networktokenization
发现论文，激发创造
  • 基于格点的 Transformer 编码器用于神经机器翻译

    通过引入基于格的编码器，本研究旨在探索有效的单词或子单词表示形式，进而提高基于 Transformer 的神经机器翻译的性能。实验证明，这种新型编码器在单词水平和子单词水平的表示方面优于传统的 Transformer 编码器。

    Jun, 2019

  • 基于 Lattice LSTM 的中文命名实体识别

    本文研究了一种基于格子结构的 LSTM 模型用于汉语命名实体识别，在编码一系列输入字符的同时，还编码与词典匹配的所有潜在词。与基于字符的方法相比，我们的模型明确利用了单词和单词序列信息。与基于单词的方法相比，格内 LSTM 不受分割错误的影响。门控循环单元允许我们的模型从句子中选择最相关的字符和单词以达到更好的命名实体识别结果。各种数据集上的实验表明了格内 LSTM 优于基于单词和字符的 LSTM 基线，取得了最佳结果。

    May, 2018

  • 神经格点语言模型

    提出了一种名为神经格栅语言模型的新的语言建模方法，该方法在多个层次上具有信息预测和调节的能力，并通过对可能路径的格栅进行边际化以计算序列概率或优化参数。实验证明，使用多义词嵌入的英语神经格栅语言模型能够将困惑度相对于单词层面基线提高 9.95％，而处理多字符标记的中文模型能够将困惑度相对于字符层面基线提高 20.94％。

    Mar, 2018

  • 神经机器翻译卷积编码器模型

    本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

    Nov, 2016

  • 用于不确定输入的神经格点序列模型

    研究使用基于树结构的神经网络模型作为编码器建立语音翻译模型，使用词汇图来代替输入，可以提高翻译准确性。

    Apr, 2017

  • 神经机器翻译中的源语法建模

    本文介绍了三种不同类型的编码器，用于将源句法明确地合并到神经机器翻译 (NMT) 中，并在中英文翻译实验中证明了这三种编码器的有效性，尤其是 Mixed RNN encoder 能有效提升 1.4 BLEU points，同时提供了深入分析来揭示源语法如何有益于 NMT。

    May, 2017

  • 利用语法感知编码器和解码器实现改进的神经机器翻译

    本研究致力于改进基于编码器 - 解码器框架的神经机器翻译模型，通过显式地结合源侧语法树，在两种结构化表示（顺序和树）之间进行学习，提出具有树覆盖模型和双向树编码器的翻译模型，并证实优于其他基线模型。

    Jul, 2017

  • 神经机器翻译的多通道编码器

    Multi-channel Encoder is proposed to improve Attention-based Encoder-Decoder architecture for neural machine translation by enhancing encoding components with different levels of composition, achieving a 6.52 BLEU point improvement on Chinese-English translation and BLEU=38.8 on the WMT14 English-French task.

    Dec, 2017

  • 基于多孔网络结构的中文 NER 的转换器编码器

    本文提出了一种可加强 GPU 并行性和计算批处理的具有孔状结构的基于两个非邻近标记共用枢轴节点的自注注意力的基于格子的变压器编码器，并在四个数据集上进行了实验。结果表明，该模型的性能与最先进的模型大致相当，但速度最多快 9.47 倍。

    Nov, 2019

  • 神经机器翻译中的潜在句子结构建模

    本篇研究探究了使用不同编码器进行神经机器翻译（NMT）时，受监督 parser 预测的语言结构和拥有潜在变量的句子结构在推断神经网络执行机器翻译任务时的优化作用。结果表明，使用 RNN 编码器时，模型几乎不使用结构感知工具；相反，CNN 和基于词嵌入的编码器依赖于潜在的图表达，能够将有用的潜在依赖编码入网络，在某些情况下能够覆盖较长距离的依赖。

    Jan, 2019