AAAIJan, 2018

一种多层卷积编码 - 解码神经网络用于语法错误纠正

PDF
TL;DR本研究提出了一种基于多层卷积编码 - 解码神经网络的自动文本纠错方法，利用字符 N-gram 信息来初始化 embeddings，通过 attention 机制捕捉局部文本语境并使用 N-gram 语言模型和编辑特征进行打分和融合，实现了比现有基于统计学习的方法更好的语法和流畅度的纠错效果。
convolutional neural networksgrammatical error correctionmultilayer encoder-decodercharacter n-gramlanguage model
发现论文，激发创造
  • 基于字符注意力机制的神经语言纠错

    本文介绍了一种基于神经网络的自然语言校正方法，该方法以字符级别操作避免了词汇表外的问题，并展示了在语言学习者论坛收集的数据集上的灵活性和性能。与语言建模相结合后，该方法在 CoNLL 2014 共享任务中实现了最先进的 $F_{0.5}$- 分数。

    Mar, 2016

  • 基于更好的预训练和顺序迁移学习构建的神经语法错误纠正系统

    本文介绍了一种用于纠正语法错误的低资源序列到序列任务方法，首先使用现实的噪声函数生成大型未注释语料库的错误版本，然后利用这些并行语料库进行 Transformer 模型的预训练，并通过顺序迁移学习将这些模型适应于测试集的领域和风格。同时结合上下文感知的神经拼写检查器，我们的系统在 ACL 2019 BEA 共享任务中取得了竞争力的结果。我们公开代码与材料以便复现。

    Jul, 2019

  • 使用神经增强学习修正语法错误

    该研究提出了一种使用神经编码器 - 解码器模型和强化学习来进行语法错误校正的方法，并探讨了相较于传统的最大似然估计方法的优越性。研究表明，该方法在人工和自动评估指标上的表现都优于最大似然估计，达到了流畅度优化的语法错误校正数据集上的最先进的水平。

    Jul, 2017

  • 多头多层注意力机制用于深度语言表示的语法错误检测

    利用经过预训练的语言表示模型的中间和最终层提取句子中的语法错误特征，通过多头多层的注意力模型，使用 Bidirectional Encoder Representation from Transformers (BERT) ，在三个语法错误数据集上实现更好的 F_0.5 分数，比当前最先进的方法分别高出 6.0（FCE），8.2（CoNLL14）和 12.2（JFLEG）个百分点，并证明利用多头多层注意力，我们的模型可以利用句子中每个记号的更广泛信息。

    Apr, 2019

  • 一种用于语法错误校正的嵌套注意力神经混合模型

    通过基于嵌套注意力层的混合神经模型，将神经机器翻译方法发展应用于语法纠错，实验证明该模型对单词或字符水平上的错误检测和修复均具有良好的效果，并在 CoNLL-14 基准测试数据集上明显优于以往的神经模型，尤其对小修改的局部错误有明显的改善。

    Jul, 2017

  • 用于句法感知神经机器翻译的图卷积编码器

    这篇研究论文介绍了一种简单有效的方法来将句法结构融入到神经注意力编码解码模型中，以实现机器翻译。文中使用了预测的源句子句法依赖树，用于生成敏感于句法周边的单词表示，以达到最佳效果。研究的实验结果表明，在英德翻译和英捷翻译方面的所有设置中，与其不考虑语法结构的版本相比，该方法均有显著的改善。

    Apr, 2017

  • 神经网络翻译模型用于语法纠错

    本文介绍了使用神经网络全局词汇模型和神经网络联合模型来改善基于短语的统计机器翻译系统的局限性，通过对源句子的环境信息进行更有效地利用，显著提高了语法错误纠正的准确性。

    Jun, 2016

  • 神经机器翻译卷积编码器模型

    本文提出了一种基于卷积层的神经机器翻译框架，相比双向 LSTM 网络，该框架可以同时编码整个源语句，从而加速了翻译速度，在 WMT'16 数据集上达到了竞争水平的准确性，并在 WMT'15 和 WMT'14 数据集上取得了优异的结果。

    Nov, 2016

  • 键盘解码中文本校正和补全的神经网络

    本文提出一种基于深度神经网络的文本校正和完成系统，结合字符级卷积神经网络和门控循环单元编码器以及单词级门控循环单元注意解码器，实现对有错误文本的自动纠正和完成功能，并在有限领域内取得了良好效果。

    Sep, 2017

  • 自动语法错误纠正的人类水平性能达成：一项实证研究

    该论文提出了一种新颖的流利性提升学习和推理机制，结合卷积 seq2seq 模型，成功将神经序列到序列的方法应用于语法错误纠正 (GEC)，在 CoNLL-2014 10 注释数据集上获得了 75.72（F_{0.5}）的最好表现，在 JFLEG 测试集上获得了 62.42（GLEU)）的最好表现，并成为首个在这两项基准测试中都达到人类水平性能（分别为 CoNLL-2014 72.58 和 JFLEG 62.37）的 GEC 系统。

    Jul, 2018