EMNLPJul, 2017

为句子校正调整序列模型

PDF
TL;DR对序列到序列方法进行的纠错实验中发现，基于字符的模型通常比基于单词的模型和通过卷积编码子单词信息的模型更有效，并且将输出数据建模为一系列差异可提高效果，而我们最强的序列到序列模型比最强的基于短语的统计机器翻译模型在数据相同的情况下得分提高了 6 M2 点（0.5 GLEU）。此外，在标准 CoNLL-2014 设置的数据环境中，我们证明了建模（并调整）差异可以使用更简单的模型和 / 或比以前的序列到序列方法少得多的数据获得类似或更好的 M2 得分。
sequence-to-sequencecharacter-based modelsdiffsstatistical machine translationconll-2014
发现论文，激发创造
  • 数据到文本自然语言生成的序列到序列模型：基于单词 vs 字符的处理和输出多样性

    比较基于单词和字符的序列到序列模型在数据到文本自然语言生成方面的表现，进一步分析了两者输入表示之间的差异和生成文本的差异性，并通过对模板产生的合成训练数据的控制性实验展示神经模型学习新组合模板的能力。

    Oct, 2018

  • 序列转序列模型中更好的解码和语言模型集成

    该研究分析了一个基于注意力机制的序列到序列语音识别系统，提出了解决其预测过于自信和产生不完整转录的问题的实用解决方案，并在没有语言模型的情况下，其词错误率为 10.6％，与 trigram 语言模型一起达到了 6.7％的词错误率。

    Dec, 2016

  • 自动语法错误纠正的人类水平性能达成：一项实证研究

    该论文提出了一种新颖的流利性提升学习和推理机制，结合卷积 seq2seq 模型，成功将神经序列到序列的方法应用于语法错误纠正 (GEC)，在 CoNLL-2014 10 注释数据集上获得了 75.72（F_{0.5}）的最好表现，在 JFLEG 测试集上获得了 62.42（GLEU)）的最好表现，并成为首个在这两项基准测试中都达到人类水平性能（分别为 CoNLL-2014 72.58 和 JFLEG 62.37）的 GEC 系统。

    Jul, 2018

  • 用于字形到音素转换的序列到序列神经网络模型

    本文研究了基于具有副条件语言模型的生成的序列到序列翻译方法在不同类型任务中的适用性，包括有限词汇的 grapheme-to-phoneme 任务，并探讨了双向 LSTM 神经网络在这种方法中应用的优势。

    May, 2015

  • 句子级别的语法错误辨识与序列纠正

    通过 attention-based encoder-decoder 模型，我们成功地开发了一个在检测科技文献写作中的语法错误的系统，并得到了最高成绩。

    Apr, 2016

  • 通过学习自我纠正生成序列

    本文介绍了一种称为 Self-Correction 的方法，该方法可以用于解决序列生成应用中存在的语义约束问题，该方法通过将完美的基本生成器与学习逐步纠正其输出的单独的纠正器分离来实现。我们证明，即使纠正器比基本生成器小得多，在数学程序合成、词汇约束生成和毒性控制等三个不同的生成任务上，Self-Correction 仍然优于基本生成器。

    Oct, 2022

  • 使用文本编辑模型生成文本

    本文介绍了文本编辑模型和 seq2seq 模型，分析了它们的优缺点，探讨了生产化和应对文本生成中的幻觉和偏见等挑战。

    Jun, 2022

  • 一种用于句子简化的受限序列到序列神经模型

    通过结合单词级和句子级的简化方法，本研究提出了一个两步简化框架，并利用约束神经生成模型的方法对简化后的单词进行句子简化，取得了比各种基线模型更好的性能表现。

    Apr, 2017

  • 序列到序列混合模型用于多样化机器翻译

    研究开发了一种新的序列混合模型，通过采用一组专业翻译模型而非单个模型来提高翻译的多样性和质量，并在四种语言对上进行了实验。

    Oct, 2018

  • 神经网络序列到 序列学习

    本文提出了一种基于深度神经网络（DNN）的序列学习方法，使用多层长短时记忆（LSTM）解码目标序列并展现了其在英法翻译任务中优于传统短语模型翻译的成果，同时还发现调整源语句中单词的顺序可以有利于优化问题的解决。

    Sep, 2014