COLINGSep, 2022

极其罕见但严重的最小删除诱导的神经机器翻译错误：对中文和英文的实证研究

PDF
TL;DR本文研究了基于字符的模型在源文本最小删除下对英汉及汉英领域神经机器翻译中罕见但严重错误的诱导作用，并发现单个字符的删除会导致严重的翻译错误，同时比较了删除单个字符和单个词的结果，发现训练数据的大小对这些最小扰动引起的病态情况的数量和类型有显著的影响。结果表明，删除单词比删除字符对整体的翻译结果更为具有破坏性，但在删除字符时更易出现某些错误，语言方向也会影响效果。
发现论文，激发创造
  • 神经机器翻译中否定的再探讨

    通过对神经机器翻译的信息流分析，我们在英 - 德和英 - 中语言对上实验并对否定语的翻译进行自动和手动评估，找到了 NMT 模型和翻译方向之间性能的变化，并发现本文所考虑的 NMT 模型最大的翻译错误类型是低估，这与以前在统计机器翻译中观察到的更多样化的错误类型相反。

    Jul, 2021

  • 词、子词或字符？汉英 NMT 中粒度的实证研究

    本文对多个使用不同类型划分的翻译模型在中英翻译任务中进行了探究和比较，发现在中文翻译到英文的任务中，使用子词模型效果最好。在英文翻译到中文的任务中，使用混合词形式模型最优。此外，使用 混合_BPE 方法在中文翻译到英文的任务中取得了最佳效果。

    Nov, 2017

  • 将汉字部首融入神经机器翻译：更深入的层次

    该论文旨在改善神经机器翻译系统的词汇表外 (未知) 单词的翻译水平，特别是针对神经机器翻译系统用于中文翻译的方法，并且通过引入汉字偏旁部首信息进行语义分析。实验结果表明，所提出的模型在包括 LEPOR、BEER 和 CHARACTER 在内的多种评估指标上均优于基线模型。

    May, 2018

  • 通过 ASCII 编码的汉英字符级翻译

    本研究利用 Wubi 编码方案将汉字划分为类似于印欧语系的语言单元，为实现基于字符级的汉英翻译建立了基础，并使用循环和卷积模型等方法进行训练以取得了良好的结果。

    May, 2018

  • 神经机器翻译的误差传播之外：语言特性也很重要

    本论文研究神经机器翻译中自回归模型采用的误差传播问题，发现漏洞传播对于翻译准确性下降的作用被过度强调，对于右向枝语言翻译结果的左侧准确性更高，而左向枝语言则相反，该结论在不同的模型结构和文本摘要等其他序列生成任务中得到确认。

    Sep, 2018

  • 为检测词语插入和删除错误预训练中文 BERT 模型

    本研究通过引入特殊的 [null] token 建立了一个简单而有效的预训练模型来解决中文 BERT 模型在词插入和删除方面的表现缺陷。通过设计预测任务，模型能够联合给定上下文同时预测非存在词和实际词汇，并进一步创造了一个评估数据集以促进词插入和删除研究的发展。实验结果表明，相较于现有的中文 BERT 模型，本研究方法的 F1 得分分别从 24.1% 和 26.5% 提升到了 78.1% 和 68.5%。

    Apr, 2022

  • 神经网络名称翻译提高神经机器翻译

    本文旨在通过引入字符级的 Seqence-to-Sequence 模型来提高神经机器翻译（NMT）系统的翻译效果和识别实体名词的能力，并在双语训练中借助名称实体翻译模型来提高高质量的实体名词对齐，从而使中英翻译任务的 BLEU 分数比基础 NMT 系统提高了 2.9 个百分点。

    Jul, 2016

  • 论神经机器翻译中的搜索误差和模型误差：难道你的舌头被猫抓走了吗？

    本文以神经序列模型为基础，结合 Beam Search 和 Depth-first Search 算法，提出了一种精确的推理过程，并使用该过程在 WMT15 英德句子翻译测试集上找到了 Transformer 模型的全局最佳模型分数，揭示神经模型在适当考虑翻译准确性方面存在严重问题。论文发现，Beam Search 算法无法在大多数情况下找到全局最佳模型分数，很多情况下模型更倾向于返回空白翻译结果，这源自于神经模型中天然的对短句子的偏好。

    Aug, 2019

  • 神经机器翻译中的不确定性分析

    本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉，以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明，搜索功能表现出色，但模型往往在假设空间中分散了太多的概率质量。此外，我们还提出了评估模型校准的工具，并展示了如何轻松解决当前模型的一些缺陷。

    Feb, 2018

  • 通过合成噪声训练，提高机器翻译的抗自然噪声鲁棒性

    本文提出通过引入随机合成的少量噪音来改善机器翻译中源文本字符级别波动的鲁棒性，从而提高对拼写错误等变异的覆盖率。作者表明，通过在训练时使用一些较为简单的合成噪音，可以实现对常见噪音（例如 Wikipedia 编辑日志中的修正）的鲁棒性，同时不会降低在规范文本上的表现。

    Feb, 2019