神经机器翻译的误差传播之外:语言特性也很重要
本文研究机器翻译中偏见放大的问题,探究算法的偏见增强对语言是否会产生贫化作用。作者测试了不同的数据驱动机器翻译范式,并发现所有测试的语言对中,都存在词汇和形态上的丧失。
Jan, 2021
本文研究神经机器翻译中的语言覆盖偏差问题,并提出两种有效方法来缓解该问题。结果表明,通过明确区分源语言和目标语言的训练数据,可以提高现有方法在六个翻译任务上的表现。同时,作者还发现语言覆盖偏差问题也能够解释回译所导致的性能下降表现,并在数据增强的两种代表性方法中实现了更好的表现。
Jun, 2021
本文提出了一种将错误校正机制引入神经机器翻译中的方法,通过使用两个流的自注意力机制,在保证预测下一个标记的同时,对前一个标记的错误信息进行更正,使用预测偏差模拟训练,并在多个数据集上进行了实验验证,证明了其在提高翻译质量方面的有效性。
Jul, 2020
本文研究了基于字符的模型在源文本最小删除下对英汉及汉英领域神经机器翻译中罕见但严重错误的诱导作用,并发现单个字符的删除会导致严重的翻译错误,同时比较了删除单个字符和单个词的结果,发现训练数据的大小对这些最小扰动引起的病态情况的数量和类型有显著的影响。结果表明,删除单词比删除字符对整体的翻译结果更为具有破坏性,但在删除字符时更易出现某些错误,语言方向也会影响效果。
Sep, 2022
本研究提出了工具和度量方法来评估机器翻译模型中数据不确定性的捕捉,以及这种不确定性如何影响生成翻译的搜索策略。我们的结果表明,搜索功能表现出色,但模型往往在假设空间中分散了太多的概率质量。此外,我们还提出了评估模型校准的工具,并展示了如何轻松解决当前模型的一些缺陷。
Feb, 2018
本文探讨语言生成模型存在的问题,阐述了模型脆弱性产生的原因,并从模仿学习的角度分析暴露偏差。作者证实了该假设,通过分析误差积累的原因和导致质量低下的积累。
Apr, 2022
本文提出了一种统一且考虑话语的零代词(Zero pronouns, ZPs)翻译方法,利用神经网络实现对 ZP 的预测和翻译,并采用分层神经网络来利用话语上下文,实验结果表明该方法在中英和日英语料数据上显著提高了机器翻译和 ZP 预测的准确性,尤其是缓解了主观 ZPs 带来的误差。
Sep, 2019
研究表明,非自回归模型在机器翻译中表现良好,但由于其需要从自回归模型中提炼知识,受到了一定的限制。本文针对这个问题进行了研究,通过实验发现,虽然减少词汇多样性和减少重新排序复杂性都有助于 NAR 学习更好的源和目标之间的对齐关系,从而提高翻译质量,但是词汇多样性是提炼增加模型置信度的主要原因,并会对不同的 NAR 模型产生不同的影响。
May, 2021
本文介绍了一种基于神经网络的自然语言校正方法,该方法以字符级别操作避免了词汇表外的问题,并展示了在语言学习者论坛收集的数据集上的灵活性和性能。与语言建模相结合后,该方法在 CoNLL 2014 共享任务中实现了最先进的 $F_{0.5}$- 分数。
Mar, 2016
本文在分析预训练 mT5 模型对 90 种语言对之间交叉语言联系学习时,发现源语言和目标语言的语法、形态和音韵相似度对于跨语言传递的表现具有良好的预测性,可望提高零样本性能表现。
Dec, 2022