- ACL低资源、形态标记无法处理的环境下的 Yoruba-English 机器翻译
本研究利用语言对比的细粒度分析方法,比较了三种机器翻译模型在汉英翻译中的表现。结果显示,针对使用裸名词的约鲁巴语文本,Transformer 模型表现最好,SMT 和 BiLSTM 在不同分类上各有优劣,与人类翻译模式相比。这些结果对于低资 - EMNLP检测机器翻译中单词义消歧偏差的方法,以进行模型无关的对抗攻击
本文针对神经机器翻译模型在词义消歧中由于过度依赖训练数据中的表浅词共现而产生的错误提出了一种基于统计数据特性的预测方法,并在多个领域和模型类型中验证了其有效性。同时,我们还开发了一种简单的对抗攻击策略,最小化地扰动句子以引发消歧错误,以进一 - EMNLP分解彩票网络变形器:稀疏神经机器翻译的结构和行为研究
利用稀疏 Transformer 进行神经机器翻译可以保证 BLEU 分数,但通过剪枝会影响模型的学习表征,随着剪枝过程中低振幅权重的削减,语义信息的复杂性首先降低,同时在保持注意力机制的一致性的情况下,稀疏模型的早期层开始了更多的编码。
- ACL基于范数的课程式学习在神经机器翻译中的应用
本文介绍了一种新的基于范数(即长度或模块)的课程学习方法,利用词嵌入的范数作为句子难度、模型能力和句子权重的度量,以提高神经机器翻译(NMT)的训练效率,并在 WMT'14 英德和 WMT'17 中英翻译任务中证明其优越性。
- 神经机器翻译学习动态的理解
该研究旨在通过使用最新提出的技术 LCA 了解 NMT 的学习动态,提出了一种在 NMT 场景中实现 LCA 的近似方法,模拟实验证明此方法是有效的并能够在两个标准的翻译基准数据集上提供有价值的发现。
- 神经机器翻译的领域鲁棒性
本文研究了机器翻译模型在未知领域中的性能表现,发现在未知领域中,统计机器翻译(SMT)和神经机器翻译(NMT)系统存在不同的问题:SMT 系统通常足够但不流利,而 NMT 系统流利但不足够。本文发现,NMT 系统出现的 “幻觉” 现象是造成 - ACL掩蔽语言模型评分
通过掩码语言模型的伪对数似然得分,我们证明该方法在各种任务中优于自回归语言模型。RoBERTa 减小端到端 LibriSpeech 模型的 WER,同时增加低资源翻译的 BLEU 得分,这个成功要归功于伪对数似然得分的无监督表达,而不具有从 - 神经生成和翻译第三次研讨会结果
本文概述了第三届神经网络生成和翻译研讨会的研究趋势,介绍了两项共享任务的结果,即提高神经机器翻译的效率以及文档级生成和翻译。
- 神经机器翻译中文档级上下文何时和为何有用?
研究了文档级上下文在 NMT 中的改善机制,发现大多数的改进不能被解释为利用上下文,并说明了上下文建模的最小编码是足够的,而非常长的上下文对 NMT 不利。
- 使用 BERT 进行神经机器翻译
该论文研究了利用 BERT 预训练模型对神经机器翻译任务进行有监督学习,探究整合预训练模型和神经机器翻译模型的方法,以及 BERT 训练中单语数据对最终翻译质量的影响。作者使用了英德和英俄数据集进行评估,并通过在领域外测试集和注入噪声测试集 - EMNLP基于不确定性置信度评估的反向翻译优化
本研究通过使用基于不确定性的置信度评估,提出了一种针对噪声性合成双语语料库的反向翻译方法,实验证明该方法显著提高了反向翻译的性能。
- 使用代码转换增强预设翻译的神经机器翻译
研究一种使用代码转换从而生成的训练数据的数据增强方法来限制大众翻译机器在本地词汇翻译方面的失误问题。
- 无需关注
介绍了一种不需要注意力机制、没有分开的编码器和解码器的循环神经翻译模型,它是低延迟的,能在读取第一个源标记时立即写入目标标记,并在解码期间保持常量内存使用率。它的性能与 Bahdanau 等人(2014)的标准注意力模型相当,对于长句子表现 - ACL神经机器翻译的稀疏和约束注意力
本文提出了一种新颖的方法来解决 NMT 中的 “coverage problem”,通过给源语言单词分配 “fertilities” 来限制每个单词可以接收的注意力,同时提出了一种新的稀疏的注意力变换方式 “sparsemax”,并在三种语 - ACL用动态句子采样提高神经机器翻译的训练效率
该研究提出了一种基于动态采样的神经机器翻译(NMT)训练方法,通过对句子加权并根据权重动态采样一定百分比的句子,以提高 NMT 训练效率和性能。
- ACL使用 LMBR 后验概率加速 NMT 批次化波束搜索解码的部署
描述了一种基于批处理的光束解码算法,结合使用 LMBR 技术和 n-gram 后验概率来进行 NMT 训练,结果表明在 Transformers 最佳结果的基础上仍然能够获得进步。同时讨论了加速部署策略以及光束大小和批处理对速度和内存的影响 - MMBooking.com 实例:朝着全面推广的神经机器翻译
本文介绍了在大规模电子商务环境中,构建一个内部旅游领域的神经机器翻译系统,并对其进行优化、训练(包括不同的优化策略和语料库规模)、处理现实世界内容以及评估结果等三个主题进行了研究。
- EMNLP赫尔辛基神经机器翻译系统
介绍了赫尔辛基神经机器翻译系统 (HNMT) 及其在新闻翻译任务中的应用,其中在英语 - 芬兰语方向上在 WMT2017 评测中获得了人工评估和自动评估的第一名,与一个强大的传统机器翻译基线相比,HNMT 具有更大的优势。同时讨论了在英语 - ACL使用条件序列生成对抗网络提升神经机器翻译
该论文提出了一种将 GANs 应用于 NMT 的方法,其通过生成对抗网络实现机器翻译任务中句子的生成,并使用 BLEU 评估模型表现,实验证明该方法在英德和中英翻译任务上均优于传统的 RNNSearch 和最新的 Transformer 模 - 神经机器翻译的快速领域适应
本文介绍了一种适应新领域的神经机器翻译(NMT)系统,并展示了在两种语言对上,适应方法相比于常用方法在自动和人工评估测量标准下的显著性提升,而一般领域性能仅略有下降,适应过程快速且不需要重新训练 NMT 模型。