- 翻译的简单有效的输入改写
通过重新制定微调期间的输入,利用预训练模型在新颖的方式下发挥其优势,无需额外收集训练数据或在推理时修改数据,这些简单的数据级别修改方案在单语言对翻译任务或大规模多语言翻译任务中都可以应用,实验证明这些技术在 Flores200 翻译基准测试 - EMNLPDiffS2UT:一种保持语义的无文本直接语音翻译扩散模型
通过在连续语音表示空间中应用向前扩散,同时在离散语音单位空间中应用向后扩散,我们提出了一种新的扩散模型,以此在扩散过程中保留了连续语音表示空间的语义结构,并整合了连续和离散扩散模型。在无文本直接语音翻译任务上进行了大量实验,该方法与计算密集 - 基于知识蒸馏的多语言神经机器翻译的终身学习
研究多语言神经机器翻译中的灾难性遗忘问题,并提出基于知识蒸馏的生命周期学习方法,以应对其面临的问题。实验结果显示,该方法能够更好地巩固以前的知识并显著减轻问题。
- EMNLP将固定转为自适应:将后评估集成到同时机器翻译中
本文提出了一种将后评估集成到固定策略中的方法,通过测量源内容的变化来评估下一个操作的合理性,并根据评估结果采取不同的操作,这种自适应策略在三项翻译任务中均优于强基准线。
- ACLMSP: 提升预训练语言模型翻译表现的多阶段提示方式
Multi-Stage Prompting 可以将 pre-trained language model 应用到 translation tasks 中以达到更好的翻译效果。该方法通过将翻译过程分为编码阶段、重新编码阶段和解码阶段,分别在这 - ACL基于编辑和重定位的编辑器 —— 用于具有软词汇约束的神经机器翻译
本文介绍了一种基于编辑的转换器,其通过编辑假设使序列生成更加灵活。 实验证明,它在处理序列时,比 Levenshtein Transformer 更有效,并且在标准的机器翻译任务中可以实现与 Levenshtein Transformer - EMNLP将本地翻译机制融入非自回归翻译中
本研究介绍了一种新的局部自回归翻译机制,将其应用于非自回归翻译模型中,以捕捉目标输出的局部依赖关系。同时,设计出一种高效的合并算法来对齐和合并输出序列。我们在 5 个翻译任务上进行了实证结果,表明相比 CMLM,我们的方法在更少的译码迭代次 - COLING层间多视角学习用于神经机器翻译
本文提出了一种基于多视图学习和一致性正则化的方法来解决传统神经机器翻译中编码器只能根据顶层编码器层的上下文表示而不能直接感知较低编码器层的上下文表示的问题,并在五个翻译任务上进行了实验证明其有效性和稳定性,此外,该方法不依赖于网络架构。
- EMNLP神经机器翻译的不确定性感知语义增强
本文提出了一种新的方式用于神经机器翻译的模型训练,通过对多个具有相同语义的源语言句子进行明确抓取通用的语义信息以提高模型性能。在各类翻译任务的实验中,本方法表现显著优于现有方法。
- ACL评估神经机器翻译的解释方法
本研究提出了一种基于神经机器翻译模型预测行为的衡量方法,以衡量解释方法的准确度,并在六个标准翻译任务上量化地评估了几种解释方法。
- 多元神经机器翻译的流畅性和忠实度建模
论文提出了一种引入评估模块来指导预测结果分布的神经机器翻译方法,从流畅性和忠实度的角度引导模型生成具有连接性的短语,实验结果表明,该方法可以显著提高翻译质量。
- ACL使用词汇定义学习双语词嵌入
本文提出了一种新的双语词嵌入方法 BilLex,通过公共词汇定义词对策略自动识别和传播精确细粒度单词对齐,从而实现双语之间的语义和知识迁移,并在词级和句子级翻译任务中显著优于先前的嵌入方法。
- AAAI上下文感知自注意力网络
通过上下文信息来提高自注意力网络有效性的研究表明,利用内部嵌入全局和深度上下文的方式来上下文化查询和键层变换可以提高翻译任务的性能.
- EMNLP带有不一致规则化的多头注意力
本文提出基于不同类型的不一致性正则化来鼓励多头注意力模型中的多样性,实验结果表明这种方法有效且具有普适性,适用于 WMT14 英德和 WMT17 中英翻译任务。
- EMNLP自注意力网络的本地性建模
本篇研究提出了一种基于学习性高斯偏置的自注意力网络的局部特征建模方法,能够从更细致的角度获取有用的局部上下文信息,通过实验验证证明该方法能够有效地应用于翻译任务中。
- 神经机器翻译中更好的子词划分
本文提出将字节对编码(Byte Pair Encoding)引入到通用无监督框架中以解决翻译任务中由于罕见或未知单词对翻译效果的限制,经实验验证在德英和中英翻译任务中,使用 accessor variety 和 description le - 神经机器翻译中生成的前瞻注意力
该论文提出了一种新型的前瞻性注意机制,旨在直接捕捉目标单词之间的依存关系。实验表明,该前瞻性注意机制在机器翻译任务上取得了显著的改进。
- ACL使用条件序列生成对抗网络提升神经机器翻译
该论文提出了一种将 GANs 应用于 NMT 的方法,其通过生成对抗网络实现机器翻译任务中句子的生成,并使用 BLEU 评估模型表现,实验证明该方法在英德和中英翻译任务上均优于传统的 RNNSearch 和最新的 Transformer 模