神经机器翻译中的同形异义词处理
本文提出一种新的方法来解决神经机器翻译中同形异义词的问题,该方法利用编码器的隐藏状态以及受 WordNet 数据集启发的同义词句子进行 encoder 的微调,从而实现单词级别的同形异义词消歧表示(HDR),最终应用于 transformer-based NMT 以提高 BLEU 得分和其他翻译准确度指标。
Apr, 2023
本篇论文研究了神经机器翻译中的一种特殊噪声 - 同音替换,提出将源语言句子的文本和音素信息进行联合嵌入,并使用同音替换扩充训练数据集来提高模型对同音替换的鲁棒性,实验结果表明,放置在音素信息上的大多数权重可能比文本信息更有利于提高翻译质量和模型鲁棒性。
Oct, 2018
通过利用大型语言模型,我们研究了在机器翻译中解决语义歧义的能力,并提出了两种改进方法,通过上下文学习和在精心策划的歧义数据集上的微调,我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统,为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。
Sep, 2023
研究表明,最新的希伯来语情境嵌入模型在消除希伯来语同形异义词和分析词素、句法特征方面效果显著,尤其在限制分词数、2 种和 3 种歧义的情况下,对于平衡和不平衡分布的同形异义词同样有效,无论是有监督训练还是几次训练。
May, 2024
Google 发布的 GNMT 神经机器翻译系统采用 LSTM 深度学习网络,使用 attention 机制和残差连接,借助词元素 (wordpieces) 将单词划分为子单元,提高了稀有单词处理能力与整体系统精度。
Sep, 2016
本文研究了文档级 NMT 模型在四个不同领域中的性能,并发现不同的架构适用于不同的任务,同时发现上下文感知系统在任务特定问题上有改进,而文本级别的指标(如 BLEU)没有显着改进。同时,本文还表明,文档级别的回译对于缺乏文档级别双文本的情况有很大的帮助。
Oct, 2020
本研究探讨了利用词义消歧算法扩大上下文范围提高神经机器翻译的效果,通过引入三种自适应聚类算法进行了验证并在 SemEval 数据上进行了评估,随后在一个最先进的 NMT 系统中联合学习单词向量和最佳 WSD 算法定义的词义向量,最终证明这种方法可以优于几个基准模型。
Oct, 2018
本文追溯了现代神经机器翻译体系结构的起源,重点探讨了单个神经网络在翻译中的应用,其中涉及到 word 和 sentence embedding 以及编码器 - 解码器网络家族的早期示例,并总结了该领域的最新趋势。
Dec, 2019