- ACLMobileNMT:使 15MB 和 30ms 内进行翻译成为可能
本文提出 MobileNMT,这是一个可以在移动设备上进行翻译的系统,该系统通过一系列的模型压缩原则与量化相结合来实现,与现有系统相比,其速度提高了 47 倍,节省了 99.5% 的内存,只损失了 11.6% 的 BLEU。
- 使用一致性正则化的半监督神经机器翻译技术 —— 面向低资源语言
本文介绍一种半监督的方法来解决低资源语言机器翻译的问题,通过增强高质量的句子对和使用基于 SentenceBERT 的过滤器来提高数据质量,将交叉熵损失和 KL 散度相结合,特别是通过伪目标句子实现无监督训练,实验证明该方法可以显著提高 N - 神经机器翻译中无监督幻象检测的最优输运
本文讨论如何通过优化传输和一个完全无监督的插件来检测 NMT 中的幻觉,并表明该检测器不仅优于所有先前的基于模型的检测器,而且与训练在数百万个样本上的大型模型的检测器有竞争力。
- 基于大型预训练模型的流畅翻译 ——MixMT 2022 SIT
本论文介绍了史蒂文斯理工学院提交的 WMT 2022 共享任务:混合代码机器翻译并针对该任务的两个子任务的技术改进,包括采用大型预训练多语言 NMT 模型和领域内数据集以及反向翻译和集成技术等,该系统取得了子任务 2 上的第一名和子任务 1 - 评估阿塞拜疆语神经机器翻译
本研究对使用不同技术和数据集的阿塞拜疆语 - 英语 NMT 系统进行表现基准测试,并评估哪种分段技术在阿塞拜疆语翻译中效果最佳。结果显示,虽然 Unigram 分割可以提高 NMT 性能,而且阿塞拜疆语翻译模型随着数据集质量而不是数量的提高 - 神经机器翻译中低资源域适应的正确配方寻找
本研究探讨了针对预训练第三方 NMT 模型的单语和平行数据方法在领域适应中的效果,在低资源条件下提出了集成方法来缓解翻译质量的降低,并给出了在三个领域和四个语言对中的建议。
- 学习如何通过韩语翻译朝鲜语
本研究通过构建共比赛语料库,从而为朝鲜语神经机器翻译模型提供北韩语言的数据训练。我们手动创建评估数据,研究适用于朝鲜语的自动对齐方法,最后证实了使用朝鲜双语数据训练的模型能够显著提高其翻译准确性。
- 2021 年 IWSLT USYD-JD 语音翻译系统
描述了悉尼大学&JD 在 IWSLT 2021 低资源语音翻译任务中的联合提交。我们参加了斯瓦希里语 - 英语方向,并在所有参与者中获得了最佳的分数,使用基于管道框架的 ASR 和 NMT。我们采用了多种技术方法,包括基于知识蒸馏的后向转换 - ACLSamanantar: 11 种印度语言最大的公开并行语料库收集
介绍了 Samanantar,这是最大的公共平行语料库集合,包括英语和 11 种印度语言之间的 49.7 百万句子对,同时提取自公共平行语料库和网络,并在 Samanantar 上训练多语种 NMT 模型,从而在公开可用的基准测试上优于现有 - EMNLP迭代领域修复反向翻译
本文提出了一种迭代式领域修复回译框架,通过域修复模型对合成双语数据进行优化,达到在特定领域适配 NMT 模型的效果提升。
- EMNLP用 Softmax 温化技术训练神经机器翻译模型
本研究探讨了采用 softmax tempering 技术来训练神经机器翻译模型,在亚洲语言 Treebank 数据集和 WMT 2019 英德翻译任务中实验证明该技术显著提高翻译质量,同时使贪心搜索与 Beam Search 解码同为一体 - ACL零样本神经机器翻译中一致性的达成
通过将多语言翻译问题重新构造为概率推理,定义了零 - shot 一致性的概念;引入了一种基于一致性约束的训练方法,鼓励模型在辅助语言中生成等效的平行句子翻译,最终我们测试了多种公共的零 - shot 翻译基准数据集,并证明基于一致性约束训练 - IJCAI使用双向双编码器和加性边界 softmax 改进多语言句子嵌入
本研究提出了一种使用双向双编码器和加性边际 softmax 学习多语言句子嵌入的方法,能够在联合国 (UN) 平行语料库检索任务上取得最先进的结果,并使用检索到的语言对训练 NMT 模型。通过对我们的句子嵌入平均构建的简单文档级别嵌入进行实 - 学习将输入分段有利于基于字符级处理的神经机器翻译
提出了一种基于自适应计算时间算法的动态分词算法,该算法可通过端到端的训练驱动,并可在不同的分词级别之间进行自由导航。在四个翻译任务的评估中,发现模型更喜欢在几乎字符级别上运行,从一种新的角度支持了纯字符级 NMT 模型。
- EMNLP使用透明化注意力训练更深层的神经机器翻译模型
本篇研究旨在通过对注意机制做出简单修改以训练深度 NMT 模型,我们尝试通过训练深度 Transformer 和 Bi-RNN 编码器来提高机器翻译的质量,结果在 WMT'14 英德和 WMT'15 捷英任务上均取得了 0.7-1.1 的 - 使用双语句子嵌入的有效并行语料库挖掘
该研究提出了一种有效的并行语料库挖掘方法,使用双语句子嵌入进行训练,通过引入硬负例来实现。该方法是基于语义相似度的,结果表明该方法可以用于重建平行文本,从而训练出 NMT 模型,与使用原始数据训练的模型相差不大。
- COLING神经机器翻译模型在历史拼写规范化上的评估
本文应用不同的 NMT 模型来解决五种语言的历史拼写规范化问题,结果显示 NMT 模型比 SMT 模型在字符错误率方面表现更好,其中 RNN 模型的性能与 GRU/LSTM 类似,Transformer 模型只有在提供更多的训练数据后才有更 - 评估神经机器翻译中的表示层对词性标注和语义标注任务的影响
本文研究了神经机器翻译中不同层面的向量表示的学习情况,并发现高层次对语义的学习更有效,而较低层次对词性标注的学习效果更好。