自适应机器翻译的语言模型方法
本文旨在探究如何利用上下文学习的方法来提高实时自适应机器翻译的质量,并研究将强编码器 - 解码器模型和模糊匹配相结合以进一步提高翻译质量的方法。已在五个大不同的语言对上展开了实验。
Jan, 2023
本研究提出了一种利用预训练语言模型进行领域特定数据增强的领域自适应新方法,通过该方法,配合回译技术,可生成大量合成双语的领域内数据,从而显著改进了机器翻译的领域内文本的翻译效果。人工评估结果进一步证实了自动评估结果的准确性。
Aug, 2022
本文提出了一种基于提示的精调方法(LlamaIT),以实现对通用语言模型(LLM)在领域特定机器翻译任务中的有效和高效精调,并通过零样本提示与指令适应目标领域。结果表明,LlamaIT 能够显著提升 LLM 的领域特定机器翻译能力,同时保持其零样本机器翻译能力。
Feb, 2024
本文提出了一种无监督的自适应方法,使用伪域内语料库通过微调预先训练的域外 NMT 模型,借助词典诱导提取域内词汇,并通过针对性的单语域内目标句子进行逐词反向翻译构建伪平行域内语料库,在 20 对自适应设置和两种模型架构的五个领域中,我们的方法始终显示出提高,而不需要使用任何域内平行句子,改进了未经过调整的模型高达 14 BLEU 和强反向翻译基线的最高 2 BLEU。
Jun, 2019
本文介绍了我们在德英(DE-EN)、英捷(EN-CS)和中英(ZH-EN)语言对上提交给 WMT 2023 术语共享任务的方法,通过使用大型语言模型(LLMs)生成二语合成数据并将预批准术语整合入机器翻译(MT)中,成功地提高了术语的使用率。
Oct, 2023
本文探讨了在上下文中学习(in-context learning)的概念,将其视为维持与上下文信息相一致的生成任务。通过实验表明,长期一致性可以作为下游翻译任务表现优异的良好指标,并表明在上下文机器翻译可以实现随时自适应(on-the-fly adaptation)的效果。
May, 2023
利用机器翻译从英语训练 LLMs 在低资源语言中通常会带来翻译的挑战,然而我们研究了机器翻译和合成数据在训练语言模型中的作用,并通过案例研究展示了改进的效果。
May, 2024
本文介绍了一项关于增强大型语言模型(LLMs)在机器翻译(MT)任务中翻译能力的研究,提出了一个包括三个阶段的新范 Paradigm,通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练,以及利用和源语言一致的指导来进行监督微调。实验结果表明,我们的方法在翻译能力方面取得了显著的改进,超过了以前的工作,并在参数数量较小的情况下实现了优越的性能。
Mar, 2024
通过使用适配器进行微调,我们可以改善大型语言模型在机器翻译方面的性能,并减少训练参数量,同时保持微调模式的效果,解决了少样本学习和过度生成的问题。
Oct, 2023
本研究着眼于如何将文化知识应用于大型语言模型的机器翻译中,提出了一种新的数据筛选方法来构建具有文化相关性的平行语料库,并设计了简单有效的提示策略以帮助大型语言模型实现机器翻译。经过广泛实验表明,这些方法可以大大帮助将文化知识融入到大型语言模型的机器翻译中,从而在翻译文化特定的句子方面优于传统的 NMT 系统。
May, 2023