增强大型语言模型的翻译能力的新范式
本篇论文通过对一个多语种预训练语言模型XGLM-7B进行微调并给出指示进行多语种翻译的实验，展示了预训练语言模型在翻译任务中的较强能力，并发现其翻译能力依赖于对翻译指令的理解和语言之间的对齐，研究结果可启发模型改进。
May, 2023
通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器ALMA，该模型在WMT'21和WMT'22的测试数据集上相比于之前的工作和具有7B或13B参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。
Sep, 2023
通过使用机器翻译作为涉及英语和22种印度语言的任务，我们探索了大型语言模型的多语言能力，研究了原始模型的翻译能力和上下文学习能力，通过参数高效的微调方法和完全微调，我们确定了最佳性能的大型语言模型。结果表明，大型语言模型在包括目前在LLMs中代表较少的语言的机器翻译能力方面取得了显著的进展。
Nov, 2023
探索大型语言模型在文档级机器翻译中的适应过程及性能，研究了提示策略及精细调优方法对翻译结果的影响，发现部分专用模型的翻译性能甚至超过GPT-4，但仍面临着偏离翻译问题的挑战，同时进行了深入分析，包括翻译错误、平行文件的规模关系、领域外泛化和零翻译跨语言转移等，为未来文档级机器翻译方面的研究提供了基础。
Jan, 2024
神经机器翻译（NMT）的进化受到六个核心挑战的显著影响，本研究重新审视这些挑战，提供有关高级大型语言模型（LLMs）背景下其持续相关性的见解：领域不匹配、平行数据量、罕见词预测、长句翻译、注意力模型作为词对齐以及次优束搜索，我们的实证发现表明LLMs在主要语言的预训练阶段有效减少对平行数据的依赖，LLM基于的翻译系统显著提高了包含大约80个单词的长句翻译，并且可翻译长度达512个单词的文档。然而，尽管取得了显著改进，领域不匹配和罕见词预测的挑战仍然存在。虽然与NMT特定相关的词对齐和束搜索的挑战可能不适用于LLMs，但我们确定了LLMs在翻译任务中面临三个新的挑战：推理效率、预训练阶段对低资源语言的翻译以及人对齐评估。数据集和模型在此https URL上发布。
Jan, 2024
通过基于Plackett-Luce模型的基于偏好的方法，成功突破了以模仿为基础的SFT的平台效应，从而实现了在各种LLM和测试环境中的性能优势。
Apr, 2024
目前在使用大型语言模型（LLM）进行细调以进行翻译方面的实践中，研究发现LLMs在仅用32个训练实例进行细调后表现出很强的翻译能力，并且单向细调能够使LLMs实现多方向翻译，但是选择翻译方向非常重要，使用英语在目标语言侧进行细调可能导致任务误解，从而阻碍对非英语语言的翻译。在平行数据的目标语言侧引入噪声时也会出现类似的问题，尤其当目标语言在LLM的预训练中具有较好的表示时。相比之下，对于不充分表示的语言，噪声的影响较小。研究发现，成功对齐取决于教会模型保持“表面”关注，从而避免学习错误的偏差而影响翻译。
Apr, 2024
通过在平行文本上对大型语言模型 (LLM) 进行微调，新的机器翻译范式已被证明能够胜过使用大量平行数据以监督方式训练的专用翻译系统，然而，对于大规模多语言机器翻译，是否需要对少数语言对进行专门的模型微调仍然不清楚。本研究通过对TOWER系列语言模型在132个来自多语言平行数据FLORES-200的翻译任务上进行实证评估，发现翻译微调即使对于零样本语言平均而言也会提高翻译质量，但其影响因所涉及的语言对而异。这些结果呼吁进一步研究以有效实现大规模多语言翻译。
May, 2024
本研究关注大型语言模型(LLMs)在特定组织翻译中的表现，尤其是微调过程中的数据规模影响。通过结合翻译记忆(TMs)，我们发现扩大的训练集规模在多种评估指标上显著提升了翻译质量，最大数据集的BLEU和COMET评分分别比基线模型提高了13和25分。这一发现为企业提供了利用TMs和LLMs优化翻译效果的宝贵见解。
Sep, 2024
本研究解决了大型语言模型（LLMs）在组织特定翻译中面临的细微差别与风格问题。通过利用翻译记忆（TMs）对Llama 3模型进行微调，研究表明使用更大规模的数据集能够显著提高翻译质量，尤其在软件行业的应用上具有重要的潜在影响。
Sep, 2024