同时屏蔽，不是提示优化：同传中微调语言模型的范式转变

May, 2024

同时屏蔽，不是提示优化：同传中微调语言模型的范式转变

Simultaneous Masking, Not Prompting Optimization: A Paradigm Shift in Fine-tuning LLMs for Simultaneous Translation

Matthew Raffel, Victor Agostinelli, Lizhong Chen

TL;DR利用一种名为 SimulMask 的新模式，通过在 Fine-tuning 期间通过屏蔽注意力连接来建模即时翻译，成功解决了一系列问题，从而使大语言模型在同时翻译任务中取得了显著提升的翻译质量，并减少了计算成本。

Abstract

large language models (LLMs) have achieved state-of-the-art performance in various language processing tasks, motivating their adoption in simultaneous translation. Current fine-tuning methods to adapt LLMs for s

large language models simultaneous translation fine-tuning attention mask technique translation quality improvement

发现论文，激发创造

大语言模型的同时机器翻译

利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

Sep, 2023

Simul-LLM：一个探索使用大型语言模型进行高质量同时翻译的框架

大型语言模型在神经机器翻译中的应用被广泛研究，本文关注于将大型语言模型 fine-tuning 用于较困难的同时翻译任务，验证了经典方法在大型语言模型上的有效性，探索了将用于机器翻译的大型语言模型调整为同时翻译任务的适应方法，并引入 Simul-LLM，首个专注于同时翻译任务的开源 fine-tuning 和评估流程框架。

Dec, 2023

Conversational SimulMT: 大型语言模型的高效实时翻译

这篇论文提出了一种基于 LlM 的对话式 SimulMT 框架，通过多轮对话解码提高 LLM 的推理效率，在两个 SimulMT 基准测试中展示了 LLM 在翻译质量上的优越性以及与专用 SimulMT 模型相当的计算延迟。

Feb, 2024

大型语言模型在翻译中的多语言程度如何？

通过在平行文本上对大型语言模型 (LLM) 进行微调，新的机器翻译范式已被证明能够胜过使用大量平行数据以监督方式训练的专用翻译系统，然而，对于大规模多语言机器翻译，是否需要对少数语言对进行专门的模型微调仍然不清楚。本研究通过对 TOWER 系列语言模型在 132 个来自多语言平行数据 FLORES-200 的翻译任务上进行实证评估，发现翻译微调即使对于零样本语言平均而言也会提高翻译质量，但其影响因所涉及的语言对而异。这些结果呼吁进一步研究以有效实现大规模多语言翻译。

May, 2024

增强大型语言模型的翻译能力的新范式

本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

Mar, 2024

机器翻译的范式转变：提升大型语言模型的翻译性能

通过提出一种新的微调方法，我们设计了一种面向翻译任务的先进语言模型的翻译器 ALMA，该模型在 WMT'21 和 WMT'22 的测试数据集上相比于之前的工作和具有 7B 或 13B 参数的模型有着显著性能提升，并为机器翻译领域的新的训练范式奠定了基础。

Sep, 2023

SiLLM：大型语言模型用于同步机器翻译

同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM，将 SiMT 任务分解为策略决策和翻译子任务，并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT，最终实现了最新技术水平的性能表现。

Feb, 2024

TransLLaMa: 基于 LLM 的同步翻译系统

经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

Feb, 2024

通过仅使用平行数据训练的大型语言模型研究翻译能力

本研究引入了 PLUME（Parallel Language Model），该模型是由三个 2B LLMs 组成，采用不同词汇量（32k、128k 和 256k），并且完全基于加泰罗尼亚语为中心的平行语料进行训练。这些模型在 16 个有监督翻译方向和 56 个零样例下的翻译性能与之前的编码解码架构相当。利用这些模型，我们对 LLMs 的翻译能力进行了全面调查，探究其性能、提示的不同元素以及跨语言表示空间的影响。

Jun, 2024

调整困境：提高翻译质量而不牺牲 LLM 能力

微调大型语言模型对机器翻译的影响及保持翻译质量和翻译能力的需求。

May, 2024