LLMs 是零射击上下文感知的同时翻译器

Jun, 2024

LLMs 是零射击上下文感知的同时翻译器

LLMs Are Zero-Shot Context-Aware Simultaneous Translators

Roman Koshkin, Katsuhito Sudoh, Satoshi Nakamura

TL;DR大型语言模型在同时机器翻译任务中表现出与某些最先进基准系统相当或更好的性能，并且注入最少的背景信息（容易实现）可以进一步提高性能，尤其是在具有挑战性的技术主题上。这凸显了大型语言模型构建下一代大规模多语言、上下文感知和术语准确的同时翻译系统的潜力，而无需资源密集型的训练或微调。

Abstract

The advent of transformers has fueled progress in machine translation. More recently large language models (LLMs) have come to the spotlig

transformers machine translation large language models simultaneous machine translation context-aware systems

发现论文，激发创造

TransLLaMa: 基于 LLM 的同步翻译系统

经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

Feb, 2024

Simul-LLM：一个探索使用大型语言模型进行高质量同时翻译的框架

大型语言模型在神经机器翻译中的应用被广泛研究，本文关注于将大型语言模型 fine-tuning 用于较困难的同时翻译任务，验证了经典方法在大型语言模型上的有效性，探索了将用于机器翻译的大型语言模型调整为同时翻译任务的适应方法，并引入 Simul-LLM，首个专注于同时翻译任务的开源 fine-tuning 和评估流程框架。

Dec, 2023

大语言模型的同时机器翻译

利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

Sep, 2023

利用语言模型进行机器翻译的上下文代码切换

通过对比多个 LLM 模型，在机器翻译任务中，我们发现相对较简单的模型性能优于多语言大型语言模型，表明多语言大型语言模型在上下文代码切换方面的有效性受到训练方法的限制。与之相反，当相对较小的模型在定制的数据集上进行训练和微调时，可能会产生更好的结果。

Dec, 2023

SiLLM：大型语言模型用于同步机器翻译

同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM，将 SiMT 任务分解为策略决策和翻译子任务，并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT，最终实现了最新技术水平的性能表现。

Feb, 2024

大语言模型的多语言机器翻译：实证结果和分析

本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

Apr, 2023

Conversational SimulMT: 大型语言模型的高效实时翻译

这篇论文提出了一种基于 LlM 的对话式 SimulMT 框架，通过多轮对话解码提高 LLM 的推理效率，在两个 SimulMT 基准测试中展示了 LLM 在翻译质量上的优越性以及与专用 SimulMT 模型相当的计算延迟。

Feb, 2024

语言模型是优秀的翻译器

该研究表明，预训练的单一语言模型（LM4MT）可以与强大的编码器 - 解码器 NMT 模型在标准机器翻译基准测试中取得可比较的性能，LM4MT 还可以轻松利用源侧文本作为额外的监督。LM4MT 可以为源语言和目标语言提供统一的表示形式，在跨语言知识转移方面表现更好，并在基于中间语言和零样本翻译任务中获得显著的优势。

Jun, 2021

多语言大型语言模型还不能切换语言

本文通过大量实证研究探索了多语言大型语言模型在涉及语种切换的情况下情感分析、机器翻译和单词级别语言识别等任务的表现。研究显示，虽然这些模型在使用零 / 少量提示时在某些任务中表现出色，但与较小的微调模型相比，它们的性能仍然有所不适。因此，研究者认为未来需要进一步研究来完全弥合这一差距。

May, 2023

GenTranslate：大型语言模型是生成式跨语音和机器翻译器

利用大型语言模型的丰富语言知识和强大的推理能力，我们提出了一种新的生成式翻译范式 ——“GenTranslate”，可以从 N 个候选译文中生成更高质量的翻译结果，并且在各种语音和机器翻译基准测试中明显优于现有模型。

Feb, 2024