Dec, 2023

Simul-LLM：一个探索使用大型语言模型进行高质量同时翻译的框架

PDF
TL;DR大型语言模型在神经机器翻译中的应用被广泛研究，本文关注于将大型语言模型 fine-tuning 用于较困难的同时翻译任务，验证了经典方法在大型语言模型上的有效性，探索了将用于机器翻译的大型语言模型调整为同时翻译任务的适应方法，并引入 Simul-LLM，首个专注于同时翻译任务的开源 fine-tuning 和评估流程框架。
发现论文，激发创造
  • 大语言模型的同时机器翻译

    利用大型语言模型进行同传机器翻译，在训练推理不匹配的问题上引入了简单而有效的混合策略，并且通过在完整和前缀句子的混合训练上进行监督微调，实现了显著的性能改进，证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。

    Sep, 2023

  • Conversational SimulMT: 大型语言模型的高效实时翻译

    这篇论文提出了一种基于 LlM 的对话式 SimulMT 框架，通过多轮对话解码提高 LLM 的推理效率，在两个 SimulMT 基准测试中展示了 LLM 在翻译质量上的优越性以及与专用 SimulMT 模型相当的计算延迟。

    Feb, 2024

  • LLMs 是零射击上下文感知的同时翻译器

    大型语言模型在同时机器翻译任务中表现出与某些最先进基准系统相当或更好的性能，并且注入最少的背景信息（容易实现）可以进一步提高性能，尤其是在具有挑战性的技术主题上。这凸显了大型语言模型构建下一代大规模多语言、上下文感知和术语准确的同时翻译系统的潜力，而无需资源密集型的训练或微调。

    Jun, 2024

  • TransLLaMa: 基于 LLM 的同步翻译系统

    经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

    Feb, 2024

  • SiLLM：大型语言模型用于同步机器翻译

    同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM，将 SiMT 任务分解为策略决策和翻译子任务，并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT，最终实现了最新技术水平的性能表现。

    Feb, 2024

  • 增强大型语言模型的翻译能力的新范式

    本文介绍了一项关于增强大型语言模型（LLMs）在机器翻译（MT）任务中翻译能力的研究，提出了一个包括三个阶段的新范 Paradigm，通过使用大量的单语数据进行二次预训练、使用互译文本格式文档进行连续预训练，以及利用和源语言一致的指导来进行监督微调。实验结果表明，我们的方法在翻译能力方面取得了显著的改进，超过了以前的工作，并在参数数量较小的情况下实现了优越的性能。

    Mar, 2024

  • 大型语言模型和机器翻译的即时融合

    我们在相同任务和输入上提出了一个机器翻译模型和 LLM 的即时集成方法。我们在 4 个语言对（两个方向）上进行了实验，并且数据量有所不同。我们发现，稍微差一些的 LLM 可以提高 NMT 模型的翻译质量，并且与 LLM 集成可以产生比两个更强的机器翻译模型集成更好的翻译结果。我们结合了 LLM 提示的各种技术，如上下文学习和翻译上下文。

    Nov, 2023

  • 基于神经机器翻译的实时翻译学习

    本论文提出了一种基于神经机器翻译的实时翻译框架，通过代理决策来实现翻译输出实时化并且具有可控的翻译质量与延迟，通过在两种语言对上的实验结果表明了该方法在定量与定性方面的有效性。

    Oct, 2016

  • 大语言模型的多语言机器翻译：实证结果和分析

    本文系统地研究了大型语言模型在多语言机器翻译中的优势和挑战，并在 102 种语言上评估了 XGLM、OPT、BLOOMZ 和 ChatGPT 四种常见模型的性能。在进一步分析中，本文发现大型语言模型在多语言机器翻译中具有一些新的工作方式。

    Apr, 2023

  • 基于大型语言模型的机器翻译的有效消歧

    通过利用大型语言模型，我们研究了在机器翻译中解决语义歧义的能力，并提出了两种改进方法，通过上下文学习和在精心策划的歧义数据集上的微调，我们的方法在五种语言方向中有四种能够匹敌或胜过 DeepL 和 NLLB 等最先进的系统，为将大型语言模型有效地用于歧义消解的机器翻译提供了有价值的见解。

    Sep, 2023