基于词级策略的增强式同时机器翻译
同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM,将 SiMT 任务分解为策略决策和翻译子任务,并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT,最终实现了最新技术水平的性能表现。
Feb, 2024
同时机器翻译(SiMT)通过阅读源语句来生成目标翻译,在确定最佳时机阅读句子和生成翻译的策略方面,现有的 SiMT 方法通常采用传统的 Transformer 架构,虽然它们擅长确定策略,但其翻译性能却不够优化。相反,基于丰富语料库训练的大型语言模型(LLMs)具有卓越的生成能力,但它们很难通过 SiMT 的训练方法获得翻译策略。因此,我们引入 Agent-SiMT,这是一个将 LLMs 和传统 SiMT 方法的优势结合起来的框架。Agent-SiMT 包含策略决策代理和翻译代理。策略决策代理由一个 SiMT 模型管理,使用部分源语句和翻译来确定翻译策略。而翻译代理则利用 LLM 基于部分源语句生成翻译。这两个代理共同合作完成 SiMT。实验证明,Agent-SiMT 达到了最先进的性能。
Jun, 2024
本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型,采用多头注意力实现专家混合,每个专家根据其自己的等待词数被认为是 wait-k 专家,并根据测试延迟和源输入调整专家权重以产生最佳翻译,可以在任意延迟下实现最佳翻译质量,实验结果表明,该方法优于现有方法。
Sep, 2021
本文提出了一种采用双路径的同时机器翻译方法,该方法引入了对偶性约束以直接监督源到目标和目标到源 SiMT 模型的读 / 写路径,据实验结果表明,在所有延迟下,我们的方法优于强基线。
Mar, 2022
本文提出一种用于自适应 SimulMT 训练的有效方案,通过向训练语料库中添加自适应前缀对前缀的语句,来缓解 Wait-K 策略的两个主要限制,实验证明该方法在翻译质量和延迟方面优于所有强基准线。
Apr, 2022
提出了一种简单的监督学习框架,从并行文本生成的 oracle READ / WRITE 序列中学习自适应策略来结合固定延迟策略和自适应策略的优点以实现更好的 BLEU 分数和相似的延迟,同时无需重新训练基础的神经机器翻译模型。
Sep, 2019
经过小规模数据集上的微调后,预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段,从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数;尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果,为改进未来的同时翻译系统指明了一个有希望的方向。
Feb, 2024
利用大型语言模型进行同传机器翻译,在训练推理不匹配的问题上引入了简单而有效的混合策略,并且通过在完整和前缀句子的混合训练上进行监督微调,实现了显著的性能改进,证明大型语言模型可以在翻译质量和延迟方面达到与专用同传机器翻译模型相当的水平。
Sep, 2023
本文提出了一种将后评估集成到固定策略中的方法,通过测量源内容的变化来评估下一个操作的合理性,并根据评估结果采取不同的操作,这种自适应策略在三项翻译任务中均优于强基准线。
Oct, 2022