隐马尔可夫变换器用于同时机器翻译
该研究提出了一种新方法,通过课程学习以逐步减少可用的源信息,从而实现从序列到序列训练到前缀到前缀训练的过渡,以增强同步机器翻译模型的翻译能力。实验证明,该方法优于强基准模型。
Sep, 2023
同时机器翻译(SiMT)通过阅读源语句来生成目标翻译,在确定最佳时机阅读句子和生成翻译的策略方面,现有的 SiMT 方法通常采用传统的 Transformer 架构,虽然它们擅长确定策略,但其翻译性能却不够优化。相反,基于丰富语料库训练的大型语言模型(LLMs)具有卓越的生成能力,但它们很难通过 SiMT 的训练方法获得翻译策略。因此,我们引入 Agent-SiMT,这是一个将 LLMs 和传统 SiMT 方法的优势结合起来的框架。Agent-SiMT 包含策略决策代理和翻译代理。策略决策代理由一个 SiMT 模型管理,使用部分源语句和翻译来确定翻译策略。而翻译代理则利用 LLM 基于部分源语句生成翻译。这两个代理共同合作完成 SiMT。实验证明,Agent-SiMT 达到了最先进的性能。
Jun, 2024
同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM,将 SiMT 任务分解为策略决策和翻译子任务,并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT,最终实现了最新技术水平的性能表现。
Feb, 2024
本文提出了 Gaussian Multi-head Attention(GMA)模型,用于开发一种新的 SiMT 策略,并通过模拟对齐和翻译来实现对齐的学习,该方法在 En-Vi 和 De-En 任务中的实验表明,它在翻译和延迟之间的权衡上优于强基线。
Mar, 2022
我们提出了一种基于置信度的同传机器翻译框架(CBSiMT),通过利用模型置信度来察觉幻觉标记,并通过加权的前缀对前缀训练来减轻它们的负面影响。实验结果表明我们的方法可以在大多数延迟范围内持续提高翻译质量,低延迟时提高 2 个 BLEU 分数。
Nov, 2023
经过小规模数据集上的微调后,预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段,从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数;尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果,为改进未来的同时翻译系统指明了一个有希望的方向。
Feb, 2024
本文旨在研究如何利用视觉信息来弥补缺失的源文本背景,评估不同的多模态方法和视觉特征对最先进的同时机器翻译 (SiMT) 框架的影响。结果表明,视觉背景是有帮助的,基于明确的物体区域信息的可视化模型优于常用的全局特征,在低延迟情境下的表现可提高 3 个 BLEU 分数。我们的定性分析展示,只有多模态系统才能正常翻译英语到标记性别的语言,并处理英语和法语之间的形容词和名词词序等差异。
Sep, 2020
利用自我修改状态建模的同时机器翻译(SM^2)训练范式,通过优化每个状态的决策,确保准确优化政策,并通过前缀采样实现充分探索潜在状态,同时保证与双向编码器兼容,从而提高翻译质量。
Jun, 2024
本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型,采用多头注意力实现专家混合,每个专家根据其自己的等待词数被认为是 wait-k 专家,并根据测试延迟和源输入调整专家权重以产生最佳翻译,可以在任意延迟下实现最佳翻译质量,实验结果表明,该方法优于现有方法。
Sep, 2021