ACLJun, 2024

仅解码流式变换器用于同声传译

PDF
TL;DR在这篇论文中，我们介绍了一种名为 Decoder-only Streaming Transformer (DST) 的 Decoder-only SiMT 模型，该模型通过编码源前缀和目标前缀的位置来确保目标前缀的位置不受源前缀扩展的影响，并通过 Streaming Self-Attention 机制获取翻译策略来生成翻译，实验证明我们的方法在三个翻译任务中实现了最先进的性能。
simultaneous machine translationdecoder-only architecturestreaming self-attentiontranslation policystate-of-the-art performance
发现论文，激发创造
  • 非自回归流式 Transformer 用于同声翻译

    提出了一种非自回归流式 Transformer（NAST）用于同时机器翻译（SiMT），通过通过一种新的编码器和非自回归解码器拓宽了读 / 写策略并降低延迟损失，实验证明 NAST 优于以往自回归 SiMT 基线模型。

    Oct, 2023

  • TransLLaMa: 基于 LLM 的同步翻译系统

    经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

    Feb, 2024

  • 自调整状态建模的同时机器翻译

    利用自我修改状态建模的同时机器翻译（SM^2）训练范式，通过优化每个状态的决策，确保准确优化政策，并通过前缀采样实现充分探索潜在状态，同时保证与双向编码器兼容，从而提高翻译质量。

    Jun, 2024

  • Agent-SiMT：基于大型语言模型的代理辅助同时机器翻译

    同时机器翻译（SiMT）通过阅读源语句来生成目标翻译，在确定最佳时机阅读句子和生成翻译的策略方面，现有的 SiMT 方法通常采用传统的 Transformer 架构，虽然它们擅长确定策略，但其翻译性能却不够优化。相反，基于丰富语料库训练的大型语言模型（LLMs）具有卓越的生成能力，但它们很难通过 SiMT 的训练方法获得翻译策略。因此，我们引入 Agent-SiMT，这是一个将 LLMs 和传统 SiMT 方法的优势结合起来的框架。Agent-SiMT 包含策略决策代理和翻译代理。策略决策代理由一个 SiMT 模型管理，使用部分源语句和翻译来确定翻译策略。而翻译代理则利用 LLM 基于部分源语句生成翻译。这两个代理共同合作完成 SiMT。实验证明，Agent-SiMT 达到了最先进的性能。

    Jun, 2024

  • 利用长度感知框架降低同时机器翻译中的位置偏见

    本研究分析了 SiMT 中的位置偏差现象，提出了一个基于长度感知的框架，通过将流输入变成伪满句来消除位置偏差，并成功应用于两个代表性的 SiMT 方法中以提高性能。

    Mar, 2022

  • 无需预测的同步机器翻译训练

    本文提出了一种将翻译过程分解为单调翻译和重新排序步骤的新框架，并通过辅助排序网络模型来模拟其中的重新排序步骤，从而提高了同时翻译模型的翻译效果。

    Jan, 2022

  • SiLLM：大型语言模型用于同步机器翻译

    同时机器翻译 (SiMT) 使用一个策略来确定最佳的阅读和生成单词的时机。我们提出了 SiLLM，将 SiMT 任务分解为策略决策和翻译子任务，并引入了大型语言模型 (LLM)。两个代理协作完成 SiMT，最终实现了最新技术水平的性能表现。

    Feb, 2024

  • 隐马尔可夫变换器用于同时机器翻译

    利用隐马尔科夫模型以及最大化边际似然性训练，提出了一种名为 Hidden Markov Transformer 的模型，用于解决同声机器翻译中好的翻译时间点的挑战。实验表明该模型在多个数据集上优于现有方法并取得了最佳表现。

    Mar, 2023

  • CBSiMT: 基于加权前缀对前缀训练的同时翻译中减轻幻觉

    我们提出了一种基于置信度的同传机器翻译框架（CBSiMT），通过利用模型置信度来察觉幻觉标记，并通过加权的前缀对前缀训练来减轻它们的负面影响。实验结果表明我们的方法可以在大多数延迟范围内持续提高翻译质量，低延迟时提高 2 个 BLEU 分数。

    Nov, 2023

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021