AAAIDec, 2020

基于未来引导的增量变换器进行同声翻译

PDF
TL;DR提出了增量 Transformer 结合平均嵌入层（AEL）加快计算速度、传统 Transformer 作为增量 Transformer 的 teacher 通过知识蒸馏在模型中加入未来信息进行未来导向训练的方法，在汉英和德英同时翻译任务中与 wait-k 策略对比实验证明，该方法能够有效提高训练速度约 28 倍，并在模型中隐式地嵌入一些预测能力，获得更好的翻译质量。
simultaneous translationincremental transformerfuture-guided trainingknowledge distillationtranslation quality
发现论文，激发创造
  • 数据驱动的自适应同时机器翻译

    本文提出一种用于自适应 SimulMT 训练的有效方案，通过向训练语料库中添加自适应前缀对前缀的语句，来缓解 Wait-K 策略的两个主要限制，实验证明该方法在翻译质量和延迟方面优于所有强基准线。

    Apr, 2022

  • STACL: 前缀到前缀框架的隐含预测与可控延迟的同时翻译

    该研究提出了一种基于前缀的预测模型，采用 wait-k 策略来实现当前缀的翻译，并在中英文和德英文四个方向上实现了较低的延迟和合理的质量。

    Oct, 2018

  • 用于同时机器翻译的高效等待 k 模型

    研究了使用 Wait-k 解码器在资源匮乏的情况下进行同声传译的行为，同时通过使用单向编码器和训练多个 K 值来提高模型的训练，并探讨了 2D 卷积体系结构在同声翻译方面的应用。

    May, 2020

  • 混合专家等候 - k 策略的通用同时翻译机

    本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型，采用多头注意力实现专家混合，每个专家根据其自己的等待词数被认为是 wait-k 专家，并根据测试延迟和源输入调整专家权重以产生最佳翻译，可以在任意延迟下实现最佳翻译质量，实验结果表明，该方法优于现有方法。

    Sep, 2021

  • 简单快速学习适应性同传策略

    提出了一种简单的监督学习框架，从并行文本生成的 oracle READ / WRITE 序列中学习自适应策略来结合固定延迟策略和自适应策略的优点以实现更好的 BLEU 分数和相似的延迟，同时无需重新训练基础的神经机器翻译模型。

    Sep, 2019

  • 从 SimulMT 到 SimulST: 将同时翻译文本转换为端到端同时翻译语音

    本文调查了如何将同步文本翻译方法与同时语音翻译相结合，并通过引入预决定模块来适应于端到端的同时语音翻译。同时，对将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡进行了详细分析。作者还设计了一种新的计算感知的延迟度量方法，该方法从平均滞后进行调整。

    Nov, 2020

  • 推测性波束搜索用于同时翻译

    本文研究了如何在同时翻译领域使用 Beam Search 算法，提出了一种基于预测的 Speculative Beam Search 算法，经过实验证实其有效性。

    Sep, 2019

  • RealTranS: 基于卷积加权缩减 Transformer 的端到端实时语音翻译

    本文提出了一种基于端到端模型的实时同声传译技术 RealTranS，通过交错的卷积和单向 Transformer 层逐渐对输入语音进行降采样，再通过带权收缩操作和语义编码器将语音特征映射到文本空间。此外，为了提高模型性能，本文提出了 Blank Penalty 和 Wait-K-Stride-N 策略，实验表明 RealTranS 模型在多种延迟设置下优于先前的端到端模型及级联模型。

    Jun, 2021

  • 自适应等待 -$k$ 模型的同时翻译策略

    同时机器翻译中，我们提出一种通过将自适应策略模型与翻译模型分离的灵活方法，引入了基于潜在的翻译分布差异的 DaP（基于分歧的自适应策略），以在翻译准确性和延迟之间提供更好的平衡，表现优于现有方法。

    Oct, 2023

  • 增量式分块波束搜索实现同时语音翻译与可控质量 - 延迟折衷

    通过修改增量性的分块束搜索策略，本文提出了一种用于控制质量 - 延迟权衡的方法，并应用于在线和离线翻译模型，实验结果表明在 MuST-C 数据集上 BLEU 指标提升 0.6-3.6，延迟降低 0.8-1.4 秒。

    Sep, 2023