May, 2020

用于同时机器翻译的高效等待 k 模型

PDF
TL;DR研究了使用 Wait-k 解码器在资源匮乏的情况下进行同声传译的行为，同时通过使用单向编码器和训练多个 K 值来提高模型的训练，并探讨了 2D 卷积体系结构在同声翻译方面的应用。
simultaneous machine translationwait-k decoderslow-resource settingsunidirectional encoders2d-convolutional architectures
发现论文，激发创造
  • 数据驱动的自适应同时机器翻译

    本文提出一种用于自适应 SimulMT 训练的有效方案，通过向训练语料库中添加自适应前缀对前缀的语句，来缓解 Wait-K 策略的两个主要限制，实验证明该方法在翻译质量和延迟方面优于所有强基准线。

    Apr, 2022

  • 混合专家等候 - k 策略的通用同时翻译机

    本论文提出了一种基于 Mixture-of-Experts Wait-k 机制的通用即时翻译模型，采用多头注意力实现专家混合，每个专家根据其自己的等待词数被认为是 wait-k 专家，并根据测试延迟和源输入调整专家权重以产生最佳翻译，可以在任意延迟下实现最佳翻译质量，实验结果表明，该方法优于现有方法。

    Sep, 2021

  • 基于未来引导的增量变换器进行同声翻译

    提出了增量 Transformer 结合平均嵌入层（AEL）加快计算速度、传统 Transformer 作为增量 Transformer 的 teacher 通过知识蒸馏在模型中加入未来信息进行未来导向训练的方法，在汉英和德英同时翻译任务中与 wait-k 策略对比实验证明，该方法能够有效提高训练速度约 28 倍，并在模型中隐式地嵌入一些预测能力，获得更好的翻译质量。

    Dec, 2020

  • 自适应等待 -$k$ 模型的同时翻译策略

    同时机器翻译中，我们提出一种通过将自适应策略模型与翻译模型分离的灵活方法，引入了基于潜在的翻译分布差异的 DaP（基于分歧的自适应策略），以在翻译准确性和延迟之间提供更好的平衡，表现优于现有方法。

    Oct, 2023

  • TransLLaMa: 基于 LLM 的同步翻译系统

    经过小规模数据集上的微调后，预训练的开源解码器 - 仅模型可以通过生成特殊的 “等待” 标记直接控制输入分段，从而在同时翻译任务中达到与最先进基准模型相媲美的 BLEU 分数；尚未进行先前训练的闭源模型在此任务中显示出令人鼓舞的结果，为改进未来的同时翻译系统指明了一个有希望的方向。

    Feb, 2024

  • STACL: 前缀到前缀框架的隐含预测与可控延迟的同时翻译

    该研究提出了一种基于前缀的预测模型，采用 wait-k 策略来实现当前缀的翻译，并在中英文和德英文四个方向上实现了较低的延迟和合理的质量。

    Oct, 2018

  • 推测性波束搜索用于同时翻译

    本文研究了如何在同时翻译领域使用 Beam Search 算法，提出了一种基于预测的 Speculative Beam Search 算法，经过实验证实其有效性。

    Sep, 2019

  • 从 SimulMT 到 SimulST: 将同时翻译文本转换为端到端同时翻译语音

    本文调查了如何将同步文本翻译方法与同时语音翻译相结合，并通过引入预决定模块来适应于端到端的同时语音翻译。同时，对将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡进行了详细分析。作者还设计了一种新的计算感知的延迟度量方法，该方法从平均滞后进行调整。

    Nov, 2020

  • 无限单调回望注意力在同时机器翻译中的应用

    我们使用 Monotonic Infinite Lookback（MILk）注意力机制来同时翻译，并学习一种自适应调度模式，以平衡质量和延迟，并展示其与最近提出的延迟策略相比，更有利于延迟 - 质量权衡。

    Jun, 2019

  • 使用部分假设选择实现低延迟序列到序列的语音识别和翻译

    本文针对编码器 - 解码器模型在语音翻译等序列任务中的精度和延迟问题，提出了三种延迟降低技术，包括使用单向注意力机制，实验证明该方法可以降低 83% 的延迟并牺牲 1% 的 WER（相对于离线转换）。同时还探讨了其在低延迟语音翻译上的应用。

    May, 2020