Jun, 2024

在级联流式语音翻译中导航机器翻译束搜索的雷区

HTML
PDF
TL;DR我们将广泛应用的波束搜索算法用于级联实时语音翻译系统，通过解决实时处理中的四个关键挑战以及提供比贪婪搜索更好的效果，如处理不完整的识别结果，减少用户感知延迟，处理不同长度和模型状态的波束搜索假设，处理句子边界，我们的方法将BLEU分数提升1点，将CPU时间减少40%，字符闪烁率降低20%以上。
发现论文，激发创造
  • 神经机器翻译的束搜索策略

    本文提出了通过改进灵活的 beam-search decoder 来加速神经机器翻译的方法，并测试表明，该方法可以提高速度，同时不影响翻译质量。

    Feb, 2017

  • 神经机器翻译中基于动态波束分配的快速词汇约束解码

    该论文旨在介绍一种新的机器翻译解码算法——词汇约束解码法，该算法能够快速而准确地在输出中包含预定的单词和短语，并探索模型与BLEU得分之间的关系，与此同时它还能够极大地优化计算复杂性。

    Apr, 2018

  • 一种稳定有效的可训练贪婪解码学习策略

    本文提出了一种灵活的新方法，利用一个小型的神经网络 actor 来观测和操纵先前训练的解码器的隐藏状态，以无需额外的计算成本获得几乎全部的 beam search 带来的好处。我们介绍了使用一个伪并行语料库来训练 actor 网络，它是以类似于 BLEU 的目标质量指标对基础模型的 beam search 输出排名而生成的。我们的方法受到了早期研究的启发，但不需要强化学习，并且可以可靠地在各种模型上训练。在三个平行语料库和三个架构上的实验表明，该方法可以使翻译质量和速度大大提高，超过每个基础系统。

    Apr, 2018

  • 推测性波束搜索用于同时翻译

    本文研究了如何在同时翻译领域使用 Beam Search 算法，提出了一种基于预测的 Speculative Beam Search 算法，经过实验证实其有效性。

    Sep, 2019

  • 联合语音识别和翻译的流式模型

    本文介绍了如何使用端到端模型进行语音翻译，并在流式翻译设置中实现同时生成音频转录和翻译输出，并比较了与标准级联方法的表现，结果表明这种方法与级联模型的表现相似，但参数数量更少。

    Jan, 2021

  • 超越束搜索的机器翻译解码

    本文探讨是否可以将Beam Search 替换为更强大的以度量为驱动的搜索技术。通过对多个解码算法的探索和分析，发现最佳算法取决于目标度量的特性;作者提出的基于Monte-Carlo Tree Search (MCTS)的搜索方法在语言应用中具有很高的应用价值，为今后的研究方向提供了新视角。

    Apr, 2021

  • 使用自适应树搜索实现任意翻译目标

    介绍了一种自适应树搜索算法，用于在翻译模型中寻找高分输出。该算法是一种确定性的Monte Carlo树搜索的变体，可以探索不受常规假设约束的新型模型。通过实证研究，该方法在自回归模型中找到的输出与beam搜索相比具有更好的模型得分，并表明随着模型的发展，beam搜索或重新排名方法可能掩盖了进一步的改进。

    Feb, 2022

  • 增量式分块波束搜索实现同时语音翻译与可控质量-延迟折衷

    通过修改增量性的分块束搜索策略，本文提出了一种用于控制质量-延迟权衡的方法，并应用于在线和离线翻译模型，实验结果表明在MuST-C数据集上BLEU指标提升0.6-3.6，延迟降低0.8-1.4秒。

    Sep, 2023

  • 具有遮蔽语言模型的概率声学束搜索

    利用掩码语言模型进行束搜索（beam search）困难的部分在于序列的联合概率分布不能轻易获取，这限制了其在蛋白质工程和古代文本修复等许多领域的应用。本研究提出了一种概率上具有合理性的束搜索方法，通过理论和实证研究表明，在特定条件下的文本插入中，该方法在预期条件下的效果优于传统的束搜索方法。

    Feb, 2024

  • 基于语言信息的多语言机器翻译束搜索解码

    本研究针对多语言机器翻译中出现的“偏差翻译”问题，进行误差分析并提出了一种语言信息束搜索解码算法（LiBS）。该算法通过集成现成的语言识别模型来优化解码过程，显著提高翻译准确性，并在各类数据集上减少了目标语言输出的偏差率。

    Aug, 2024