Sep, 2023

增量式分块波束搜索实现同时语音翻译与可控质量 - 延迟折衷

PDF
TL;DR通过修改增量性的分块束搜索策略，本文提出了一种用于控制质量 - 延迟权衡的方法，并应用于在线和离线翻译模型，实验结果表明在 MuST-C 数据集上 BLEU 指标提升 0.6-3.6，延迟降低 0.8-1.4 秒。
blockwise self-attentional encoder modelssimultaneous speech translationincremental translationquality-latency tradeoffonline and offline translation
发现论文，激发创造
  • 推测性波束搜索用于同时翻译

    本文研究了如何在同时翻译领域使用 Beam Search 算法，提出了一种基于预测的 Speculative Beam Search 算法，经过实验证实其有效性。

    Sep, 2019

  • 块同步束搜索流式 Transformer 自动语音识别

    本文提出一种基于块处理编码器的流式 E2E Transformer ASR 的新型分块同步束搜索算法，并在多项实验中的表现均优于传统的在线方法，特别是在使用知识蒸馏技术时。

    Jun, 2020

  • 面向口语理解和同时语音翻译的分块流式 Transformer

    本研究提出基于块状，流式 Transformer 的方法，通过流式处理和块状并行检索，在同时进行自然语言理解和语音翻译等多个语音处理任务中，实现实时处理并取得与离线模型相当甚至更高的性能表现，并通过引入自动语音识别中间层损失约束和跨语言编码方法等方式进一步提高分类性能和模型表现。

    Apr, 2022

  • 使用部分假设选择实现低延迟序列到序列的语音识别和翻译

    本文针对编码器 - 解码器模型在语音翻译等序列任务中的精度和延迟问题，提出了三种延迟降低技术，包括使用单向注意力机制，实验证明该方法可以降低 83% 的延迟并牺牲 1% 的 WER（相对于离线转换）。同时还探讨了其在低延迟语音翻译上的应用。

    May, 2020

  • 神经机器翻译中，同时翻译模型的增量解码与训练方法

    通过为神经机器翻译（Neural MT）编码器和注意力机制添加动态构建的机制来解决同时翻译的问题，我们提出了一种可调节的代理策略，用于根据用户定义的 BLEU 损失和平均比例（AP）约束，决定最佳分段策略，这种代理可在低延时的情况下优化 BLEU 表现，并且在数据驱动的改进方面更好地匹配了增量解码框架。

    Jun, 2018

  • 基于正则化批处理输入的增量解码框架优化低延迟同时语音翻译

    我们的论文提出了一种名为 “Regularized Batched Inputs” 的新型适应性和高效的策略，通过增强输入多样性来减轻输出错误，在 IWSLT Simultaneous Speech Translation (SimulST) 任务中进行了实验证明，我们的方法在保持离线系统不超过 2 BLEU 分损失的同时实现了低延迟，并在各个语言方向上取得了几个新的最先进的结果。

    Jan, 2024

  • 端到端同时语音翻译解码策略的实证研究

    本文提出了一种针对端到端同时语音翻译的解码策略，利用线下训练的端到端模型，并对两种语言对进行了实证研究，探讨了不同的输出令牌粒度以及在不同延迟情况下控制 BLEU/Average Lagging 平衡的方法，效果良好。

    Mar, 2021

  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • 使用增强记忆变换器的流播同声传译

    本文提出了一种针对实时应用场景的端到端增强记忆 Transformer 编码器，成功地应用于流式同声传译任务，可以处理大量连续输入，相较于单向掩码 Transformer 模型，具有更好的延迟和质量平衡。

    Oct, 2020

  • 提高同时语音翻译的稳定性：一种可控修订解码方法

    我们提出了一种新颖的可修订的方法，通过引入允许修订的窗口来筛选候选翻译，从而解决了实时跨语言沟通中的翻译不稳定问题，并且在不大幅度降低翻译质量的情况下，显著提高了解码稳定性。

    Oct, 2023