EMNLPOct, 2020

自适应训练的流畅低延迟语音同传翻译

PDF
TL;DR提出了一种名为 Self-Adaptive Translation (SAT) 的方法，实现同时语音翻译。该方法通过灵活调整翻译的长度，以适应不同的源语音速率，从而在保持近似的翻译质量的前提下，显著降低了延迟，生成了更流畅自然的目标语音。
simultaneous translationspeech-to-speechself-adaptive translationlatency reductionfluent target speech
发现论文，激发创造
  • 学习何时发声：离线模型下同时语音翻译中的延迟和质量权衡

    本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST，支持 57 种语言对英语的翻译，具备实时调节输出延迟的功能，能够非常快速地进行语音翻译。

    Jun, 2023

  • 利用同步的流式 ASR 辅助的直接同声传译

    本文提出一种新型的语音翻译范例，通过使用两个分离但同步的解码器，一个用于流式 ASR, 一个用于直接语音翻译，并通过 ASR 生成的中间结果指导直接语音翻译，实现了流畅度更高的翻译质量。

    Jun, 2021

  • 长篇同传口译的再翻译策略

    本研究针对如何实现长篇演讲等语音内容的同声传译问题，采用重新翻译的方式进行同步翻译，并提出了优化应用工具以加强稳定性的方法。研究结果表明，这种方法不仅延迟极低，翻译结果也具有高质量，能够轻易地进行多语言翻译。

    Dec, 2019

  • 数据驱动的自适应同时机器翻译

    本文提出一种用于自适应 SimulMT 训练的有效方案，通过向训练语料库中添加自适应前缀对前缀的语句，来缓解 Wait-K 策略的两个主要限制，实验证明该方法在翻译质量和延迟方面优于所有强基准线。

    Apr, 2022

  • 从 SimulMT 到 SimulST: 将同时翻译文本转换为端到端同时翻译语音

    本文调查了如何将同步文本翻译方法与同时语音翻译相结合，并通过引入预决定模块来适应于端到端的同时语音翻译。同时，对将固定和灵活的预决策与固定和灵活的策略相结合的延迟质量权衡进行了详细分析。作者还设计了一种新的计算感知的延迟度量方法，该方法从平均滞后进行调整。

    Nov, 2020

  • 使用自监督预训练和数据增强增强的直接语音翻译

    本文讨论了直接语音到语音翻译模型面临的数据稀缺性问题，探索了自监督预训练和数据增强技术来解决此问题，实验表明自监督预训练可以提高模型性能，结合数据增强技术可以进一步提高模型性能。

    Apr, 2022

  • 使用离散单元进行直接语音到语音翻译

    本研究提出一种直接语音到语音的翻译模型，它可以在不依赖中间文本生成的情况下将一种语言的语音翻译成另一种语言的语音，并且结合了自我监督离散语音编码和序列到序列的语音到单位翻译，以预测目标语音的离散表示，并在同一推断通过实现同步生成双重模态输出（语音和文本）。在 Fisher 西班牙语 - 英语数据集上，我们的模型较基线直接 S2ST 模型改进了 6.7 BLEU。由于能够支持未书写语言的翻译，当没有文本转录时，我们的模型表现与训练有文本监督的谱图预测模型相当。

    Jul, 2021

  • 通过潜在对齐分段实现长篇连贯语音翻译

    提出一种新的分割方法，用于低延迟的端到端同时语音翻译，并且在多种语言对和领域数据中显示出具有先进水平的质量。

    Sep, 2023

  • 真实数据上的无字幕语音翻译

    我们提出了一种无需文本数据即可构建的无文本语音到语音翻译系统，采用了自监督单元级别的语音标准化技术来优化多说话者语音的模型，仅使用了 10 分钟的数据训练该技术，可在 VoxPopuli S2ST 数据集上实现平均 3.2 BLEU 分数的增益，是首次建立了可用于多种语言对的无文本 S2ST 技术。

    Dec, 2021

  • 低延迟神经语音翻译

    本文探讨神经机器翻译在低延迟语音翻译中遇到的问题，提出一种无需任务特定训练数据的适应方法，并通过构造人工数据和使用多任务学习技术成功降低了每次输出构建时所需的更正数量，同时保持了翻译质量。

    Aug, 2018