基于信息传输的同声传译政策
本文提出了一种基于信息量的等待策略来平衡源语言信息和目标语言信息的机器翻译方法,用于在同时接收源输入和输出翻译结果时做出合理决策。实验结果表明,该方法在实现平衡方面表现出色,比其他基线方法效果更好。
Oct, 2022
Simultaneous speech-to-speech translation (Simul-S2ST) is achieved through StreamSpeech, a unified model that incorporates translation and simultaneous policy in multi-task learning, providing high-quality intermediate results and a comprehensive real-time communication experience.
Jun, 2024
本文提出了一种模型,通过采用连续集成与发射(CIF)方法,以适应策略来改进预判,从而在实时的语音翻译中取得更好的性能,实验结果表明其优于多头注意力(MMA)方法,并且具有更好的对长话语的泛化能力。
Mar, 2022
该论文提供了对 SimulST 研究的综合概述,着重讨论了四个主要挑战,包括处理长时间和连续的语音流的复杂性、满足实时要求的困难、在翻译质量和延迟限制之间取得平衡的挑战以及缺乏注释数据所带来的复杂性。通过对这些挑战和提出的解决方案的探讨,旨在提供对 SimulST 研究当前现状的宝贵见解,并为未来的探索提出有希望的方向。
Jun, 2024
本文提出了一种面向实际应用场景的实时语音翻译系统 SimulS2ST,支持 57 种语言对英语的翻译,具备实时调节输出延迟的功能,能够非常快速地进行语音翻译。
Jun, 2023
提出了增量 Transformer 结合平均嵌入层(AEL)加快计算速度、传统 Transformer 作为增量 Transformer 的 teacher 通过知识蒸馏在模型中加入未来信息进行未来导向训练的方法,在汉英和德英同时翻译任务中与 wait-k 策略对比实验证明,该方法能够有效提高训练速度约 28 倍,并在模型中隐式地嵌入一些预测能力,获得更好的翻译质量。
Dec, 2020
本文提出了一种新的交互式注意机制,使自动语音识别和语音翻译在单个模型中可以同步地和交互地进行,实验表明,该模型在语音翻译和语音识别方面的性能表现均优于基线模型。
Dec, 2019
本文提出一种用于自适应 SimulMT 训练的有效方案,通过向训练语料库中添加自适应前缀对前缀的语句,来缓解 Wait-K 策略的两个主要限制,实验证明该方法在翻译质量和延迟方面优于所有强基准线。
Apr, 2022
本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译 (ST) 模型的性能,通过从文本翻译模型中转移知识来训练 ST 模型。在英法增广 LibriSpeech 和英汉 TED 语料库上的实验结果表明,使用该方法可以对相似和不相似的语言对进行端到端 ST 实现,并且在老师模型的指导下,端到端 ST 模型可以取得 3.5 个 BLEU 分数的显着提升。
Apr, 2019