- ACL基于标签同步的神经转录器的端到端同时语音翻译
LS-Transducer-SST 是一种用于实时语音转写和同时语音翻译的标签同步神经转导器,通过集成 - 发射机制实现了灵活决策翻译标记的时机,并且能在解码和训练时控制延迟与质量之间的权衡。实验结果表明,LS-Transducer-SST - 端到端同步语音翻译的最新进展
该论文提供了对 SimulST 研究的综合概述,着重讨论了四个主要挑战,包括处理长时间和连续的语音流的复杂性、满足实时要求的困难、在翻译质量和延迟限制之间取得平衡的挑战以及缺乏注释数据所带来的复杂性。通过对这些挑战和提出的解决方案的探讨,旨 - ACL长文同时语言翻译:论文提案
同时语音翻译 (SST) 的目标是提供实时的口语翻译,即使在发言者完成句子之前。传统上,SST 主要通过级联系统来解决,将任务分解为子任务,包括语音识别、分割和机器翻译。然而,深度学习的出现激发了对端到端 (E2E) 系统的极大兴趣。然而, - 增量式分块波束搜索实现同时语音翻译与可控质量 - 延迟折衷
通过修改增量性的分块束搜索策略,本文提出了一种用于控制质量 - 延迟权衡的方法,并应用于在线和离线翻译模型,实验结果表明在 MuST-C 数据集上 BLEU 指标提升 0.6-3.6,延迟降低 0.8-1.4 秒。
- 通过潜在对齐分段实现长篇连贯语音翻译
提出一种新的分割方法,用于低延迟的端到端同时语音翻译,并且在多种语言对和领域数据中显示出具有先进水平的质量。
- ICML可移动上下文:解决同声传译中的训练推理上下文不匹配问题
提出了可移位上下文(Shiftable Context)方案,旨在保持训练和推断环境中段和上下文大小的一致性,即使存在由于同时翻译的流媒体特性而导致部分填充的段。在 MUST-C 数据集的三种语言对中,模型的 BLEU 得分显著提高。
- ACL隐式记忆变换器:面向计算效率的同声传译模型
本文提出了一种采用隐式内存推理机制的新型左上下文方法的隐式存储变形器,以提高流式翻译的速度和性能,并在 MuST-C 数据集上进行实验以证明该方法优于现有方法。
- 使用同声传译数据进行标记的端到端同声传译训练
本文介绍了一种使用混合数据来训练 SimulST 模型的有效方法,该方法使用了同声传译的数据和离线的双语数据,以及风格标签来指示模型生成同声传译或离线风格的输出。实验结果表明在不同的延迟范围内 BLEURT 有所改善,并且分析结果表明该模型 - ACL具可微分分段的端到端同声传译
本文提出了一种基于 Differentiable Segmentation 的新型 SimulST 方法,该方法可以直接从底层翻译模型中学习分割,并通过所提出的期望训练将硬分割转换为可区分的方式,从而使其能够与翻译模型进行联合训练,从而实现 - 注意力作为同时语音翻译的指南
本文提出了一种基于注意力机制和编码器 - 解码器注意力进行实时推理的注意力策略,并在 en -> {de, es} 上进行了测试,结果表明与现有技术相比,该策略在计算感知延迟方面的性能要好得多。
- MT Metrics 与人类对同声传译的评分相关
对英德语同声传译任务的候选系统进行评估时,离线机器翻译指标与连续评分器(CR)有很强的相关性,因此可以可靠地用于同时模式下的机器翻译评估,从而减轻了人工评估的需求。
- ACL长度自适应平均滞后策略在同声传译中的应用:不能奖励过度生成
本文提出了一种新的评估指标 LAAL(Length-Adaptive Average Lagging),并且指出了传统的评估指标 AL(Average Lagging)对于长文本预测的系统评估得分存在低估的问题,同时讨论了当前的 Simul - IWSLT 2022 年同声传译任务 CUNI-KIT 系统
本文介绍了我们在 IWSLT 2022 Simultaneous Speech Translation 比赛中的参赛作品,探讨了如何在不修改原始模型的情况下,在同步设置中利用离线模型的策略。在实验中,我们展示了我们的在线算法几乎与离线设置相 - EMNLP同声传译是否需要同时模型?
本文研究如何在同时翻译中平衡高翻译质量和低延迟之间的权衡,并探讨通过训练单个离线模型来解决多个同时翻译模型维护造成的高计算成本的问题。研究结果表明,离线模型实现了与同时训练模型相似或更好的翻译质量,并且具有更低的延迟和更高的可扩展性。
- 探索连续积分 - 火式神经元在自适应同声翻译中的应用
本文提出了一种模型,通过采用连续集成与发射(CIF)方法,以适应策略来改进预判,从而在实时的语音翻译中取得更好的性能,实验结果表明其优于多头注意力(MMA)方法,并且具有更好的对长话语的泛化能力。
- 重新翻译同时翻译的字幕理解
本文提出一种评估方法,对同时语音翻译的输出窗口大小、系统延迟以及重写程度对读者可读性和理解度的影响进行了研究。实验结果表明,与机器翻译本身和个人能力相比,字幕布局或闪烁对理解度的影响较小;同时,对源语言知识有限的用户与零知识用户的稳定性和延 - 口译迷惑:从原始语言或口译者翻译
探究跟随原演讲者或译员进行自动同声传译的语音翻译系统能够在保持翻译质量的前提下,增加可提供的语言范围,从而通过 ESIC 进行英语到捷克语的研究,比较人类译员与机器翻译系统之间的差异,并进行人类评价以衡量信息损失。
- ACLRealTranS: 基于卷积加权缩减 Transformer 的端到端实时语音翻译
本文提出了一种基于端到端模型的实时同声传译技术 RealTranS,通过交错的卷积和单向 Transformer 层逐渐对输入语音进行降采样,再通过带权收缩操作和语义编码器将语音特征映射到文本空间。此外,为了提高模型性能,本文提出了 Bla - 使用增强记忆变换器的流播同声传译
本文提出了一种针对实时应用场景的端到端增强记忆 Transformer 编码器,成功地应用于流式同声传译任务,可以处理大量连续输入,相较于单向掩码 Transformer 模型,具有更好的延迟和质量平衡。