end-to-end speech translation | BriefGPT

关键词end-to-end speech translation

搜索结果 - 34

零 - shot 多语言机器翻译技术应对语音翻译中的数据稀缺
研究了利用多语言文本翻译中零样本翻译技术在语音翻译中的应用，成功地应用数据增强和辅助损失函数技术提升了有限语音翻译数据的效率和准确率。
PDF2 years ago
并联自回归重评分的非自回归端到端语音翻译
本文提出了一种基于非自回归模型 (NAR) 的高效端到端语音翻译 (E2E-ST) 系统 ——Orthros，使用条件掩蔽语言模型 (CMLM) 和连接主义时间分类 (CTC) 模型作为 NAR 解码器，并采用两种训练方法来增强 CMLM
PDF3 years ago
NiuTrans 一体化语音翻译系统在 IWSLT 2021 离线任务中的应用
本文描述了 NiuTrans 端到端语音翻译系统的提交，采用 Transformer 模型，结合 Conformer、相对位置编码和堆叠音频和文本编码来增强模型表现，在训练数据扩充方面采用了英文翻译到德文的方法，最终采用集成解码方法将多个模
PDF3 years ago
ACL端到端语音翻译的源目标双向知识蒸馏
本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译模型的性能，并探讨了正反向模型、自回归和非自回归模型下的性能提升情况。
PDF3 years ago
弥合语音到文本翻译的模态差距
提出了一种称作 STAST 的语音转写自适应模型，通过分离语音翻译编码器为三个部分以及引入跨模态自适应方法来缩小语音和文本的模态差距，进而在英法和英德语音翻译数据集上实现了显著的性能优越。
PDF4 years ago
EMNLP端到端语音翻译的自适应特征选择
本文介绍了自适应特征选择（AFS）来优化基于编码器 - 解码器的端到端语音翻译，实验表明，使用 AFS 来稀疏语音特征可以提高翻译效果，降低模型计算复杂度，并与级联基线模型相比取得了更好的性能，在 LibriSpeech En-Fr 上的
PDF4 years ago
自我训练的端到端语音翻译
本文主要探讨了在端到端语音翻译中数据稀缺的问题，并提出了一种利用级联和端到端语音翻译模型生成伪标签的方法，在 MuST-C 英法和英德数据集上达到了领先水平，同时也比仅对编码器进行语音识别任务的预训练方法更加有效。最后，通过直接使用端到端模
PDF4 years ago
ACL端到端语音翻译课程预训练
本研究提出了一个基于课程学习的预训练方法，旨在通过逐步增加难度的课程来加强编码器的语音特征提取能力，实现端到端的语音翻译，实验结果表明，该方法在 En-De 和 En-Fr 语音翻译基准测试中取得了显著的改进。
PDF4 years ago
使用 SpecAugment 进行端到端语音翻译
本研究探讨了一种简单的数据增强技术 SpecAugment，用于端到端的语音翻译，通过遮蔽频道块和 / 或时间步骤，减轻过拟合，对 LibriSpeech Audiobooks En->Fr 数据集 BLEU 提高了 2.2％，对 IWSL
PDF5 years ago
基于形式不可知元学习的数据高效直接语音翻译
本文提出了一种基于元学习算法采用模态不可知的多任务模型，将源任务 ASR + MT 的知识转移到目标任务 ST 中，以应对 ST 任务短缺数据的问题，该方法在英德和英法语音翻译任务中取得了最新的最佳性能结果。
PDF5 years ago
AAAI连接预训练与微调：面向端到端语音翻译的差距缩小
本文提出使用 Tandem Connectionist Encoding Network 解决传统方法在 end-to-end 语音翻译中 fine-tuning 与 pre-training 之间巨大差距的问题，进而设计了两种简单且有效的
PDF5 years ago
知识蒸馏技术下的端到端语音翻译
本文提出了一种基于知识蒸馏的方法来提高端到端语音翻译 (ST) 模型的性能，通过从文本翻译模型中转移知识来训练 ST 模型。在英法增广 LibriSpeech 和英汉 TED 语料库上的实验结果表明，使用该方法可以对相似和不相似的语言对进行
PDF5 years ago
利用弱监督数据提高端到端的语音到文本翻译
本文探讨了使用预训练的机器翻译或文本到语音合成模型将弱监督数据转化为语音到翻译对对于 ST 的训练比多任务学习效果更好的问题，展示了只使用弱监督数据即可以获得高质量的终到端 ST 模型，并讨论了避免模型对合成的语音过度拟合的方法。
PDF6 years ago
面向端到端英日语音翻译的基于结构的课程学习
本文研究了针对词序排序问题的不同语言之间的语音翻译的端到端任务。通过提出基于结构的课程学习策略，从简单到复杂的网络结构，引导编码器 - 解码器注意力模型学习这个困难的问题，结果表明与未进行课程学习的方法相比，该方法可以提供显着的改进。
PDF6 years ago