end-to-end speech-to-text translation | BriefGPT

关键词end-to-end speech-to-text translation

搜索结果 - 6

跨模态多任务语音转文字翻译与参数共享
最近的研究在端到端语音到文本翻译（ST）中提出了多任务方法，通过辅助编码器将机器翻译（MT）数据映射到最终的跨模态表示中，采用软参数共享。本研究提出了一种具有硬参数共享的 ST/MT 多任务框架，通过预处理阶段将语音和文本输入转换为两个长度
PDF9 months ago
端到端语音到文本翻译中一致性正则化的实证研究
通过经验研究，本文针对端到端语音转文本翻译提出了两种训练策略：SimRegCR 和 SimZeroCR，以实现一致性正则化的最新性能。在 MuST-C 基准测试中，在大多数翻译方向上，我们的方法取得了最先进的性能。分析证明，由内部一致性带来
PDF10 months ago
M 适配器：端到端语音到文本翻译的语言形式适应
本研究提出一种新型基于 Transformer 的 M-Adapter 方法，通过建模语音序列的全局和局部依赖关系，将语音表示特征适应到文字输入上，以缩小语音输出和文字输入之间的模态差距，从而提高端到端语音到文本翻译的质量，并在 Must-
PDF2 years ago
AAAI使用三角分解协议正则化端到端语音翻译
本文介绍了一种新颖的正则化方法用于 E2E-ST 系统的训练，并在 MuST-C 基准测试中显著优于现有技术，该正则化方法通过对 KL 散度进行约束，以更好地利用音频文字翻译三元组数据。
PDF3 years ago
AAAI听、懂、翻译：三重监督解耦端到端语音翻译
本文提出 Listen-Understand-Translate (LUT) 统一框架，利用三重信号指导对端到端语音到文本翻译任务进行解耦，成功地应用于各种语音翻译基准测试中，实现了最先进的性能，优于以前的方法。
PDF4 years ago
自我监督表示改善端到端语音翻译
本文旨在探索自监督预训练语音表示是否可以优化高和低资源语音翻译任务，并且这些语音表示是否可以有效地和其他常见的低资源端到端语音翻译方法相结合，以及这些表示是否可以良好地跨语种迁移。结果表明，自监督预训练功能可以始终提高翻译性能，并且跨语言传
PDF4 years ago