Sep, 2023

跨语种和语言模态之间的桥梁：同步双语 CTC 用于语音翻译和语音识别

PDF
TL;DR本研究提出了一种创新的同步双语联结主义时间分类 (CTC) 框架，利用双重 CTC 来填补语音翻译任务中模态和语言之间的差距。通过将转录和翻译作为 CTC 的并行目标，我们的模型填补了音频和文本以及源语言和目标语言之间的差距。在 CTC 应用的最新进展基础上，我们还开发了一个增强的变体 BiL-CTC+，在资源受限场景下创造出了新的最先进性能。有趣的是，我们的方法还显著提高了语音识别性能，揭示了跨语言学习对转录的影响，并展示了其广泛的适用性。源代码可以在此 https URL 获取。
发现论文，激发创造
  • 语音翻译的预训练：CTC 应用最优输运

    本文提出了一种通过前置训练解决语音到文本模式间隔问题的方法，其中使用连接主义时间分类损失和最优传输相结合的前置训练，该方法在标准的 CoVoST-2 和 MuST-C 数据集上实现了最新的性能，并与最近的强多任务学习系统表现相当。

    Jan, 2023

  • CTC 对齐提高自回归翻译

    这篇论文探讨了 Connectionist Temporal Classification 在翻译任务中的应用，并提出了 CTC/attention 的联合模型，改进了传统 attention 模型的训练表现和效果。

    Oct, 2022

  • 基于 CTC 的声学模型的多语言训练和跨语言适应

    研究了多种适应和规则化技术，并使用深度神经网络，调查了自适应性训练的潜力， 并研究了退火珂朵莉的效果，得出结果表明使用 LHUC 进行适应可以改善全语言子母的 CTC 系统的性能，并且在有限数据上可以实现与 DNN/HMM 系统的竞争性性能。

    Nov, 2017

  • 基于音素、字素和多语言 CTC 的语音识别

    该论文研究了通过使用其他语言的数据和建立多语言系统来处理自动语音识别中数据稀缺性的问题，使用循环神经网络和连接时序分类等技术进行训练，提高了多语言系统的性能，缩小了单语和多语系统之间的差距。

    Nov, 2017

  • 基于预训练语言模型的知识迁移，提升基于 CTC 的语音识别

    基于 CTC 的自动语音识别模型一直比基于处理单元的编码 - 解码模型弱，本文提出了两种知识转移方法，借助预训练的 BERT 和 GPT2 来提高 CTC-based 模型的性能。在实验中，相对于不使用外部语言模型的基础模型，我们的方法将字符错误率降低了 16.1%。

    Feb, 2022

  • 基于 CTC 的非自回归语音翻译

    本文介绍了一种基于 CTC 的非自回归语音翻译模型，采用预测感知编码方法和跨层注意力方法解决了翻译任务中的条件独立生成和单调对齐等问题，加速比为 5.67 倍，BLEU 分数为 29.5，在 MuST-C ST 基准测试上优于自回归模型和之前的最佳结果。

    May, 2023

  • 基于 CTC 的直接语音翻译压缩

    本研究提出了一种基于 CTC 的动态音频信号压缩方法来改善语音翻译质量，显著提高了 BLEU 评估指标并减少了内存占用。

    Feb, 2021

  • 音频文本分类的级联交叉模态 Transformer

    利用多模态表示，通过自动语音识别模型转录语音并通过预训练翻译模型将转录文本翻译成不同语言，结合文本和音频特征使用级联交叉模态变压器 (CCMT) 模型来实现语音分类任务，该模型在 ACM Multimedia 2023 计算语音学挑战中获得不错的性能，并在 Speech Commands v2 和 HarperValleyBank 对话数据集上超过了之前的研究成果。

    Jan, 2024

  • 端到端多模态语音识别

    探讨了如何应用视觉通道，以及 Connectionist Temporal Classification (CTC) 和 sequence-to-sequence (S2S) 的方法来提高自动语音识别 (ASR) 的鲁棒性，并比较了两种方法在干净和嘈杂的数据上的效果。

    Apr, 2018

  • 理解和弥合语音翻译的模态差距

    本文研究对于 ST 和 MT 之间的通道差，提出了一种名为 Cress 的跨模态规范化方法。通过输出 ST 和 MT 的预测值，使用采样和不同训练权重来处理难以处理的情况，实现了在 MuST-C 数据集的八个方向上取得了显著效果。

    May, 2023