Jun, 2024

利用 kNN-CTC 和门控单语数据存储改进零 - shot 中英混编自动语音识别

PDF
TL;DR我们提出了一种新颖的 kNN-CTC 基于代码切换 ASR 框架，它采用双语言数据存储和门控数据存储选择机制以减少噪音干扰。我们将此框架应用于先进的 CTC-based 模型，开发出一种先进的中英文代码切换 ASR 系统。广泛的实验证明了我们的门控数据存储机制在提高零 - shot 中英文代码切换 ASR 性能方面的卓越效果。
发现论文，激发创造
  • 零翻译语种混合语音识别

    在零 - shot 场景下，我们提出了一种基于转写的方法，通过简化单语模块的操作并将语种转录成单一脚本，来促进有效的代码交换自动语音识别系统。该方法通过后续的双语模块来检测多语言转录点并综合外部语言模型信息，应用于端到端可微分的神经网络中，在普通话 - 英语 SEAME 测试集上证明了其有效性。

    Nov, 2022

  • ASRU 2019 年中英混合口语识别挑战赛：公开数据集、赛道、方法与结果

    该研究介绍了 ASRU 2019 普通话 - 英语代码转换语音识别挑战赛，旨在提高普通话 - 英语代码转换情况下的 ASR 性能。参与者可以使用 500 小时标准普通话语音数据和 240 小时普通话 - 英语混合语音数据。本文总结了三个跟踪中的结果以及系统性能，并讨论了模型训练和方法比较的其他细节。

    Jul, 2020

  • 用合成的混合语文本生成优化双语神经转换器

    本研究探讨了如何针对混杂语音优化基于神经传递器的双语自动语音识别系统，发现半监督训练和合成的混合开关数据可以改善这一系统的性能。同时，我们分析了每个神经传递器编码器对混合开关性能的影响，并在 ASCEND 数据集上评估了我们的英语 / 普通话系统，其混合错误率为 25％，较文献节省 2.1％，同时保持好的单语测试集准确性。

    Oct, 2022

  • 基于音素、字素和多语言 CTC 的语音识别

    该论文研究了通过使用其他语言的数据和建立多语言系统来处理自动语音识别中数据稀缺性的问题，使用循环神经网络和连接时序分类等技术进行训练，提高了多语言系统的性能，缩小了单语和多语系统之间的差距。

    Nov, 2017

  • 阿拉伯语 - 英语代码切换语音识别的文本数据增强

    本文基于随机词汇替换和等价约束，利用对齐翻译对生成随机合法的混合语言内容进行零样本学习，以解决跨语言语音识别中数据稀缺性、语法结构复杂性和领域匹配问题，实验结果显示，所提出的方法在两个生态有效的混合语言测试集上相对降低了 65.5% 的语言模型困惑度和 7.7% 的 ASR WER，而采用等价约束的人类评估表明，80% 以上的内容质量足够。

    Jan, 2022

  • 多语种 K 最近邻机器翻译

    通过使用多种语言的表示方法结合成一个数据存储，我们可以在低资源翻译质量上获得显著改进（高达 + 3.6 BLEU），同时对高资源翻译质量也有所提高（高达 + 0.5 BLEU）。我们的实验证实了通过使用语言相似性进行数据存储创建，可以实现四分之一大小的多语言数据存储，从而提高了翻译速度（提升了 5.3 倍）.

    Oct, 2023

  • 实现端到端的代码交替语音识别

    本文通过混合 CTC-Attention 模型，不同建模单元，语言识别以及不同解码策略等对汉英混合口语识别任务进行了研究，并在 SEAME 语音库上实现了 34.24% 的混淆误差率。

    Oct, 2018

  • 提升混合语言语音识别的声学和文本数据增强

    本文提出了改进自动语音识别系统的语音和语言模型技术，用于混合语言 Frision 和 Dutch 广播语音的语音识别，通过训练包括单语及混合码的语音数据集，改善了模型效果并提高了混合语音自动识别性能。

    Jul, 2018

  • 减少端到端语种混淆的自动语音识别

    本文基于等价约束理论提出了一种语言相关的注意机制，将单语数据转化为多语数据应用于端到端的自动语音识别中，获得了相对误差减少 17.12% 的优异性能。

    Jan, 2022

  • 探索基于自监督和弱监督的最新基础模型在汉英混合语音识别和语音转文字翻译的零迁移能力

    本文评估了几种基于自监督或弱监督的尖端大型基础模型（包括 SeamlessM4T、SeamlessM4T v2 和 Whisper-large-v3）在三个混合代码语料库上的表现。我们发现自监督模型可以达到接近受监督模型的性能，表明多语言自监督预训练的有效性。我们还观察到这些模型在建模句内代码切换方面仍有改进空间，常犯相似错误并在代码切换任务的性能上表现不理想。此外，我们探索了 Whisper 的几种变体的有效性，并得出结论它们在代码切换场景中仍然有效，鼓励研究类似的自监督模型技术以提升代码切换任务的性能。

    Dec, 2023