Jan, 2022

阿拉伯语 - 英语代码切换语音识别的文本数据增强

PDF
TL;DR本文基于随机词汇替换和等价约束，利用对齐翻译对生成随机合法的混合语言内容进行零样本学习，以解决跨语言语音识别中数据稀缺性、语法结构复杂性和领域匹配问题，实验结果显示，所提出的方法在两个生态有效的混合语言测试集上相对降低了 65.5% 的语言模型困惑度和 7.7% 的 ASR WER，而采用等价约束的人类评估表明，80% 以上的内容质量足够。
intra-utterance code-switchingcs-asr systemzero-shot learninglexical replacementslanguage model perplexity
发现论文，激发创造
  • 研究用于阿拉伯语 - 英语混合代码增强的词汇替换

    本文研究了数据扩充技术，通过对使用平行语料和对齐来进行词汇替换，以便合成方言阿拉伯语 - 英语语料库，并取得了很好的效果，其中使用随机方法的结果在各外部任务中优于使用训练过的预测模型的结果。

    May, 2022

  • 低资源方言阿拉伯语 - 英语代码切换语音语音识别系统研究

    本研究使用基于 DNN 的混合和 Transformer 的端到端模型构建自动语音识别系统并通过构建系统集成方法来提高识别率，结果表明两种模型相互补充且识别性能都不错。

    Aug, 2021

  • 提升混合语言语音识别的声学和文本数据增强

    本文提出了改进自动语音识别系统的语音和语言模型技术，用于混合语言 Frision 和 Dutch 广播语音的语音识别，通过训练包括单语及混合码的语音数据集，改善了模型效果并提高了混合语音自动识别性能。

    Jul, 2018

  • 代码交替文本的机器翻译数据增强技术：比较研究

    在埃及阿拉伯语 - 英语混合代码生成中，我们比较了词汇替换、语言理论和回译三种流行的增强方法，通过人工评估评估了这些方法在机器翻译上的效果和增强质量。结果显示，基于回译和基于代码交替预测的词汇替换方法在两个任务中表现最佳，而在缺少代码交替并行数据的情况下，语言理论和随机词汇替换方法实现了类似的结果。

    Oct, 2023

  • 端到端语音识别中的语言无关代码切换

    本文研究提出一种简单而有效的数据增强方法，以在缺乏大量语料库的情况下训练多语言系统，进而提高 Code-Switching 语音的自动识别水平。通过将不同源语言的音频和相应标签连结在一起训练神经网络端到端 (E2E) 模型，实现在跨句子语言转换方面的提高。

    Oct, 2022

  • 端到端混合语音识别的数据增强

    本文提出了三种针对语种转换数据的增强方法，即音频接合、TTS 和单词转换或插入生成语料，并展示了这些方法对基于端到端自动语音识别系统（ASR）的语种转换系统的性能提升，这些方法可结合近期热门技术 SpecAugment 使用，相对于没有数据增强的系统，WER 显著降低了 24.0％，相对于只有 SpecAugment 的系统还有 13.0％的收益。

    Nov, 2020

  • 语音拼贴：通过拼贴单语语料库的混合交替生成语音

    本文介绍了一种通过拼接音频片段从单语语料库中合成 Code-Switching 数据的 Speech Collage 方法，并通过重叠添加方法提高音频生成的平滑度。我们研究了生成的数据对语音识别的影响，在使用领域内 Code-Switching 文本和合成的 Code-Switching 文本的零样本方法下，实证结果显示相对于领域内和零样本场景，混合错误率和词错误率分别降低了 34.4％和 16.2％。最后，我们证明了 Code-Switching 增强了模型的 Code-Switching 倾向并减少了其单语偏见。

    Sep, 2023

  • 零翻译语种混合语音识别

    在零 - shot 场景下，我们提出了一种基于转写的方法，通过简化单语模块的操作并将语种转录成单一脚本，来促进有效的代码交换自动语音识别系统。该方法通过后续的双语模块来检测多语言转录点并综合外部语言模型信息，应用于端到端可微分的神经网络中，在普通话 - 英语 SEAME 测试集上证明了其有效性。

    Nov, 2022

  • 大语言模型用于代码转换语音识别的生成错误校正

    本文提出了一种利用大型语言模型和自动语音识别所生成的假设列表来解决语码转换的问题的方法，通过低秩适配器实现假设到转录的映射，并且实验证明该方法显著提高了语码转换自动语音识别的准确性，并且大型语言模型在数据效率方面表现出色，为低资源语言中语码转换自动语音识别的数据稀缺问题提供了潜在解决方案。

    Oct, 2023

  • ASRU 2019 年中英混合口语识别挑战赛：公开数据集、赛道、方法与结果

    该研究介绍了 ASRU 2019 普通话 - 英语代码转换语音识别挑战赛，旨在提高普通话 - 英语代码转换情况下的 ASR 性能。参与者可以使用 500 小时标准普通话语音数据和 240 小时普通话 - 英语混合语音数据。本文总结了三个跟踪中的结果以及系统性能，并讨论了模型训练和方法比较的其他细节。

    Jul, 2020