Apr, 2022

使用自动语音识别的零样本跨语言失语症检测

PDF
TL;DR通过使用语言无关的语言特征，我们尝试利用英语中可用的数据，并在希腊语和法语等低资源语言中实现零样例失语症检测。我们提出了一种端到端流水线，使用预训练的自动语音识别（ASR）模型，共享跨语言语音表示，并进行微调，以实现我们所需的低资源语言。为了进一步提高我们的 ASR 模型的性能，我们还将其与语言模型结合在一起。我们证明，我们基于 ASR 的端到端流水线提供了与使用人工注释转录的先前设置相当的结果。
aphasiamachine learninglow-resource languagesasrlinguistic features
发现论文，激发创造
  • 基于 E-Branchformer 和多任务学习的失语症语音识别和检测新基准

    本篇论文使用最先进的语音识别技术基于 AphsiaBank 数据集，提出了一个新的 Aphasia 语音识别基准，并引入了基于 CTC/Attention 架构的两种多任务学习方法以同时执行两个任务。研究者的系统实现了 97.3% 的说话人级别的检测精度和中度 Aphasia 患者的 11% 的相对 WER 降低率。此外，作者还将这种方法应用到另一个失序语音数据库，即 DementiaBank Pitt 语料库。研究者提供了标准化的数据预处理流程和开源配方，使研究者可以直接比较结果，促进失序语音处理的进步。

    May, 2023

  • 自动语音识别多语言模型综述

    该论文研究了基于跨语言转移的多语种自动语音识别模型的最新进展和最佳实践，并探讨了未来的研究方向和建议。

    Feb, 2022

  • 简单而有效的零样本跨语言音素识别

    本文通过使用发音特征将多种训练语言的音素映射到目标语言中，对多语言预训练的 wav2vec 2.0 模型进行微调，以在没有标记数据的情况下提高其对未见过的语言的识别能力，并在实验中取得了较优效果。

    Sep, 2021

  • 面向低资源多语言语音识别的自适应激活网络

    本篇论文提出了一种适应性激活网络，用于深度学习 ASR 模型的上层，并将不同的激活函数应用于不同的语言，通过交叉语言学习和多语言学习优化模型，达到了在 IARPA Babel 数据集上超越传统的基于瓶颈特征和从头训练两种方法的效果提升，结合交叉语言学习和多语言学习可以进一步提高多语言语音识别的性能。

    May, 2022

  • 零翻译语种混合语音识别

    在零 - shot 场景下，我们提出了一种基于转写的方法，通过简化单语模块的操作并将语种转录成单一脚本，来促进有效的代码交换自动语音识别系统。该方法通过后续的双语模块来检测多语言转录点并综合外部语言模型信息，应用于端到端可微分的神经网络中，在普通话 - 英语 SEAME 测试集上证明了其有效性。

    Nov, 2022

  • 零样本自动发音评估

    提出基于 HuBERT 的零样本自动发音评估方法，使用遮罩模块破坏语音输入获取令牌序列并使用得分模块测量错误恢复的令牌数量，在 speechocean762 上得到了可比较于监督回归基线且优于非回归基线的表现，同时分析了遮罩策略对自动发音评估性能的影响。

    May, 2023

  • 基于神经语言学合成数据的转移学习辅助失语症患者完成非典型语言句子

    通过为失语症患者建立仿真数据集并将预先训练的 T5 transformer fine-tuned 到这些数据上，我们提出了一种可以帮助这类患者改善交流障碍的辅助技术方法。结果证明，这种基于小规模数据的仿真数据集可以用于开发有效的辅助技术。

    Nov, 2022

  • 学习跨语言映射提升低资源语音识别的数据增强

    利用可学习的跨语言映射和数据增强来提高低资源语言的端到端语音识别准确度。

    Jun, 2023

  • 失败的另一面：探究语音识别误差对随后痴呆症分类的影响

    研究使用自我监督学习的深度学习自动语音识别模型在临床设置中处理话语自然性上的困难，并探讨产生的错误对痴呆分类下游任务准确性的影响。结果表明，相对高错误率的自动语音识别系统可以产生更好的下游分类精度而非字面上的听写结果。

    Nov, 2022

  • 跨语言知识转移和迭代伪标注 没有包括专有术语或不必要的解释 适用于使用转录器的低资源语音识别

    该研究旨在通过跨语言知识转移和迭代伪标注的方法来提高语音识别系统对低资源语言的准确性，结果表明，使用这两种技术，可将错误率降低 35%。

    May, 2023