Mar, 2022

利用跨领域声 — 口倒置特征进行非正常言语识别

PDF
TL;DR该论文提出了一种跨领域的声学 - 发音反演方法，使用神经网络对发音特征进行建模，通过应用该方法改善了语音障碍患者的语音识别表现。
articulatory featuresautomatic speech recognitionacoustic-to-articulatory inversionneural networksspeech disorder
发现论文，激发创造
  • 利用跨领域和跨语言的超声舌影像特征进行老年人和发音障碍者语音识别

    本文提出了一种跨领域和跨语言的 A2A 反演方法，利用 24 小时 TaL 语料库的并行音频和超声舌成像数据，将其在 A2A 模型预训练时进行交叉领域和跨语言适应，以产生基于超声口腔影像的发音特征。实验表明，将生成的发音特征纳入自动语音识别系统中，相对于仅使用声学特征的基线 TDNN 和 Conformer ASR 系统，应用数据增强、扬声器适应和跨系统多通道解码后，单词或字符错误率降低了最多 4.75％、2.59％和 2.07％的绝对误差（相对误差最高可达 14.69％、10.64％和 22.72％）。

    Jun, 2022

  • 使用多分辨率声谱时序表示的声学到口腔运动的语音反演

    本研究评估了利用多分辨率频谱时间特征作为声学特征对语音信号进行表达，从而从听觉皮层表征语音信号的好处，以推测相应信号的发音学特征。研究使用了威斯康辛大学 X 光微束（XRMB）数据库的语音信号来训练前馈深度神经网络（DNN）以估计 6 个道路变量的发音轨迹。实验结果表明，该方法与利用 Mel 频率倒谱系数的先前实验相比，能达到更高的相关性（0.675）。

    Mar, 2022

  • 音韵学反演：对语言不流利的言语进行声学到言语器官的转换：在预训练的自监督表征中是否有优势？

    使用预先训练的自监督学习模型，对发音不清的言语进行声学到发音学的逆向映射，通过条件化 x-vectors 来训练 BLSTM 网络，使用不同的预先训练特征进行低资源条件下的挑战性声学到发音学逆向映射任务，在实验中观察到 DeCoAR 在细调方案中相对于 MFCC 的皮尔森相关系数分别在健康控制组和患者组上提高了约 1.81% 和约 4.56%，同时发现具有特征重构或未来时间步预测任务的 SSL 网络（如 wav2vec、APC 和 DeCoAR）预测发音不清的发声轨迹的性能表现良好。

    Sep, 2023

  • 跨语言自监督语音表征，提高口吃症患者的语音识别能力

    使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统，对患有言语障碍的英语、西班牙语和意大利语使用者进行识别，结果表明相较于 Fbank 特征，使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。

    Apr, 2022

  • 探索自监督预训练 ASR 模型用于发音障碍和老年人的语音识别

    本文探讨了将领域适应 SSL 预训练模型整合到 TDNN 和 Conformer ASR 系统中，以识别老年人和患有发音障碍的人的语音，并通过实验获得了很好的效果。

    Feb, 2023

  • 对抗式学习原始语音特征实现领域不变语音识别

    本文探讨了对抗训练在自动语音识别中应用的有效性，在使用 Domain Adversarial Neural Networks (DANNs) 在多个数据集上的实验结果表明，对抗训练能够有效地进行无监督领域自适应，从而强调了 DANNs 从原始语音学习领域不变特征的能力。

    May, 2018

  • 基于 DNN 的声学到发音器反演，使用超声舌像

    本研究采用深度神经网络方法，通过分析声音信号，逆推计算日常生活中使用的超声成像技术下的舌头构造，研究采用特征点空间和原始超声图像两种方式表征舌头构造信息的效果，并用 MSE、SSIM 等质量指标对结果进行测试与总结。

    Apr, 2019

  • 使用光谱时域深度特征进行言语适应，在语音识别中应用于发音困难和老年人

    该研究提出了一种基于频谱分解的深度特征提取方法，用于通过个性化的演讲者自适应技术提高自动语音识别系统对肌肉发音障碍者和老年人的识别准确率。通过在四项任务中的实验表明，在应用该技术后，识别准确率有了显著的提高。

    Feb, 2022

  • 音频狡猾：快速、通用和无需同步的跨领域语音识别攻击

    自动语音识别系统的脆弱性研究表明容易受到恶意者攻击，本文设计了一种生成特定特性攻击的方法，并通过在频率域中进行反向傅里叶变换来实现攻击的不变性和鲁棒性，对标准关键字分类任务及 OTA 进行评估，分析并解释了跨域攻击的效率。

    Sep, 2023

  • 无监督领域自适应语音识别与无监督错误校正

    本文提出了一种无监督自适应错误校正方法，可以在未见过的领域中恢复由领域差异引起的语音识别错误，使用伪标记技术生成学习样本，在持续学习中以减少过度拟合，并使用编码器 - 解码器校正模型结合其他信息以进一步提高适应性，实验结果表明，该方法相对于未自适应的 ASR 系统显著降低了单词错误率，并可用于其他适应方法以带来额外的 10% 的性能提升。

    Sep, 2022