探索自监督预训练 ASR 模型用于发音障碍和老年人的语音识别
该研究提出了一种基于频谱分解的深度特征提取方法,用于通过个性化的演讲者自适应技术提高自动语音识别系统对肌肉发音障碍者和老年人的识别准确率。通过在四项任务中的实验表明,在应用该技术后,识别准确率有了显著的提高。
Feb, 2022
研究了预训练于 Librispeech 语料库上并经过领域适配后用于识别老年人和患有运动障碍的语音数据集的 Conformer ASR 系统的超参数自适应,证明其能够显著提高词错误率的表现。
Jun, 2023
使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统,对患有言语障碍的英语、西班牙语和意大利语使用者进行识别,结果表明相较于 Fbank 特征,使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。
Apr, 2022
本文提出使用基于 GAN 的数据增强方法,通过分析非标准语音(如老年人和 dysarthric 患者的语音)的光谱和时间差异可模拟增强数据,提高了 UASpeech、TORGO、Pitt 和 JCCOCC MoCA 等数据集上 TDNN 和 Conformer ASR 系统的训练精度,相对于基于速度的数据增强方法,可使 TORGO 和 DementiaBank 数据集的 WER 分别提高 9.61%和 6.4%。
May, 2022
该研究提出了两种新型的基于特征的即时演讲者适应方法,即基于演讲者水平的方差规范化谱基础嵌入 (SBEVR) 特征和基于即时学习的隐藏单元贡献 (LHUC) 转换。实验结果显示,这两种方法在适应演讲者语音时表现出色,其中基于 SBEVR 特征的适应方式的性能优于基于模型的 LHUC 适应。
Mar, 2022
本文介绍了中国香港中文大学对自动语音识别技术中有关于不正常发音语音的识别问题展开的最新研究成果,利用了新型建模技术和 Bayesian model adaptation 等方法,最终取得了乌阿里语(UASpeech)失语症语音库上最低的 25.21% 字误率(WER),并在多方面相对于 2018 年的同类系统均有较大提升
Jan, 2022
本文提出了一种跨领域和跨语言的 A2A 反演方法,利用 24 小时 TaL 语料库的并行音频和超声舌成像数据,将其在 A2A 模型预训练时进行交叉领域和跨语言适应,以产生基于超声口腔影像的发音特征。实验表明,将生成的发音特征纳入自动语音识别系统中,相对于仅使用声学特征的基线 TDNN 和 Conformer ASR 系统,应用数据增强、扬声器适应和跨系统多通道解码后,单词或字符错误率降低了最多 4.75%、2.59%和 2.07%的绝对误差(相对误差最高可达 14.69%、10.64%和 22.72%)。
Jun, 2022
使用预训练的 DeepSpeech2 和 Wav2Vec2 声学模型,提出了基于领域的语音自动识别系统,并通过半监督机器注释的方式收集领域特定的数据,研究结果表明,该系统即使在具有更高的字词错误率的情况下,性能仍优于商业自动语音识别系统,且在人工转录的结果上也呈现出类似的效果。同时,也探讨了使用自动语音识别文字转录来辅助口语理解的可行性。
Mar, 2023
使用自监督模型结合多任务学习的新颖自动程度评估方法在不充分的数据下对 Dysarthric 发音进行评估,该方法使用 Wav2vec 2.0 XLS-R 以及手工制作的声学特征和机器学习分类器, 在 Korean dysarthric speech QoLT 数据库上相较传统基线方法提高了 1.25% 的 F1 值,并且相较于没有 ASR 头的模型提高了 10.61% 的相对百分比增长。我们还通过分析潜在表示和正则化效应来展示多任务学习如何影响重度分类表现。
Oct, 2022
该研究旨在探索将最先进的 Conformer-transducer 模型适应儿童语音以提高儿童语音识别性能,并将结果与之前在相同数据上进行微调的自监督 wav2vec2 模型和半监督多领域 Whisper 模型进行比较。通过详细的对比分析,我们证明了在儿童语音上微调 Conformer-transducer 模型相对于非微调模型能够显著提高自动语音识别性能。我们还展示了不同儿童语音数据集上的 Whisper 和 wav2vec2 适应情况,并明确 wav2vec2 在这三种方法中提供了最一致的性能改进。
Nov, 2023