Sep, 2023

使用 Transformer 进行少样本处理的发音障碍语音可理解性水平分类

PDF
TL;DR通过使用具有有限数据的 Transformer 模型，本研究旨在准确分类失语和提供有关可理解性水平的信息，同时解决以往研究中存在的数据泄漏问题，并表明所采用的多课程模型在特定数据集上获得了 67% 的准确度。
dysarthriaspeech disorderasr systemstransformer modelintelligibility level
发现论文，激发创造
  • 为 ASR 数据增强精确合成口吃病患者语音

    该研究提出了一种新的口吃性语音合成方法，用于自动语音识别 (ASR) 训练数据的增强，并通过主观评估证明了合成语音与真实口吃性语音在口吃感和相似性方面的相似性，特别是对于严重口吃者。

    Aug, 2023

  • 使用自监督转换和多任务学习的语音无关语言障碍严重程度分类

    通过使用变压器模型与多任务学习，研究论文提出了一种自动评估口吃严重程度的新框架，并比较不同方法之间的性能，以实现客观、可重复、易接触、标准化和成本效益高的自动评估方案。

    Feb, 2024

  • 使用多说话人 TTS 合成咬字不清语音并应用于咬字不清语音识别

    本文旨在通过使用多说话人端到端 TTS 合成系统为 DNN-HMM 建立训练提供合成语音，其中添加语音障碍严重性等控制参数以继续改进多语音说话人端到端 TTS 系统，实验表明：使用合成的语音，对 DNN-HMM ASR 进行训练可以将识别速率提高 12.2％，且添加严重性级别和暂停插入控制参数可以将错误率降低 6.5％。

    Jan, 2022

  • 利用言语障碍严重程度进行口吃性言语识别

    本文提出了一套新的方法，即使用多任务训练，包含严重程度预测误差、说话者 - 严重程度感知辅助特征适应以及基于与严重度有关和说话者身份有关的 LHUC 转换来进行发音障碍语音识别，结果实验表明将额外的语音障碍严重度纳入最先进的混合 DNN、E2E Conformer 和预训练的 Wav2vec 2.0 ASR 系统，可以产生显著的 WER 下降，最低 WER 达到 17.82％。

    May, 2023

  • 语音障碍分析：基于 Transformer 的方法

    声音障碍是显著影响患者生活质量的病理状态。然而，由于病理性声音数据短缺以及用于诊断的录音类型的多样性，对这些病理状态的非侵入性自动诊断仍未得到充分探索。本文提出了一种新颖的解决方案，直接采用在原始声音信号上工作的变压器，并通过合成数据生成和数据增强来解决数据短缺的问题。此外，我们同时考虑了多种录音类型，如句子朗读和持续元音发音，通过采用多模态专家集合来对不同数据类型上的预测进行对齐。在公共和私有数据集上获得的实验结果显示了我们解决方案在障碍检测和分类任务中的有效性，并在现有方法上有了很大的改进。

    Jun, 2024

  • 使用自监督模型和多任务学习进行发音障碍语音的自动严重程度评估

    使用自监督模型结合多任务学习的新颖自动程度评估方法在不充分的数据下对 Dysarthric 发音进行评估，该方法使用 Wav2vec 2.0 XLS-R 以及手工制作的声学特征和机器学习分类器， 在 Korean dysarthric speech QoLT 数据库上相较传统基线方法提高了 1.25% 的 F1 值，并且相较于没有 ASR 头的模型提高了 10.61% 的相对百分比增长。我们还通过分析潜在表示和正则化效应来展示多任务学习如何影响重度分类表现。

    Oct, 2022

  • 使用循环一致性对抗训练改善发音障碍患者的语音可懂度

    本研究旨在使用循环一致性生成对抗网络模型将口吃音转换为健康人的语音，使用 18,700 个口吃音和 8,610 个健康对照韩语发音训练了本项目的发生器，进而证明了该基于 GAN 的转换方法对于改善口吃音的可懂度是有用的。

    Jan, 2020

  • 关于自动发音障碍语音评估可靠性的研究

    自动化失语症评估可以开发低成本而有效的工具来解决手动和主观评估的当前局限，但目前的方法是否依赖于与失语症相关的说话模式或外部因素尚不清楚。本文研究噪音对记录的失语症的影响，设计并实现了一种新的方法来可视化和比较特征提取器和模型，使用 UA-Speech 数据集，旨在提高研究社区对建立可靠的自动失语症评估系统要求的认识。

    Jun, 2023

  • 香港中文大学口吃言语识别系统的最新进展

    本文介绍了中国香港中文大学对自动语音识别技术中有关于不正常发音语音的识别问题展开的最新研究成果，利用了新型建模技术和 Bayesian model adaptation 等方法，最终取得了乌阿里语（UASpeech）失语症语音库上最低的 25.21% 字误率（WER），并在多方面相对于 2018 年的同类系统均有较大提升

    Jan, 2022

  • 基于严重程度的口齿不清分类：一项系统综述

    系统评估了基于严重程度对共济失调进行分类的方法和特征，重点研究了自动患者分类的最有效特征集和类型，并评估了最佳的人工智能技术，以推进照顾和改善共济失调患者的治疗效果。

    Oct, 2023