Jun, 2024

语音障碍分析：基于 Transformer 的方法

PDF
TL;DR声音障碍是显著影响患者生活质量的病理状态。然而，由于病理性声音数据短缺以及用于诊断的录音类型的多样性，对这些病理状态的非侵入性自动诊断仍未得到充分探索。本文提出了一种新颖的解决方案，直接采用在原始声音信号上工作的变压器，并通过合成数据生成和数据增强来解决数据短缺的问题。此外，我们同时考虑了多种录音类型，如句子朗读和持续元音发音，通过采用多模态专家集合来对不同数据类型上的预测进行对齐。在公共和私有数据集上获得的实验结果显示了我们解决方案在障碍检测和分类任务中的有效性，并在现有方法上有了很大的改进。
voice disordersnon-invasive diagnosisautomated diagnosistransformersdata shortage
发现论文，激发创造
  • 使用 Transformer 进行少样本处理的发音障碍语音可理解性水平分类

    通过使用具有有限数据的 Transformer 模型，本研究旨在准确分类失语和提供有关可理解性水平的信息，同时解决以往研究中存在的数据泄漏问题，并表明所采用的多课程模型在特定数据集上获得了 67% 的准确度。

    Sep, 2023

  • 自然语言预训练模型在自动语音评估语音障碍中的解释

    训练和比较两种配置下的音频频谱变换器，用于语音障碍检测；应用注意力回传方法生成模型相关性图，分析模型在不同条件下的预测方式，证明随着模型微调，注意力的扩散减少，重点集中在特定音素区域。

    Jun, 2024

  • 改善病理性语音障碍学习的连续语音

    本研究提出一种新方法，使用连续的普通话语音而不是单个元音，来区分四种常见的声音障碍，并使用离散余弦变换和双向 LSTM 网络，通过大型数据库的实验表明，该方法相对于使用单个元音的系统有显著的准确度和召回率提高以及提高了系统学习声音障碍的能力。

    Feb, 2022

  • 鲁棒的声音质量特征嵌入用于失音声音检测

    本研究提出了一种深度学习框架来生成对声音质量敏感且在不同语料库中具有鲁棒性的声学特征嵌入，同时将对比性损失与分类损失相结合进行训练，并使用数据膨胀方法提高模型的鲁棒性，实证结果表明，该方法不仅在语料库内和语料库间的分类准确度上表现出色，而且生成的嵌入对声音质量敏感且跨不同语料库具有鲁棒性。同时，与三种基准方法比较的结果表明，所提出的模型在干净以及损坏的语料库内和语料库间表现出一致的优异性能。

    Nov, 2022

  • 走向客观和可解释的语音障碍评估：基于 CNN 和 Transformer 的模型的比较分析

    这项研究提出了一种基于自我监督的 Wav2Vec2 模型，用于头颈癌患者的语音分类，以提高准确性和语音特征辨别能力，并通过评估多样化语料库的方式验证了该模型的有效性，为医生提供了可解释的方法来理解病理性语音。

    Jun, 2024

  • 融合基于文本和基于图形的特征用于从语音中检测心理健康疾病

    通过语音信号图形转换和自然语言处理相结合，可以提高语音信号图形低级特征和文本低级特征分类和学习的融合，从而增强抑郁症等心理障碍的检测，特别是在疫情后期，随着语音启用设备，如智能手机的普及。

    May, 2022

  • 利用非线性递归和分形缩放特征进行语音障碍检测

    本文介绍了两种新的语音分析工具：重现性和分形缩放，它们可以直接测量复杂的非线性不规则声音，通过简单的引导分类器，可以区分正常和病态声音。此外，这些新措施也可以广泛应用于各种不同类型的失音现象中，可用于多种实际的临床目的。

    Jul, 2007

  • 探究无序语音识别数据增强技术

    本文研究了一组用于混乱语音识别的数据增强技术，包括声道长度扰动（VTLP）、节奏扰动和速度扰动，并利用正常和混乱语音进行增强处理。通过基于学习隐藏单元贡献（LHUC）的说话者自适应训练对原始和增强数据中的受损说话者之间的变异性进行建模。使用基于速度扰动的最佳增强方法构建的最终说话者自适应系统相对于没有数据增强的基线系统减少了 2.92％绝对（9.3％相对）的词错误率（WER），并在包含 16 位 Dysarthria 患者的测试集上获得了 26.37％的整体 WER。

    Jan, 2022

  • 在多诊断情境中自动分类神经精神疾病的语音和文本方法

    本研究比较了基于语音和文本特征的二元分类和多类分类模型在区分多种神经精神障碍时的表现，结果显示联合模型表现更佳，同时提出今后应该关注更具代表性的跨诊断数据集以及精细化的临床特征。

    Jan, 2023

  • 用于发展基于人工智能的帕金森氏症语音评估的合成数据生成技术（一项比较研究）

    通过深度学习生成技术，本论文探讨了对于核心 AI 系统而言机器学习分类器的准确性的影响，以进一步提高通过声音识别帕金森病的 AI 系统性能。

    Dec, 2023