May, 2024

病理语音检测的自监督学习

PDF
TL;DR语音产生是一个复杂的现象，通过思维加工、运动规划和发音运动的执行，大脑协调一系列过程。然而，这些多种过程的复杂执行容易受到各种神经退行性病理性言语障碍的影响和干扰，如帕金森病，导致话语障碍、运动障碍等情况。这些障碍导致异常的言语模式和不清晰的表达。为了解决这些挑战，已提出了几种自动病理性言语检测方法，主要侧重于输入表示和分类器的应用。由于数据有限，检测的性能仍然不甚理想。自我监督学习嵌入，如 wav2vec2 及其多语言版本，被认为是提高性能的有希望途径。这些嵌入利用自我监督学习技术从音频数据中提取丰富的表征，从而为解决标签数据稀缺性所带来的限制提供了潜在的解决方案。
speech productionneurodegenerative pathological speech disorderspathological speech detectionautomatic pathological speech detectionself-supervised learning
发现论文，激发创造
  • 自动病理说话检测中的语音模式影响

    自动病理性言语检测方法在识别不同病理情况方面表现出有希望的结果。本文研究了言语模式对于自动病理性言语检测方法的影响，并对传统机器学习和深度学习两类方法进行了分析。结果表明，传统方法在捕获自发言语中的病理鉴别线索方面存在困难，相比之下，深度学习方法表现出更高的性能，能够提取在非自发言语中无法获得的额外线索。

    Jun, 2024

  • 自动病理可懂性评估的解缠离散语音表征

    使用网络的解耦语音表示方法，从大量不同发言者收集到的语音数据中，实现对小量特定发言者语音智力的客观量化计算。

    Apr, 2022

  • 自监督嵌入用于检测抑郁症个体症状

    利用自监督学习（SSL）基于语音模型识别和预测抑郁症症状和严重程度，比传统语音特征具有显著性能改进，并探究不同类型的 SSL 预训练模型在识别不同症状时所贡献的语音信息，以及多个 SSL 嵌入的组合和多任务学习在有效识别抑郁症症状中的重要性。

    Jun, 2024

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022

  • 通过自监督学习构建一个真实的大脑语音处理模型

    本论文针对语音识别的问题，提出自我监督学习可能是解决这一问题的一个更好的选择，核心是自己生成特征，通过自我监督可以获得和人脑工作方式类似的神经网络模型，帮助理解语言习得和人脑在语音处理方面的机理。

    Jun, 2022

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 利用机器学习探索自闭症中的言语模式障碍

    通过分析检查者 - 患者对话，本研究提供一种综合方法，用于识别独特的语音模式，并利用机器学习在自闭症谱系障碍 (ASD) 的诊断过程中支持早期检测和个性化治疗规划。

    May, 2024

  • 利用自监督语音表示进行 L2 熟练度评估

    本文介绍一种基于自监督语音表示的自动口语评估系统，并将其与传统的基于语音识别和基于文本的评估系统进行比较。研究结果表明，该系统可以在适当情况下与其他系统媲美甚至取得更好的表现。

    Nov, 2022

  • 使用来自不同语言的语音进行帕金森病检测的 AI 模型的安全开发的联邦学习

    本文应用联邦学习技术，利用不同机构提供的语音信号数据构建模型，实现帕金森氏症的检测，达到了远程合作且高准确度的目的，而不需要共享病人数据，增强了患者的结果。

    May, 2023

  • 一个综合的标注病理语音的准则

    我们在本研究中介绍了一种基于语音质量不同维度（包括音素、流利度和韵律）的综合性评分标准。通过利用 Prautocal 语料库，我们进行了两个实验，分别对音素和流利度进行评估。结果显示，评估这些现象的复杂性取决于检测到的特定类型的不流畅性，但我们观察到了积极的趋势。

    Apr, 2024