Jul, 2023

自我监督语音表示下的非侵入式听障人士智能可懂度预测

PDF
TL;DR将自我监督语音表示应用于对听力受损用户的清晰度预测中，研究发现自我监督表示作为非侵入性预测模型的输入特征具有竞争力的性能，能够在复杂系统上预测清晰度评估
self-supervised speech representationsspeech quality predictionassessmenttraining speech enhancement systemsintelligibility for hearing-impaired users
发现论文，激发创造
  • 基于中间 ASR 特征和人类记忆模型的面向听障用户的非侵入式语音可懂度预测

    利用神经网络和先前训练的自监督和弱监督模型的中间层特征表示，结合人类记忆的示例驱动型心理模型，预测助听器用户的人类可懂度评级，并在不同任务和训练数据中的普通听众中找到相较于基础系统 28.7 的均方根误差 25.3 的显着性能提升。

    Jan, 2024

  • 自我监督的语音表征损失函数及其在语音增强中的应用

    本文研究了语音增强中使用自我监督语音表示来帮助神经语音增强模型训练的方法，指出清洁和嘈杂语音特征编码之间的距离与语音质量和可懂性的心理声学测量值以及人类的平均意见分数（MOS）密切相关，并通过使用该距离作为损失函数的实验证明了相对于来自语音增强文献的常见损失函数的 STFT 频谱图距离损失，以及其他损失函数的性能。

    Jan, 2023

  • 自监督语音表示损失函数在语音增强中的效果

    语音增强中，使用自监督语音表示作为特征变换的损失函数的关系与效果进行了研究，发现与嘈杂音频语言匹配的模型具有更好的性能，但是这可能导致这些增强系统仅适用于特定语言而无法泛化到其他语言，而自监督表示的训练语言似乎对性能影响不大，而特定语言的训练数据量却对性能有很大影响。

    Jul, 2023

  • 语音基础模型对听障听众的可懂度预测

    基于结冰的语音基础模型提供了在语音感知领域中感兴趣的应用的系统评估，涉及语音清晰度预测等任务。

    Jan, 2024

  • 自监督语音表示学习：综述

    本论文综述了自监督语音表示学习的方法及其与其他研究领域的联系，讨论了将学习到的表示推广到语音识别以外的应用的最新研究进展。

    May, 2022

  • 从互信息角度重访语音表征的自监督学习

    从信息论的角度出发，了解自监督语音表示学习的现有方法，通过使用互信息来开发度量方法，从而帮助模型设计和选择，并通过线性探测来评估表示的可访问性，展示模型在层次线性探测和语音识别上的性能。

    Jan, 2024

  • 自监督音频模型有效解释人类大脑对语音的反应

    本文回顾了目前人类低级听觉处理的现有模型，并利用自学语言模型技术创建了新的人类听觉系统的先进模型。结果表明，与声学基线、音素特征和监督模型相比，来自自监督模型中间层的表示可以显著提高对听觉皮层的 fMRI 记录的预测性能，并且不同的听觉处理区域对信息的不同语言层次表现出偏好。

    May, 2022

  • 分析影响基于自监督预训练表示在语音识别中的有效性因素

    本文研究了在低资源环境下建立自动语音识别（ASR）系统的方法，发现自我监督学习预训练数据的相似性和数量对系统性能有显著影响，希望为语音领域改进 SSL-based 预训练模型的泛化性能提供指导。

    Mar, 2022

  • 自监督学习对语音识别的受益及演讲者识别

    本研究通过 Voxceleb-1 数据集进行了一系列实验来探究自监督学习在演讲者相关任务中表现良好的因素，结果表明模型的收益来源于语音预测损失、数据规模和模型大小的组合，同时自监督量化器的影响较小。我们进一步采用了集成梯度属性方法和损失函数可视化的方法来理解自监督学习对演说者识别性能的有效性。

    Apr, 2022

  • 利用自监督语音表征进行发音错误检测

    本文研究了自我监督学习（SSL）模型在第二语言学习者的发音错误检测任务中的应用，比较了使用母语英语数据训练模型的语音识别（PR）方法和直接使用非母语英语数据训练模型的目标任务方法，通过对 L2Arctic 和 EpaDB 两个非母语语音数据集上的评估发现，直接训练用于目标任务的下游模型表现最佳，而大多数上游模型在该任务中表现相似。

    Jul, 2023