Aug, 2023

自我监督预训练模型在通过语音和颈部表面加速度计信号进行语音质量分类的研究

PDF
TL;DR使用预训练模型和声音信号的提取特征，结合颈部表面加速计信号进行声音质量的分类，显示出更好的分类准确率和性能。
voice quality classificationacoustic speech signalneck surface accelerometerpre-trained modelsclassification accuracy
发现论文，激发创造
  • 走向客观和可解释的语音障碍评估：基于 CNN 和 Transformer 的模型的比较分析

    这项研究提出了一种基于自我监督的 Wav2Vec2 模型，用于头颈癌患者的语音分类，以提高准确性和语音特征辨别能力，并通过评估多样化语料库的方式验证了该模型的有效性，为医生提供了可解释的方法来理解病理性语音。

    Jun, 2024

  • 通过声门源特征分析和检测病理性声音

    自动检测声音病理学能够客观评估和较早干预诊断。本研究对声门源特征进行系统分析，考察其在声音病理学检测中的有效性。实验结果显示，声门源特征与传统的 MFCC 和 PLP 特征相比，具有可比或更好的声音病理学检测性能，并且当与传统的 MFCC 和 PLP 特征结合时，性能表现最佳。

    Sep, 2023

  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 提高了的无声语音识别模型

    本文提出了一种改进的模型，利用面部肌电图信号合成音频，并使用卷积层和 Transformer 层提取特征和传递信息，在预测语音音频特征的同时引入了辅助任务来提供更好的信号，实现了在开放词汇清晰度评估上表现出绝对提高了 25.8% 的最新技术水平。

    Jun, 2021

  • 自监督神经网络在人类语音上预训练​能否辨别动物叫声？

    本文探讨了在人类语音领域预训练的自监督学习模型是否可以用于生物声学领域，结果表明可以通过这种方式成功地从黄腹掌猴的声音中识别出不同的个体身份信息。

    May, 2023

  • 自监督预训练在语音识别中的有效性

    本文比较了自监督表示学习算法 - 无量化学习和显式量化学习，发现使用显式量化的自监督学习算法以较高的准确性建立了数据词汇表，并在随后的 BERT 训练中学习了有效的表示方法，从而实现了训练量极小的语音识别系统。

    Nov, 2019

  • 自监督语音转文本系统中性别影响的研究

    本研究使用法语作为研究语言，通过比较不同性别平衡的预训练数据集在 ASR 和 ST 中的表现来探究其影响。结果表明，性别平衡的预训练模型不一定导致最佳结果，并且使用自监督模型作为特征提取器时，ASR 和 ST 的结果会遵循更复杂的模式。

    Apr, 2022

  • 探究自监督预训练模型的集成特征在自动语音识别中的应用

    本文介绍使用多个基于自监督学习的模型以及它们所提取特征的集成方法，改善语音识别任务的性能，并使用三种自监督模型 HuBERT、Wav2vec2.0 和 WaveLM 进行了实验，得到了较好的效果。

    Jun, 2022

  • 自动语音识别端到端神经模型的鲁棒性分析

    本文研究了预训练神经模型在自动语音识别中的鲁棒性，并对 wav2vec2，HuBERT 和 DistilHuBERT 进行了鲁棒性分析，发现它们在 LibriSpeech 和 TIMIT 数据集上对噪声的鲁棒性不同，同时进行了层次分析以预测每层的学习，通过误差传播和对比清晰和嘈杂的数据，验证了 Pasad 等人的预测，并提出未来研究的有趣方向。

    Aug, 2022

  • 自然语言预训练模型在自动语音评估语音障碍中的解释

    训练和比较两种配置下的音频频谱变换器，用于语音障碍检测；应用注意力回传方法生成模型相关性图，分析模型在不同条件下的预测方式，证明随着模型微调，注意力的扩散减少，重点集中在特定音素区域。

    Jun, 2024