Mar, 2022

基于 Wav2vec 2.0 特征的 Bag-of-Audio-Words 方法可视化复杂的家庭婴儿语音序列

PDF
TL;DR研究使用基于 ML 的音频分析方法在新型多模式可穿戴设备 LittleBeats 中进行婴儿语言交互的监测，为早期识别和干预身心健康方面的发展障碍提供了可靠的工具和分析结果。
infant developmentaudio analysismachine learningmental healthdevelopmental disorders
发现论文，激发创造
  • 婴儿和成人语音声学的低维表示

    该研究利用机器学习方法，提取婴儿和照顾者的声音，通过 UMAP 算法在二维空间中获得连续和良好分布的空间，研究发现随着婴儿年龄的增加，婴儿声音在二维空间中的分散度会增加以及婴儿声音与成人声音的相似度也会随婴儿年龄的变化而变化。

    Apr, 2022

  • 利用 wav2vec 2.0 进行 L2 口语英语的熟练度评估

    本研究通过研究两个小数据集，其中一个是公开的，探讨使用 wav2vec 2.0 对英语口语能力的整体和各方面进行评估的可行性，相对于基于 ASR 和手动转录训练的 BERT 基准系统，发现此方法有很大的提升。

    Oct, 2022

  • 基于 Wav2vec 的言语智能识别与严重程度分类 —— 以口吃为例

    通过使用预训练的 wav2vec 2.0 模型作为特征提取器，本研究对发音困难症的声学语音信号进行了自动检测和严重程度分类，结果表明使用 wav2vec 模型的第一层嵌入特征在准确度上相较于基线特征（声谱图）提升了 1.23%，在严重程度分类任务中最终层的嵌入特征相较于基线特征（梅尔频率倒谱系数）提升了 10.62%。

    Sep, 2023

  • wav2vec 2.0：自监督学习语音表示的框架

    本研究首次证明了从语音音频中学习强大的表征，然后在经过转录的语音上进行微调可以胜过最好的半监督方法，而且概念上更简单， 示范了在有限标注数据情况下实现语音识别的可行性。

    Jun, 2020

  • 增强小鼠新生儿超声声发射分析：不同数学模型的开发、评估和应用

    研究通过不同类型的神经网络对超声波声音进行分类，构建了可全自动分析大型数据集并具有高可靠性的流水线，并在鼠类的自闭症样行为研究中发现了关键差异。

    May, 2024

  • 学前儿童语言发展测试中的伪词发音分类

    本研究旨在通过使用不同方法进行语音分析，包括低级特征、说话者嵌入、音素和 ASR 音频模型，使用 VGG - 类 5 层 CNN 分类器，以便自动评估儿童的语言发展是否年龄适宜，证明如果精细调节音素模型，精度可以获得显著提高，并且 ASR 伴音模型提取的语音特征在此任务中表现最佳。

    Jun, 2022

  • 基于语音和文本数据的音位结构学习，较少资源近乎无监督的语音识别

    利用音频字向量和自编码器实现跨模态的语音识别，演示了即使缺乏训练数据，也可以从少量音频和文本之间的嵌入对齐中进行 ASR 系统的训练。

    Oct, 2018

  • 融合基于文本和基于图形的特征用于从语音中检测心理健康疾病

    通过语音信号图形转换和自然语言处理相结合，可以提高语音信号图形低级特征和文本低级特征分类和学习的融合，从而增强抑郁症等心理障碍的检测，特别是在疫情后期，随着语音启用设备，如智能手机的普及。

    May, 2022

  • wav2vec: 语音识别的无监督预训练

    本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

    Apr, 2019

  • 使用 Wav2Vec 2.0 识别器进行深度 LSTM 口语检测

    本文利用基于字符的 Wav2Vec2.0 模型进行了大规模口语文档中的术语检测任务，实验结果表明，使用基于深度 LSTM 网络的共享发音嵌入空间的 bootstrapping 方法将 DNN-HMM 混合 ASR 的传统发音词汇的知识转化到基于图形的 Wav2Vec 中，能够显著优于 DNN-HMM 混合 ASR 和音素识别器的组合系统。

    Oct, 2022