Jun, 2022

数据集划分对口吃检测系统的影响

PDF
TL;DR本文研究了不同的数据分割和分割策略对口吃检测系统性能的影响，并使用 wav2vec 2.0 模型和支持矢量机 (SVM) 来检测口吃现象。我们使用 Stuttering Events in Podcasts (SEP-28k) 数据集中的不同非专属和专属分割进行训练和评估，以揭示结果与使用的分区方法的变异性，并证明 SEP-28k 数据集只由很少的演讲者占据，难以评估。为了解决这个问题，我们创建了 SEP-28k-Extended (SEP-28k-E)，其中包含 SEP-28k 语料库的半自动生成的演讲者和性别信息，并建议不同的数据分割，每个分割都有助于评估口吃检测方法的其他方面。
发现论文，激发创造
  • SEP-28k：面向带口吃者的播客口吃事件检测数据集

    本研究介绍了一个包含超过 28k 个剪辑的数据集，用于自动检测语言中的口吃事件，并通过将其用于声学模型的训练演示了数据集的有效性。

    Feb, 2021

  • 利用 wav2vec 2.0 检测口吃治疗中的语音障碍

    通过使用最新的波形神经网络技术（wav2vec 2.0）并结合多任务学习，对一个英文语料库中的口吃病识别进行了研究，并在语音识别技术和口吃治疗领域有重要应用。

    Apr, 2022

  • 探究面向跨语言低资源 ASR 评估的数据分割策略

    本研究探讨了针对训练资源匮乏的五种语言十种不同数据划分方法的模型性能，揭示不同说话者数据选取对模型性能的影响，表明在数据稀缺情况下采用基于随机划分的数据分割可以产生更可靠和可推广的结果。

    Aug, 2022

  • 基于潜在特征的数据划分方法改善泛化评估：仇恨言论检测案例研究

    通过对现有数据集的新的训练 - 测试分割，我们挑战了仅基于目标和关键词训练、评估仅考虑训练和测试数据之间的分布变化的仇恨言论模型。我们提出了两种分割变体，并使用四个预训练模型应用于两个数据集，揭示了模型在潜在空间中的盲点上的灾难性失败。进一步分析表明，数据分割的表面级属性与性能下降之间没有明确的相关性，这突显了任务的难度不总是容易人类解释的。我们推荐在模型开发中加入基于潜在特征的分割，并通过 GenBench 基准发布了两种分割方案。

    Nov, 2023

  • 数据分区策略对模型泛化性能的影响：形态分割案例研究

    本研究在 19 种语言中使用数据，包括 10 种土著或濒危语言，在多样的形态系统（多合一的、融合的和粘着的）和不同的数据可用性下，以不同大小的训练和评估集的组合以及新的测试数据进行大规模实验，结果显示：（1）从随机拆分训练的模型能够取得更高的数值分数；（2）从随机拆分导出的模型排名倾向于更加一致地推广。

    Apr, 2024

  • 使用说话人表示和自监督上下文嵌入进行口吃检测

    本研究通过使用预先训练的深度学习模型提取的语音嵌入，探索了使用 ECAPA-TDNN 和 Wav2Vec2.0 模型进行口吃检测任务的音频表示。相对于仅在有限 SEP-28k 数据集上训练的标准口吃检测系统，本研究在多个传统分类器上获得了 12.08％、28.71％、37.9％的相对改进并进一步证明结合两个嵌入和连接多个层的 Wav2Vec2.0 可进一步提高其性能。

    Jun, 2023

  • 基于 Wav2vec 的言语智能识别与严重程度分类 —— 以口吃为例

    通过使用预训练的 wav2vec 2.0 模型作为特征提取器，本研究对发音困难症的声学语音信号进行了自动检测和严重程度分类，结果表明使用 wav2vec 模型的第一层嵌入特征在准确度上相较于基线特征（声谱图）提升了 1.23%，在严重程度分类任务中最终层的嵌入特征相较于基线特征（梅尔频率倒谱系数）提升了 10.62%。

    Sep, 2023

  • 面向非流畅语音的包容性自动语音识别：级联大规模自监督学习与目标微调和数据增强

    自动语音识别系统通常在处理口吃相关的流畅性障碍时出现故障，而这些故障包括意愿性中断和单词重复，从而导致不准确的转录。我们提出了一种包容性的 ASR 设计方法，利用标准语音的大规模自我监督学习，然后通过对较小的策划语音数据集进行有针对性的微调和数据增强来解决此问题。我们的数据增强技术可以通过增加各种不流畅性来丰富训练数据集，增强对这些语音模式的 ASR 处理。结果表明，即使是对于一个相对较小的标记数据集，结合数据增强，通过微调 wav2vec 2.0 也可以显著降低不流畅语音的单词错误率。我们的方法不仅推动了面向口吃者的 ASR 包容性，而且为能够适应更广泛的语音变化的 ASR 铺平了道路。

    Jun, 2024

  • 关于训练数据的歌声分离研究

    本研究探讨了训练数据集的特征对半监督唱声分离系统性能的影响和数据增强方法。结果表明，训练数据集的分离质量和多样性是性能的关键因素。

    Jun, 2019

  • 神经网络语音分离模型训练中的数据采样策略

    本文研究了在语音分离模型中应用不同的训练信号长度的影响，发现特定分布情况下应用特定的训练信号长度会提高模型性能，同时使用动态混合和最佳信号长度训练的模型被证明具有最佳性能。

    Apr, 2023