基于 Utterance 级别音频对齐距离的无监督语音可理解性评估与 Wav2Vec-2.0 表示法的应用

Jun, 2023

基于 Utterance 级别音频对齐距离的无监督语音可理解性评估与 Wav2Vec-2.0 表示法的应用

Unsupervised speech intelligibility assessment with utterance level alignment distance between teacher and learner Wav2Vec-2.0 representations

PDF

Nayan Anand, Meenakshi Sirigiraju, Chiranjeevi Yarra

TL;DR本研究提出一种基于无监督方法的自动语音可懂度检测技术，使用 Wav2Vec-2.0 的自监督表示，考虑使用使用动态时间规整算法（DTW）计算对齐距离来区分可懂语音和不可懂语音。通过验证，该方法的检测准确率分别为 90.37％、92.57％和 96.58％。

Abstract

Speech intelligibility is crucial in language learning for effective communication. Thus, to develop computer-assisted language learning systems, automatic speech intelligibility detection (SID) is necessary. Most of the works have assessed the intelligibility in a supervised manner co

automatic speech intelligibility detection unsupervised approach self-supervised representations wav2vec-2.0 alignment distance

发现论文，激发创造

利用自监督语音表示进行 L2 熟练度评估

本文介绍一种基于自监督语音表示的自动口语评估系统，并将其与传统的基于语音识别和基于文本的评估系统进行比较。研究结果表明，该系统可以在适当情况下与其他系统媲美甚至取得更好的表现。

Nov, 2022

自动病理可懂性评估的解缠离散语音表征

使用网络的解耦语音表示方法，从大量不同发言者收集到的语音数据中，实现对小量特定发言者语音智力的客观量化计算。

Apr, 2022

无监督语音识别

本文介绍了 wav2vec-U 这种方法，可以通过无监督学习的方式训练语音识别模型，许多语种如 Kyrgyz、Swahili 和 Tatar 等成为了可能。

May, 2021

朝向端到端无监督语音识别

介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

Apr, 2022

wav2vec 2.0：自监督学习语音表示的框架

本研究首次证明了从语音音频中学习强大的表征，然后在经过转录的语音上进行微调可以胜过最好的半监督方法，而且概念上更简单，示范了在有限标注数据情况下实现语音识别的可行性。

Jun, 2020

使用概率自适应度量无监督发现重复的语音模式

本文提出了一种名为 PDTW 的概率 DTW 无监督口语术语发现方法，利用处理语料库的分布特征进行自适应评估对齐质量，系统地发现具有相似性的模式对，并在 Zero Resource Speech Challenge 2017 数据集上测试，表现出更好的检测模式覆盖率。

Aug, 2020

跨语言自监督语音表征，提高口吃症患者的语音识别能力

使用预训练 Wav2Vec、Hubert 和 XLSR 模型的声学特征训练自动语音识别系统，对患有言语障碍的英语、西班牙语和意大利语使用者进行识别，结果表明相较于 Fbank 特征，使用 XLSR 特征可将识别错误率分别降低 6.8%、22.0% 和 7.0%。

Apr, 2022

基於序列到序列自編碼器的聲音片段無監督表示學習

本文提出了一种并行版本的 Audio Word2Vec，旨在为变长音频片段提供固定维度的向量表示，用于无人工注释的语音数据的无监督学习，并且采用 Denoising Sequence-to-sequence Autoencoder 进行更稳健的学习。

Mar, 2016

利用 wav2vec 2.0 进行 L2 口语英语的熟练度评估

本研究通过研究两个小数据集，其中一个是公开的，探讨使用 wav2vec 2.0 对英语口语能力的整体和各方面进行评估的可行性，相对于基于 ASR 和手动转录训练的 BERT 基准系统，发现此方法有很大的提升。

Oct, 2022

wav2vec: 语音识别的无监督预训练

本研究通过对原始音频进行特征学习，探索无监督的语音识别预训练方法，在大量无标注音频数据上进行训练，结果表示所得到的特征对提高声学模型训练有积极意义。在 WSJ 测试中，仅使用少量已识别数据，我们的方法成功将 WER 从传统的 log-mel filterbank 上降低了最多 36％，最终的 WER 为 2.43％，使用的标注数据量较 Deep Speech 2 少两个数量级。

Apr, 2019