Aug, 2023

wav2vec 2.0 特征提取器的比较分析

PDF
TL;DR该研究论文探讨了利用神经原始波形特征提取器替代传统特征提取方法以及其对自动语音识别系统的影响，并与另一种神经特征提取器进行对比分析，结果表明两者在 LibriSpeech 基准测试上与传统特征提取器具有竞争力，并且分析了所学习的滤波器对 ASR 系统的重要信息的作用。
automatic speech recognitionneural raw waveform feature extractorswav2vec 2.0 modelconnectionist temporal classificationlibrispeech benchmark
发现论文，激发创造
  • 基于注意力机制的 Wav2Text 及特征迁移学习

    这篇论文介绍了使用基于注意力机制的编码器 - 解码器模型及特征迁移学习来建立一个自动语音识别的端对端模型，通过处理原始语音信号并不需要设计预定义的对齐和手动建立的模型来直接与文本转录进行交互

    Sep, 2017

  • 利用 wav2vec 2.0 进行 L2 口语英语的熟练度评估

    本研究通过研究两个小数据集，其中一个是公开的，探讨使用 wav2vec 2.0 对英语口语能力的整体和各方面进行评估的可行性，相对于基于 ASR 和手动转录训练的 BERT 基准系统，发现此方法有很大的提升。

    Oct, 2022

  • 全卷积语音识别

    本文提出了一种基于卷积神经网络的语音识别方法，相对于传统的基于循环神经网络的模型使用更少的特征提取步骤，并在多项测试中取得了当下最佳的表现。

    Dec, 2018

  • 在数据稀缺环境中利用 ASR 驱动的 Wav2Vec2 探索病态语音质量评估

    自动语音质量评估中，由于数据稀缺，大多数研究仅在二元分类等简单任务上取得良好结果。本文提出了一种新的方法，通过采用预训练的 Wav2Vec2 架构作为语音评估中的特征提取器，将学习系统从片段级别提升至音频级别，从而建立了一个新的基准，使得只使用 95 个训练样本可以实现对可懂度和严重程度得分的预测，平均均方误差分别为 0.73 和 1.15。结果表明，基于 ASR 的 Wav2Vec2 模型带来了最佳结果，并且可能暗示了 ASR 与语音质量评估之间的强相关性。同时，我们还评估了该方法在变长片段持续时间和语音内容等因素上的影响。

    Mar, 2024

  • 朝向端到端无监督语音识别

    介绍一种改进的 wav2vec-U 2.0 方法，通过更好的结构来消除语音处理的需要，并引入自监督目标来实现更好的准确度，从而在不同语言下提高了非监督性识别结果。

    Apr, 2022

  • 高效音视关联的 Conformer 用于鲁棒语音识别

    本研究建议使用音频和视觉模态来改善基于 Efficient Conformer Connectionist Temporal Classification 架构的噪声鲁棒性，并在 LRS2 和 LRS3 数据集上进行了实验。结果表明，使用音频和视觉模态可以更好地识别存在环境噪声的语音，并显着加速训练，达到了 2.3％和 1.8％的字错误率。

    Jan, 2023

  • IARPA OpenASR21 挑战中的 THUEE 系统描述

    该论文介绍了 THUEE 团队为 IARPA OpenASR21 挑战赛开发的语音识别系统，包括使用基于混合体系结构的 ASR 系统、使用 Grapheme-to-Phoneme 技术扩展发音词典来缓解词汇外问题、使用 self-supervised 学习框架 wav2vec2.0 等技术来提高识别准确度等。

    Jun, 2022

  • 利用自监督预训练的声学和语言特征进行连续语音情感识别

    本文研究音频和文本的预训练提取特征方法，使用 wav2vec 和 camemBERT 模型进行连续情感识别任务，同时采用 SEWA 数据集，证明 wav2vec 和 BERT 预训练特征的联合使用在处理连续 SER 任务中表现非常合适。通过实验证明，新方法的 CCC 值达到 0.825，而传统的 MFCC 和 word2vec 仅为 0.592。

    Nov, 2020

  • 基于混合 ASR 瓶颈特征的内容和细粒度韵律信息解耦用于语音转换

    该研究提出了一种使用来自连接时序分类损失和交叉熵损失自动语音识别模型提取的混合瓶颈特征的任何到一语音转换方法，并使用渐变反转层和实例归一化从两种瓶颈特征中提取信息以提高相似度、自然度和语音质量。

    Mar, 2022

  • 无监督预训练在语音识别中的性能与效率的折衷

    对预训练模型在自动语音识别中的性能和效率进行了研究，提出了一种新的模型架构 SEW，其在不同训练环境下都取得了良好的性能和效率。

    Sep, 2021