Apr, 2019

RawNet: 使用原始波形的高级端到端深度神经网络进行文本独立说话人验证

PDF
TL;DR本文提出了一种端到端的系统，该系统包含两个深度神经网络，其一个用于提取语音级别的说话者嵌入，另一个用于后端分类，通过具有预训练方案的模型架构调整可以提取说话者嵌入，并使用附加目标函数简化提取过程，此系统在 VoxCeleb1 数据集上实现了同等于具有数据增强的最先进的 x 向量系统的表现。
发现论文，激发创造
  • 推动原始波形扬声器识别的极限

    本文提出了一种基于原始波形的演讲者识别模型，它结合了机器学习和说话人认证的最新进展，其中包括 Res2Net 骨干模块和多层特征聚合。该模型具有很高的性能表现，可以应用于半监督学习场景中，即在只有少量标记训练数据和大量未标记训练数据的情况下，可用于说话人识别。

    Mar, 2022

  • MR-RawNet：使用原始波形的多时间分辨率变长语音说话人验证系统

    通过使用多分辨率特征提取器和多分辨率注意力块，MR-RawNet 能够从原始波形中提取时间 - 频率表示，增强说话人验证系统对可变持续时间的音频语句的抗干扰能力。实验结果表明，与其他基于原始波形的系统相比，MR-RawNet 在处理可变持续时间的音频语句时表现出更高的性能。

    Jun, 2024

  • 使用特征图缩放的改进型 RawNet 实现基于原始波形的语音识别中的文本无关说话人验证

    本研究提出了使用各种方法来缩放特征图的机制，包括使用 sigmoid 非线性函数采用缩放向量来乘法和加法缩放特征图，以及使用 SincNet 的 sinc-convolution 层替换第一卷积层，实验结果表明该方法有效，最佳表现的系统较原始 RawNet 减少一半的等误差率，并在 VoxCeleb1-E 和 VoxCeleb-H 协议下实现了优于现有最先进系统的扩展评估结果。

    Apr, 2020

  • 使用深度学习框架评估语音情感识别的原始波形

    通过直接利用六个不同数据集的原始音频文件进行训练，本研究提出了一种模型用于识别情感，没有进行特征提取阶段。该模型通过支持向量机、决策树、朴素贝叶斯、随机森林等机器学习算法，以及集成学习和深度学习技术进行评估，并与现有的方法进行比较。实验证明，使用原始音频文件的 CNN 模型在 TESS+RAVDESS 数据集上取得了 95.86% 的准确率，从而成为了新的最先进方法。在说话人无关的音频分类问题中，该模型在 EMO-DB，RAVDESS，TESS 和 SAVEE 数据集上分别取得了 90.34%，90.42%，99.48% 和 85.76% 的准确率。

    Jul, 2023

  • 使用 SincNet 从原始波形中进行说话人识别

    本文介绍了一种新的卷积神经网络架构，称为 SincNet，它使用基于参数化的 sinc 函数实现带通滤波器，以从原始的语音样本中学习低级别的语音表征，以更好地捕捉重要的窄带说话人特征，实验表明，该网络架构比标准的 CNN 在原始波形上更快地收敛并且表现更好。

    Jul, 2018

  • 朝着端到端可解释的卷积神经网络发展音波信号

    用卷积神经网络构建高效且可解释的端到端音频深度学习模型，通过在三个标准语音情感识别数据集上的实验验证，我们的框架在效率和可解释性方面表现优越，对抗 Mel 频谱特征有高达 7% 的改进；还揭示了前端层在处理复杂的长波形模式方面的高效性和可解释性，通过 PhysioNet 心音数据库的实例进行了论证，为处理原始波形数据构建了可移植的有效模型解决方案。

    May, 2024

  • WaveNet：原始音频的生成模型

    该研究介绍了 WaveNet，一种用于生成原始音频波形的深度神经网络，该模型是完全概率的和自回归的，应用于文本到语音，产生了最先进的性能，用于模拟音乐，生成新颖且高度逼真的音乐片段，并可作为一种判别模型返回有希望的语素识别结果。

    Sep, 2016

  • 基于注意力机制的 Wav2Text 及特征迁移学习

    这篇论文介绍了使用基于注意力机制的编码器 - 解码器模型及特征迁移学习来建立一个自动语音识别的端对端模型，通过处理原始语音信号并不需要设计预定义的对齐和手动建立的模型来直接与文本转录进行交互

    Sep, 2017

  • 基于 Wave-U-Net 的语音增强改进

    研究了 Wave-U-Net 结构在语音增强中的应用，发现其在时域直接建模可以考虑大的时间上下文信息的特点下，可以在 Voice Bank corpus（VCTK）数据集上的语音增强任务中提高 PESQ、CSIG、CBAK、COVL 和 SSNR 多个指标，相比于其原始的音乐中唱声分离系统而言，基于少量隐藏层的结构更适合语音增强，该结果为进一步探索语音增强在时域中的应用提供了鼓舞人心的信号，并可以作为语音识别系统的预处理步骤。

    Nov, 2018

  • 深度说话者特征学习用于文本非依赖型说话者验证

    本文研究使用卷积时延深度神经网络结构（CT-DNN）来学习说话人特征，实验结果表明 CT-DNN 可以产生高质量的说话人特征，即使使用单一特征（包括上下文的 0.3 秒），错误拒识率亦可低至 7.68%。

    May, 2017