从原始波形进行端到端的语音识别

Jun, 2018

从原始波形进行端到端的语音识别

End-to-End Speech Recognition From the Raw Waveform

Neil Zeghidour, Nicolas Usunier, Gabriel Synnaeve, Ronan Collobert, Emmanuel Dupoux

TL;DR本研究研究使用卷积架构的可训练替代 Mel 滤波器，对两种 end-to-end 系统进行修改并与 Mel 滤波器进行比较，结果表明可训练的过滤器相对于 Mel 滤波器在单词错误率方面表现更好。

Abstract

State-of-the-art speech recognition systems rely on fixed, hand-crafted features such as mel-filterbanks to preprocess the waveform before the training pipeline. In this paper, we study end-to-end systems trained

speech recognition end-to-end system convolutional architecture mel-filterbanks word error rate

发现论文，激发创造

从原始语音中学习滤波器组以进行语音识别

通过对原始波形进行滤波及卷积神经网络训练，使得时域滤波器组近似于 Mel 滤波器组，并在 TIMIT 上的电话号码识别实验中，相较于使用 Mel 滤波器的模型，TD-filterbanks 在多个架构上均表现优异，这些滤波器在收敛时具有非对称脉冲响应，且一些滤波器几乎保持解析的情况。

Nov, 2017

全卷积语音识别

本文提出了一种基于卷积神经网络的语音识别方法，相对于传统的基于循环神经网络的模型使用更少的特征提取步骤，并在多项测试中取得了当下最佳的表现。

Dec, 2018

直接从波形中学习多尺度特征

本文详细介绍了一种使用卷积滤波器的方法，可以通过减少步幅增加时间分辨率，通过增加滤波器增加频率分辨率以提高语音识别精度。我们同时在多个尺度上学习，从而发现更高效的表示方法，并且相对于基于光谱图的同样参数网络训练，内部语音测试集上的词语错误率下降了 20.7％。

Mar, 2016

朝着端到端可解释的卷积神经网络发展音波信号

用卷积神经网络构建高效且可解释的端到端音频深度学习模型，通过在三个标准语音情感识别数据集上的实验验证，我们的框架在效率和可解释性方面表现优越，对抗 Mel 频谱特征有高达 7% 的改进；还揭示了前端层在处理复杂的长波形模式方面的高效性和可解释性，通过 PhysioNet 心音数据库的实例进行了论证，为处理原始波形数据构建了可移植的有效模型解决方案。

May, 2024

端到端学习语音识别的低层生理学意义

通过对 SincNet 的研究，我们证实了端到端系统确实能够学习到已知的滤波器结构，但是我们还展示了更宽带的滤波器对已学习的结构也很重要，标准的机器学习架构需要被改进以允许这个过程被神经仿真。

Aug, 2022

多通道端到端语音识别

本研究论文扩展了端到端的框架，以包含麦克风阵列信号处理以进行噪声抑制和语音增强，并能够共同优化束形成和识别架构。实验结果表明，我们的多通道端到端系统在去噪和语音增强任务上表现更好。

Mar, 2017

端到端对抗文本转语音

该研究提出了一种基于端到端的方式来从文本或音素中生成语音的方法，使用逐字符或逐音素音频输出序列，通过可微分的对齐策略来保证高保真度音频的生成，实现了在不需要多阶段训练和额外监督下，比之前的技术达到了相似的高质量合成音效。

Jun, 2020

基于注意力机制的 Wav2Text 及特征迁移学习

这篇论文介绍了使用基于注意力机制的编码器 - 解码器模型及特征迁移学习来建立一个自动语音识别的端对端模型，通过处理原始语音信号并不需要设计预定义的对齐和手动建立的模型来直接与文本转录进行交互

Sep, 2017

RawNet: 使用原始波形的高级端到端深度神经网络进行文本独立说话人验证

本文提出了一种端到端的系统，该系统包含两个深度神经网络，其一个用于提取语音级别的说话者嵌入，另一个用于后端分类，通过具有预训练方案的模型架构调整可以提取说话者嵌入，并使用附加目标函数简化提取过程，此系统在 VoxCeleb1 数据集上实现了同等于具有数据增强的最先进的 x 向量系统的表现。

Apr, 2019

Wav2Letter: 一种基于端到端的卷积神经网络语音识别系统

本论文提出一种简单的端对端语音识别模型，用卷积神经网络基于声学模型和图解码相结合，通过输出字母实现语音转录，无需强制调整音素位置。我们引入了一种自动分割标准以进行序列注释的训练，不需要对齐即可达到与 CTC 相当的效果。我们证明了在使用 MFCC 特征的 Librispeech 数据集上具有竞争力的单词错误率，并在原始波形上得到有希望的结果。

Sep, 2016