Sep, 2019

使用全卷积网络对原始波形进行映射进行多通道语音增强

PDF
TL;DR本文提出了一种基于 Sinc 和 dilated 卷积层的全卷积网络（称为 SDFCN）及其扩展版本的残差 SDFCN（称为 rSDFCN），用于时间域下的多通道语音增强（multichannel SE）任务，实验结果表明所提出的语音增强系统在双通道内耳麦和分布式麦克风静音任务中具有优异的性能。
waveform-mapping-based speech enhancementdeep learningmultichannel sesinc and dilated convolutional layersresidual architecture
发现论文，激发创造
  • 语音增强中高效编码器 - 解码器和双通道 Conformer 的综合特征学习

    该论文提出了一种基于改进密集连接块、双路径模块、卷积增强变形器、通道注意力和空间注意力的时间频域语音增强网络（DPCFCS-Net）, 在 VCTK+DEMAND 数据集上表现优于现有技术，其改进的密集连接块和二维注意力模块易于集成到现有网络中，具有更高的适应性。

    Jun, 2023

  • 使用 SincNet 从原始波形中进行说话人识别

    本文介绍了一种新的卷积神经网络架构，称为 SincNet，它使用基于参数化的 sinc 函数实现带通滤波器，以从原始的语音样本中学习低级别的语音表征，以更好地捕捉重要的窄带说话人特征，实验表明，该网络架构比标准的 CNN 在原始波形上更快地收敛并且表现更好。

    Jul, 2018

  • 多模态深度卷积神经网络实现音视频语音增强

    提出了一种音视频深度卷积神经网络（AVDCNN）语音增强模型，该模型在音频处理方面结合了视觉信息，并采用多任务学习框架进行重建音频和视觉信号。实验表明，该模型在语音增强方面表现显著优异，证明了整合视觉信息的有效性，并且优于现有的音频 - 视觉增强模型。

    Sep, 2017

  • 端到端多通道语音分离

    本文提出了一种基于端到端的多通道语音分离模型，通过可学习空间特征的提出，在 WSJ0 远场语音分离任务中显著改进了单通道和传统多通道方法的性能。

    May, 2019

  • 全卷积神经网络进行端到端的语音波形增强，以优化直接评估指标

    本研究提出一种基于完全卷积神经网络 (FCN) 的语音增强框架，通过对话语的优化来实现时域相关性信息的全面考虑，以降低模型优化和评价指标之间的差距。该框架进一步将 STOI 度量引入模型优化中，因此人类主体和自动语音识别系统对增强的语音的可懂度得到显著提高，而这一指标优于传统的 MMSE 优化方案。

    Sep, 2017

  • 全卷积网络中的并发空间和通道压缩与激励

    本文提出使用 Squeeze & Excitation 模块，分别从空间和通道两个角度分为三个变体，提高卷积神经网络的特征表示能力，在脑部和器官分割上取得了良好的效果。

    Mar, 2018

  • 直接从波形中学习多尺度特征

    本文详细介绍了一种使用卷积滤波器的方法，可以通过减少步幅增加时间分辨率，通过增加滤波器增加频率分辨率以提高语音识别精度。我们同时在多个尺度上学习，从而发现更高效的表示方法，并且相对于基于光谱图的同样参数网络训练，内部语音测试集上的词语错误率下降了 20.7％。

    Mar, 2016

  • 针对对抗音频分类的通道特征自适应重新校准

    本文研究了 DeepFake Audio 从检测角度进行了研究，并提出了使用注意力特征融合的通道重新校准方法进行合成语音检测。同时，我们也通过使用 SE 块和 LFCC/MFCC 的结合，改进了 Resnet 模型，并提出了更好的输入特征嵌入方式，使得即使较为简单的模型在合成语音分类任务上也能够很好地推广。经过针对 Fake or Real 数据集的训练，我们的模型在 FoR 数据上能够获得 95％的测试准确度，并在使用不同的生成模型生成样本后适应该框架后，达到了 90％的平均准确度。

    Oct, 2022

  • 全卷积语音识别

    本文提出了一种基于卷积神经网络的语音识别方法，相对于传统的基于循环神经网络的模型使用更少的特征提取步骤，并在多项测试中取得了当下最佳的表现。

    Dec, 2018

  • 波形域中的实时语音增强

    本研究提出了一种基于编码器 - 解码器结构、包含跳跃连接、优化时间和频域的多损失函数的实时语音增强模型，可直接处理原始波形并消除各种背景噪音及实现房间回声，进行了多项标准测试，且通过数据扩增进一步完善模型性能及泛化能力，达到了最先进的性能。

    Jun, 2020