Aug, 2018

利用多头卷积神经网络实现快速谱图反演

PDF
TL;DR本研究提出了一种使用多头卷积神经网络（MCNN）架构从频谱生成波形的方法，而不需要迭代算法，能显著提高计算效率。对 MCNN 进行了大规模数据集的训练，并且损失函数的定义关注于声学感知质量。证明了 MCNN 是一种非常有前途的高质量语音合成方法。
multi-head convolutional neural networkwaveform synthesisspectrogramsspeech recognitionperceptual audio quality
发现论文，激发创造
  • 朝着端到端可解释的卷积神经网络发展音波信号

    用卷积神经网络构建高效且可解释的端到端音频深度学习模型，通过在三个标准语音情感识别数据集上的实验验证，我们的框架在效率和可解释性方面表现优越，对抗 Mel 频谱特征有高达 7% 的改进；还揭示了前端层在处理复杂的长波形模式方面的高效性和可解释性，通过 PhysioNet 心音数据库的实例进行了论证，为处理原始波形数据构建了可移植的有效模型解决方案。

    May, 2024

  • 快速局部谱滤波的图卷积神经网络

    该研究将卷积神经网络推广到高维不规则图像中，通过谱图理论提出了一种卷积滤波器设计方法，在保持线性和常数学习复杂度的同时，实现了对任意图结构的卷积作用，成功在图像识别领域实现了局部、平稳、组合特征的学习。

    Jun, 2016

  • 图上的谱网络和局部连接网络

    本文探讨了如何将卷积神经网络推广到更广泛的定义域上。作者提出了两种构造方法，分别基于分层聚类和图拉普拉斯谱。结果表明，在低维图形上，可以实现独立于输入尺寸的卷积层学习，从而实现高效的深度网络结构。

    Dec, 2013

  • FastSpeech: 快速、健壮、可控的文本到语音

    本研究提出了一种基于 Transformer 模型、并行生成梅尔频谱的快速语音合成模型 FastSpeech，它在语音质量、稳定性、可控性和速度方面均具备相应优点。

    May, 2019

  • 使用全卷积网络进行语音去混响

    本文利用全卷积网络 (FCN) 来处理语音信号的混响问题，提出了用 U-Net 和 GAN 算法来处理时频短时傅里叶变换 (STFT) 表示的语音信号。通过与其他算法的比较，结果表明本文提出的方法在大多数情况下表现更好。

    Mar, 2018

  • 使用 SincNet 从原始波形中进行说话人识别

    本文介绍了一种新的卷积神经网络架构，称为 SincNet，它使用基于参数化的 sinc 函数实现带通滤波器，以从原始的语音样本中学习低级别的语音表征，以更好地捕捉重要的窄带说话人特征，实验表明，该网络架构比标准的 CNN 在原始波形上更快地收敛并且表现更好。

    Jul, 2018

  • UnivNet: 带多分辨率频谱鉴别器的神经声码器，用于高保真波形生成

    该研究提出了一种名为 UnivNet 的神经声码器，利用全频带谱特征作为输入，通过添加多分辨率谱图鉴别器来解决非锐利音频信号生成的问题，并在大量演讲者信息数据集上取得最佳客观和主观结果。

    Jun, 2021

  • ConvConcatNet: 从 EEG 中重建 Mel 频谱的深度卷积神经网络

    利用神经网络和深度卷积神经网络方法，本研究提出了一种重建脑电图中语音信号的新方法 ConvConcatNet，其中利用深度卷积神经网络和广泛的拼接操作相结合。在我们的 ConvConcatNet 模型中，重建的梅尔频谱图与目标梅尔频谱图之间的皮尔逊相关系数可达到 0.0420，在听觉脑电挑战的任务 2 中排名第一。

    Jan, 2024

  • 动态卷积神经网络作为高效的预训练音频模型

    在大规模音频数据集中，通过 Transformer 取代 CNN 作为神经网络体系结构的最先进模型，本文通过 Transformer 与 CNN 的知识蒸馏，提出了一种高效的 CNN 模型，通过引入动态非线性、动态卷积和注意机制构建了动态 CNN 块，实验证明这种动态 CNN 模型在音频标签任务中的性能复杂度权衡和参数效率方面超越了传统的高效 CNN 模型，并且在下游任务中表现出更好的性能，达到了 Transformer 的性能甚至在 AudioSet 和多个下游任务上超越了 Transformer。

    Oct, 2023

  • 图波神经网络

    我们提出了一种图波形神经网络（GWNN），通过使用图小波变换来解决以往依赖于图傅里叶变换的图谱卷积神经网络（CNN）方法的缺点，这些方法需要进行高计算成本的矩阵特征分解。与图傅里叶变换不同的是，图小波变换可以通过快速算法获得，无需矩阵特征分解。此外，图小波在顶点域中稀疏且局部化，可以提供高效性和良好的图卷积可解释性。经过实验，GWNN 在三个基准数据集上均明显优于以往的图谱 CNNs，在图半监督分类任务上具有更好的性能。

    Apr, 2019