May, 2024

深度学习减噪中数据采样率的影响

PDF
TL;DR通过研究分析训练数据中的采样率对移动设备处理限制中的轻量级高效深度神经网络 (DNNs) 的影响，研究发现采用 48kHz 的高采样率训练模型在降噪效果和音频质量上显著优于低采样率，同时也发现了与较高采样率相关的处理时间延长的折衷方案。未来研究将进一步优化模型的效率以及在移动设备上进行测试。
active noise cancellationdeep neural networkssampling rateconvtasnet networkaudio quality
发现论文，激发创造
  • 面向实时深度噪声抑制的高效模型

    本文研究深度学习模型在语音增强方面的应用，并探讨了网络复杂度与可达到的语音质量之间的关系，考虑了网络在回声环境下的训练。研究表明，网络的复杂度是影响语音质量的一个重要因素。

    Jan, 2021

  • 神经网络语音分离模型训练中的数据采样策略

    本文研究了在语音分离模型中应用不同的训练信号长度的影响，发现特定分布情况下应用特定的训练信号长度会提高模型性能，同时使用动态混合和最佳信号长度训练的模型被证明具有最佳性能。

    Apr, 2023

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 神经网络实现的音频超分辨率

    该研究介绍了一种新的音频处理技术，利用深度卷积神经网络提高音频的采样率，通过类似于图像超分辨率的过程，在测试过程中预测低分辨率信号中缺失的样本。该方法在实验中无需专门的音频处理技术，能够表现出更好的表现，显示出其在电话、压缩和文本转语音生成中的实用性

    Aug, 2017

  • 使用原始波形的样本级深度卷积神经网络进行音乐自动标记

    本文提出了一种基于样本级别深度卷积神经网络的方法，用于从音乐信号中学习表示，并取得了与先前最先进性能可比的结果，而可视化学到的滤波器说明它们对倍频谱很敏感。

    Mar, 2017

  • 实时低延迟音乐源分离使用混合的谱图 - TasNet

    通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。

    Feb, 2024

  • 基于移动网络的虚拟会议语音增强

    使用深度学习技术对虚拟会议中移动设备传输的带噪语音进行增强，以提高手机网络通信质量。

    Feb, 2023

  • 高效神经音频合成

    本文针对顺序模型中高效采样的问题，提出了一种基于 WaveRNN 和权重修剪和子缩放 WaveRNN 的通用技术，可以在保持高输出质量的同时提高采样速度。

    Feb, 2018

  • 面向鲁棒语音识别的语音增强和噪音感知网络

    提出了一个基于噪声感知的训练框架，将增强语音引入到声学模型的多条件训练中，通过两个级联的神经结构来优化增强语音和语音识别，并取得了较好的实验结果。

    Mar, 2022

  • 基于极低复杂度深度学习的噪声抑制

    一种创新的方法用于在资源受限设备上实时语音增强的深度神经网络计算复杂度的减少，该方法利用两阶段处理框架，采用通道特征重定向来降低卷积运算的计算负荷，并结合改进的功率定律压缩技术以实现与最先进方法相当的噪声抑制性能，但具有显著较少的计算要求。值得注意的是，我们的算法的计算复杂度和内存使用比之前最先进的方法要少 3 到 4 倍。

    Dec, 2023