Jun, 2023

DeepVQE: 实时深度语音质量增强，用于联合声学回声消除、噪音抑制和除混响

PDF
TL;DR本文提出了一个名为 DeepVQE 的基于深度学习模型的实时交叉关注方法来同时解决声学回声消除，噪声抑制和混响消除等多种语音处理问题，并在 2023 年 ICASSP 的测试集上取得了最佳性能表现。
acoustic echo cancellationnoise suppressiondereverberationdeep learning modelreal-time
发现论文，激发创造
  • 具有自适应语音质量意识的复杂神经网络在有监督对比学习下的声学回声消除

    本文提出一个基于复杂神经网络的自适应语音质量模型，其中采用了特征提取、声学分离和掩码优化等不同阶段的复杂模块化神经网络，采用对比学习框架和新颖的语音质量感知损失函数来进一步提高性能，该模型在 72 小时的预训练和 72 小时的微调中训练，表现优于最先进的性能。

    Oct, 2022

  • 多模态深度卷积神经网络实现音视频语音增强

    提出了一种音视频深度卷积神经网络（AVDCNN）语音增强模型，该模型在音频处理方面结合了视觉信息，并采用多任务学习框架进行重建音频和视觉信号。实验表明，该模型在语音增强方面表现显著优异，证明了整合视觉信息的有效性，并且优于现有的音频 - 视觉增强模型。

    Sep, 2017

  • 音频视觉端到端多通道语音分离、去混响和识别

    通过全面将视频信息融入系统的所有组件，我们提出了一种音频 - 视觉多通道语音分离、去混响和识别方法，有效地解决了包含重叠发言者、噪声和混响的鸡尾酒会言语的准确识别问题。

    Jul, 2023

  • 面向实时深度噪声抑制的高效模型

    本文研究深度学习模型在语音增强方面的应用，并探讨了网络复杂度与可达到的语音质量之间的关系，考虑了网络在回声环境下的训练。研究表明，网络的复杂度是影响语音质量的一个重要因素。

    Jan, 2021

  • CheapNET: 通过投影损失函数改进轻量级语音增强网络

    噪声抑制和回声消除对于语音增强至关重要，是智能设备和实时通信的基础，而这些算法必须保证高效实时推断和低计算需求。我们提出了一种新的投影损失函数，用于增强噪声抑制效果，并且能够直接在 LAEC 预处理输出上进行回声消除的预测，从而显著提高模型性能。我们的噪声抑制模型仅使用 3.1M 个参数和 0.4GFlops/s 计算负载，实现了接近最先进的结果。此外，我们的回声消除模型胜过了复制的行业领先模型，引入了语音增强的新视角。

    Nov, 2023

  • 神经声码器的多目标情感语音转换

    本文介绍了一种利用深度双向长短期记忆网络和神经合成器来进行语音的情感转换，同时使用包含丰富语言信息的音素后验概率作为辅助输入特征，提高了转换效果的多目标情感转换架构 Multi-target EVC (MTEVC)，并将条件 WaveNet 和基于流的 WaveNet (FloWaveNet) 神经合成器作为其核心部件，训练了这些神经合成器，并将语音库中的说话者信息以及情感信息定义为附加特征。实验结果的客观度量和主观评估验证了提出的 MTEVC 架构在情感语音转换方面的有效性。

    Apr, 2020

  • 深度音视频语音增强对话

    本文提出了一种深度视听语音增强网络方法，借助于对应视频中的嘴唇信息，能够在多人同时说话的情境下，从语音信号中分离出个人的发言，该方法适用于训练时未涉及到的说话者，并在不受限制的环境下，展现了出色的定量和定性效果。

    Apr, 2018

  • 使用深度卷积神经网络和数据增强进行声学事件检测

    本研究提出了一种新的声音事件检测方法，使用卷积神经网络结合大的输入层来提取长时频结构特征，同时采用数据增强方法防止过拟合，实验表明该方法在声音事件检测上表现优异，超过了现有方法，取得了 16% 的绝对提升。

    Apr, 2016

  • 基于移动网络的虚拟会议语音增强

    使用深度学习技术对虚拟会议中移动设备传输的带噪语音进行增强，以提高手机网络通信质量。

    Feb, 2023

  • 基于可变形时间卷积神经网络的单声道嘈杂混响语音分离

    本研究提出了一种新的方法，使用可变形卷积解决了语音分离领域中存在固定跨度的问题，通过应用此方法，研究人员获得了优秀的性能。

    Oct, 2022