May, 2019

通用音频分离

HTML
PDF
TL;DR该研究使用深度学习模型进行了基于掩蔽的语音信号增强和分离任务的研究，并尝试将其应用到任意类型混音的分离任务中，即通用声音分离。在此过程中，作者比较了不同的分析合成基础和网络结构，其中长短时记忆网络和时延卷积堆栈是采用时间域增强网络（ConvTasNet）的架构，对于后者，作者还提出了一些新的改进方法来进一步提高分离性能。最后，作者的研究表明，短时傅立叶变换（STFT）在通用声音分离方面表现优异，而在语音/非语音分离方面，长窗口的STFT（25-50毫秒）效果明显好于短窗口（2.5毫秒），对于可学习的基础来说，短窗口（2.5毫秒）一直是最佳选择。作者的最佳 方法在语音/非语音分离和通用声音分离方面都取得了显著的信号失真比的提高。
发现论文，激发创造
  • 联合优化掩码和深度循环神经网络进行单声源分离

    该研究探索了使用掩蔽函数和深度递归神经网络进行单声道源分离任务（包括单声道语音分离，单声道歌唱声分离和语音去噪）的联合优化。与现有模型相比，我们的方法在评估数据集中的任务中表现良好，并实现了较大的音频性能提升。

    Feb, 2015

  • 基于深度学习的语音分离监督方法概述

    本文对近年来基于深度学习的监督式语音分离算法进行了全面的综述，包括语音增强、讲话人分离、去混响以及多麦克风技术，并重点讨论监督学习中独特的泛化问题。

    Aug, 2017

  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet)直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • Conv-TasNet: 超越理想的时间-频率幅度掩蔽技术，实现语音分离

    该论文介绍了一个名为Conv-TasNet的深度学习框架，可用于端到端的语音分离，通过一系列线性编码器和加权函数（掩码），Conv-TasNet可以显著地提高两个和三个扬声器混合声音的分离能力，并优于多种时间-频率掩码方法和经过主观和客观质量评估的最佳时间-频率幅度掩码，对于离线和实时语音分离应用都有较小的模型尺寸和更短的最小延迟。

    Sep, 2018

  • 基于Wave-U-Net的语音增强改进

    研究了 Wave-U-Net 结构在语音增强中的应用，发现其在时域直接建模可以考虑大的时间上下文信息的特点下，可以在 Voice Bank corpus（VCTK）数据集上的语音增强任务中提高 PESQ、CSIG、CBAK、COVL 和 SSNR 多个指标，相比于其原始的音乐中唱声分离系统而言，基于少量隐藏层的结构更适合语音增强，该结果为进一步探索语音增强在时域中的应用提供了鼓舞人心的信号，并可以作为语音识别系统的预处理步骤。

    Nov, 2018

  • 基于深度学习的音视频语音增强和分离概述

    本文系统综述了基于深度学习的音视频语音增强和分离技术，特别关注了声学和视觉特征、深度学习方法、融合技术以及训练目标和目标函数。同时，还回顾了基于深度学习的无声视频语音重建和语音信号分离的常见方法，并介绍了常用的音视频数据集和评估方法。

    Aug, 2020

  • 利用全局注意力和本地循环网络进行有效的低成本时域音频分离

    通过使用自我关注机制和在分维度上的特征序列处理，设计了一种低成本、高性能的全局关注局部循环 (GALR) 网络，并在三个数据集上实现了相对于 DPRNN 的显著绝对改进，同时相对 DPRNN 降低了运行时内存使用和计算操作次数。

    Jan, 2021

  • 利用超定训练混合物的无监督神经语音分离

    在混响条件下，提出了一种使用深度神经网络进行无监督语音分离的算法，通过多个麦克风同时收集到的语音混合信号计算线性滤波器，使得所有说话者的估计信号在所有麦克风中加起来等于混合信号。此算法需要使用超定训练混合物，并通过降低源内幅度分散的损失来解决频率置换问题。实验结果表明，该算法在混响条件下对两个说话者的分离效果较好。

    May, 2023

  • 无采样率依赖的通用音频分离

    该论文提出了一种能够处理未经训练的采样频率的通用音频分离（USS）方法，旨在分离任意类型的来源，可作为任何后续任务的预处理器的关键技术，并通过实验验证了该方法相对于基于信号重采样的方法在各种采样频率下的性能优越性。

    Sep, 2023

  • 自监督音频掩码自编码神经网络的普适音频分离

    本研究提出了将预训练的自监督模型（音频掩码自动编码器，A-MAE）整合到通用音频分离系统中以提高分离性能的方法，并在AudioSet数据集上进行了实验，结果表明本方法成功提高了最新的ResUNet-based USS模型的分离性能。

    Jul, 2024