该论文提出了一种利用深度自编码器进行无监督音频源分离的新框架，在适当配置的自编码器的帮助下，通过对编码器向量进行聚类，自动分离混合输入中未知源信号的特征。通过调查权重向量并对激活系数在代码层进行聚类，观察了频域中音频信号的原始组件。通过使用属于不同聚类的代码向量，分离并重构原始源声音。虽然回复的音频不是完美的，但在许多实际应用中可能会产生有希望的结果。

Dec, 2014

该研究使用深度学习模型进行了基于掩蔽的语音信号增强和分离任务的研究，并尝试将其应用到任意类型混音的分离任务中，即通用声音分离。在此过程中，作者比较了不同的分析合成基础和网络结构，其中长短时记忆网络和时延卷积堆栈是采用时间域增强网络（ConvTasNet）的架构，对于后者，作者还提出了一些新的改进方法来进一步提高分离性能。最后，作者的研究表明，短时傅立叶变换（STFT）在通用声音分离方面表现优异，而在语音/非语音分离方面，长窗口的STFT（25-50毫秒）效果明显好于短窗口（2.5毫秒），对于可学习的基础来说，短窗口（2.5毫秒）一直是最佳选择。作者的最佳 方法在语音/非语音分离和通用声音分离方面都取得了显著的信号失真比的提高。

May, 2019

本文研究基于深度学习、语义嵌入和分类网络应用于通用声源分离，并成功建立了新的最先进的模型，从而提高了声源分离的性能。

Nov, 2019

本研究提出了一种基于Transformer的声音事件检测系统，采用三组件流水线的整体解决方案来训练一个统一的音频源分离器，该方法使用仅仅少量的弱标记训练数据即可实现多类型音频的分离，并能在零样本情况下学习将音频源进行分离。

Dec, 2021

本文提出了一种针对自我监督语音及音频分类中 Self-Supervised Audio Spectrogram Transformer (SSAST) 模型的简单、且功能强大的改进方法。具体而言，我们将来自原模型中使用的高掩模比率（75%）的问题进行改进，并将 Masked Autoencoders are Scalable Vision Learners（MAE）的编码器 - 解码器结构集成到 SSAST 中。我们发现 MAE 预训练可以相较于当前的音频预训练策略，在常规模型和输入尺寸下提供 3 倍的加速和 2 倍的内存使用率降低。在下游任务的微调中，我们发现我们的方法比 SSAST 在各种下游任务中表现更优。我们进一步对预训练的不同策略进行了全面的评估，并探讨了视觉和音频领域之间 MAE 风格预训练的不同之处。

Mar, 2022

本文研究了基于图像的Masked Autoencoder（MAE）的简单扩展，用于从音频频谱图进行自监督表示学习，并提出了Audio-MAE模型，该模型利用Transformer编码器-解码器设计，使用高掩蔽率编码音频频谱图，通过仅馈送非遮蔽记号通过编码器层，解码器则重新组织和解码编码器产生的上下文，以重构输入谱图。在六个音频和语音分类任务中，Audio-MAE都表现出最先进的性能，超过了使用外部监督预训练的其他最新模型.

Jul, 2022

本研究提出了一种基于自监督学习和HuBERT speech representation模型的音乐源分离框架，结合Demucs V2和Res-U-Net解码器，使用自由音乐库（FMA）数据集进行预训练，实现了比原始Demucs V2和Res-U-Net模型更好的源-失真比（SDR）表现，并可以在少量监督数据的情况下提升性能。

Apr, 2023

本研究探讨了使用神经音频编解码器EnCodec生成发音、音乐和环境声音的离散目标，以学习基于遮蔽自动编码器的通用音频模型EncodecMAE，并在广泛的音频任务中取得了与领先的音频表示模型相媲美或更好的性能。

Sep, 2023

该论文提出了一种能够处理未经训练的采样频率的通用音频分离（USS）方法，旨在分离任意类型的来源，可作为任何后续任务的预处理器的关键技术，并通过实验验证了该方法相对于基于信号重采样的方法在各种采样频率下的性能优越性。

Sep, 2023

提出了一种有效的ID调节策略uaMix-MAE，通过对预训练的MAEs进行对比调节，以实现对特定任务的语义有效适应，并且通过操纵输入和虚拟标签空间中的音频样本来优化模型，实验结果表明在低/少样本设置中，所提出的模型在有限的无标签数据下相比不同的基准模型（如AudioSet-20K）取得了4-6%的准确率提升。

Mar, 2024