通过在训练期间无需访问单一源声音数据而对多源音频混合进行有条件的声音分离是一个长期存在的挑战。本文提出了一个能够改进现有无监督框架以在目标模态（即音频）中使用条件模态（即语言）中的易于分离的相应信号分离单源信号的通用双模分离框架。我们的实验证明，如果我们可以访问两个模态之间（即 CLAP）的预训练联合嵌入模型，这是可以实现的。另外，我们还在两个基本场景中将我们的框架纳入进行了改进，通过减小训练样本和测试样本之间的分布差异，我们的方法显著提高了纯无监督基准的性能，并且在信噪比（SDR）方面可以实现 71％的提升，达到了有监督学习性能的 97.5％。我们还展示了通过我们提出的弱监督框架扩充有监督学习本身，可以进一步提高性能，使其成为强大的半监督音频分离框架。

Apr, 2024

本研究提出了新的损失函数和快速的近似算法，解决了 MixIT 方法过度分离以及计算复杂度限制输出源数量的问题，实验证明所提出的算法可以在更多的输出源数量下带来更好的性能。

Jun, 2021

该研究提出一种音乐源分离方法，能够处理多个同时发声的乐器。该方法探讨了在主要源分离网络的不同级别应用条件技术，利用了存在或不存在于混音中的乐器和相应的视频流数据等两个额外的数据模态，以提升分离质量。

Apr, 2020

本文提出了一种贝叶斯源分离方法，使用生成模型作为混合信号源分离组件的先验，噪声淬火 Langevin 动力学从后验生成分离的信号源，该方法在 MNIST 分离质量和 CIFAR-10 分离质量上实现了最先进的性能，并在 LSUN 上提供了定性结果。

Feb, 2020

本文研究了语音分离问题，通过将分离模型和扩散模型的输出线性相结合，并利用学习到的权重来实现在多说话人的同时达到前所未有的语音分离效果，从而推翻了先前成立的基于人类语音确定性模型的上界限制。

Jan, 2023

本研究提出一种基于弱标注数据训练的源分离框架，利用 AudioSet 训练的音频事件检测系统，实现了对 527 种声音类别的分离，采用了 U-Net 结构，平均信噪比为 5.67dB。

Feb, 2020

通过将生成先验训练于各个单独的源上，利用梯度下降优化方法同时在这些源特定的潜在空间中搜索，以有效地恢复各个成分来源，并且通过在飞行中优化使用频谱失真函数而非直接定义波形 GAN 生成先验可以获得良好质量的源估计，我们针对语音数字和乐器数据集的实证研究表明，与传统的与最先进的无监督基线相比，我们的方法的有效性。

May, 2020

本文介绍了一种新的音乐源分离算法，使用对抗训练让分离器的输出更加真实，并取得了对于歌声分离的较好效果。

Oct, 2017

该论文将多源扩散模型推广到任意时域扩散模型，基于文本嵌入来训练这些模型，实现了有机的音乐生成和声音分离，且在松散数据设置下展示出竞争力的生成和分离结果。

Mar, 2024

本文提出了一种无监督的基于模型的深度学习方法，用于音频源分离，该方法通过参数化源过滤器模型对每个源进行建模，并使用神经网络以基本频率估计源模型的参数来重构观察到的混合音频信号，实验证明该方法具有较高的数据效率和好的分离效果。

Jan, 2022