Jun, 2021

稀疏、高效、语义混合不变性训练：驯服野外无监督音频分离

PDF
TL;DR本研究提出了新的损失函数和快速的近似算法，解决了 MixIT 方法过度分离以及计算复杂度限制输出源数量的问题，实验证明所提出的算法可以在更多的输出源数量下带来更好的性能。
supervised neural networksound separationmixitover-separationsparsity losses
发现论文，激发创造
  • 使用混合不变训练的无指导语音分离

    该论文提出了一种无监督的单声道声音分离方法 MixIT，使用了单声道混音样本数据，在不需要声源真实数据的情况下，通过提取出隐变量进行声源分离和重构，从而实现了与有监督方法相当的性能，可用于半监督学习和无监督领域适应。

    Jun, 2020

  • 基于双模态语义相似性的弱监督音频分离

    通过在训练期间无需访问单一源声音数据而对多源音频混合进行有条件的声音分离是一个长期存在的挑战。本文提出了一个能够改进现有无监督框架以在目标模态（即音频）中使用条件模态（即语言）中的易于分离的相应信号分离单源信号的通用双模分离框架。我们的实验证明，如果我们可以访问两个模态之间（即 CLAP）的预训练联合嵌入模型，这是可以实现的。另外，我们还在两个基本场景中将我们的框架纳入进行了改进，通过减小训练样本和测试样本之间的分布差异，我们的方法显著提高了纯无监督基准的性能，并且在信噪比（SDR）方面可以实现 71％的提升，达到了有监督学习性能的 97.5％。我们还展示了通过我们提出的弱监督框架扩充有监督学习本身，可以进一步提高性能，使其成为强大的半监督音频分离框架。

    Apr, 2024

  • 使用生成先验进行无监督音频源分离

    通过将生成先验训练于各个单独的源上，利用梯度下降优化方法同时在这些源特定的潜在空间中搜索，以有效地恢复各个成分来源，并且通过在飞行中优化使用频谱失真函数而非直接定义波形 GAN 生成先验可以获得良好质量的源估计，我们针对语音数字和乐器数据集的实证研究表明，与传统的与最先进的无监督基线相比，我们的方法的有效性。

    May, 2020

  • 训练学习的潜在目标，进行两步声源分离

    本文提出了一种基于深度神经网络的源分离的两阶段训练方案，第一步学习将信号转换为使掩蔽分离性能最优的潜在空间，第二步训练在学习空间中操作的分离模块，并使用了一个可缩放失真比的 SI-SDR 损失函数来证明优化效果。通过各种声音分离实验，该方法可以比联合学习变换和分离模块的系统获得更好的表现。

    Oct, 2019

  • 应用于歌声分离的对抗半监督音频源分离技术

    本文介绍了一种新的音乐源分离算法，使用对抗训练让分离器的输出更加真实，并取得了对于歌声分离的较好效果。

    Oct, 2017

  • 在弱监督下学习分离声音中的强项

    本文提出了使用弱标签来训练源分离系统的目标函数和网络架构，使用声音事件分类器评估分离器的性能，并在城市环境中使用合成混合事件数据库对算法的性能进行了基准测试。

    Nov, 2019

  • 可微分参数源模型的无监督音乐源分离

    本文提出了一种无监督的基于模型的深度学习方法，用于音频源分离，该方法通过参数化源过滤器模型对每个源进行建模，并使用神经网络以基本频率估计源模型的参数来重构观察到的混合音频信号，实验证明该方法具有较高的数据效率和好的分离效果。

    Jan, 2022

  • Un-Mix: 重新思考无监督视觉表示学习中的图像混合

    该论文提出了一种基于标签空间的无监督学习方法 (Un-Mix)，通过混合输入数据进行联合工作，从而学习到更加精细、鲁棒且广义的表示。实验证明，在 CIFAR-10、CIFAR-100、STL-10、Tiny ImageNet 和 ImageNet 等数据集上，该方法均可以在保持基本方法的超参数和训练程序不变的条件下，显著提高模型的泛化性能。

    Mar, 2020

  • 多通道盲源分离的深度聚类模型无监督训练

    提出了一种通过无监督的空间聚类算法训练深度聚类系统，从而在没有并行清洁数据时从头训练基于神经网络的源分离算法的方案。

    Apr, 2019

  • 基于查询学习和弱标注数据的零样本音频源分离

    本研究提出了一种基于 Transformer 的声音事件检测系统，采用三组件流水线的整体解决方案来训练一个统一的音频源分离器，该方法使用仅仅少量的弱标记训练数据即可实现多类型音频的分离，并能在零样本情况下学习将音频源进行分离。

    Dec, 2021