基于查询学习和弱标注数据的零样本音频源分离

AAAIDec, 2021

基于查询学习和弱标注数据的零样本音频源分离

Zero-shot Audio Source Separation through Query-based Learning from Weakly-labeled Data

Ke Chen, Xingjian Du, Bilei Zhu, Zejun Ma, Taylor Berg-Kirkpatrick...

TL;DR本研究提出了一种基于 Transformer 的声音事件检测系统，采用三组件流水线的整体解决方案来训练一个统一的音频源分离器，该方法使用仅仅少量的弱标记训练数据即可实现多类型音频的分离，并能在零样本情况下学习将音频源进行分离。

Abstract

deep learning techniques for separating audio into different sound sources face several challenges. Standard architectures require training separate models for different types of audio sources. Although some universal separators employ a single model to target multiple sources, they ha

deep learning audio source separation transformer-based sound event detection system weakly-labeled data zero-shot generalization

发现论文，激发创造

基于音频查询的音乐源分离

这篇论文提出了一种基于音频查询的音乐源分离方法，可以通过查询信号明确地编码源信息，以及在无查询条件下生成通过潜空间插值连续输出的分离掩模。

Aug, 2019

弱标注数据源分离：一种计算听觉场景分析方法

本研究提出一种基于弱标注数据训练的源分离框架，利用 AudioSet 训练的音频事件检测系统，实现了对 527 种声音类别的分离，采用了 U-Net 结构，平均信噪比为 5.67dB。

Feb, 2020

在弱监督下学习分离声音中的强项

本文提出了使用弱标签来训练源分离系统的目标函数和网络架构，使用声音事件分类器评估分离器的性能，并在城市环境中使用合成混合事件数据库对算法的性能进行了基准测试。

Nov, 2019

使用声音分类改进通用声音分离

本文研究基于深度学习、语义嵌入和分类网络应用于通用声源分离，并成功建立了新的最先进的模型，从而提高了声源分离的性能。

Nov, 2019

可微分参数源模型的无监督音乐源分离

本文提出了一种无监督的基于模型的深度学习方法，用于音频源分离，该方法通过参数化源过滤器模型对每个源进行建模，并使用神经网络以基本频率估计源模型的参数来重构观察到的混合音频信号，实验证明该方法具有较高的数据效率和好的分离效果。

Jan, 2022

零样本音乐源分离、转录和合成的统一模型

通过一个三合一的统一模型来对音频进行分离、转录和综合，采用一种 pitch-timbre 分离模块来更好地计算音源之间的关系，从而实现零样本学习。

Aug, 2021

通过观察未标记的视频学习分离物体声音

通过使用深度多实例多标签学习框架来解耦音频频率按照每个视觉对象映射到个人视觉对象，即使没有独立观察 / 听到这些对象，从而学习从未标记的视频中的音频可分离对象模型，然后利用视觉背景在新视频中执行音频源分离。

Apr, 2018

训练学习的潜在目标，进行两步声源分离

本文提出了一种基于深度神经网络的源分离的两阶段训练方案，第一步学习将信号转换为使掩蔽分离性能最优的潜在空间，第二步训练在学习空间中操作的分离模块，并使用了一个可缩放失真比的 SI-SDR 损失函数来证明优化效果。通过各种声音分离实验，该方法可以比联合学习变换和分离模块的系统获得更好的表现。

Oct, 2019

应用于歌声分离的对抗半监督音频源分离技术

本文介绍了一种新的音乐源分离算法，使用对抗训练让分离器的输出更加真实，并取得了对于歌声分离的较好效果。

Oct, 2017

视觉对象声音的分离

本文提出了一种共分离训练范式，可以从未标记的多源视频中学习对象级别的声音，通过新颖的训练目标，训练出深度神经网络的分离音频对于外观相似的对象具有一致性可识别的特性，从而在音频源分离和降噪方面获得了最先进的结果。

Apr, 2019