Feb, 2024

实时低延迟音乐源分离使用混合的谱图 - TasNet

PDF
TL;DR通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。
发现论文，激发创造
  • TasNet: 用于实时单声道语音分离的时域音频分离网络

    本文针对多说话人环境下的鲁棒语音处理，提出了使用时域音频分离网络 (TasNet) 直接对信号进行建模，通过编码器输出估计源掩码、并经过解码器进行合成的方法，该方法适用于实时应用，并能在低功耗情况下完成语音分离任务，是当前最先进的语音分离算法之一。

    Nov, 2017

  • 混合谱图与波形源分离

    本文介绍了在音频信号源分离中采用端到端混合模型的方法，该方法使模型决定哪个领域最适合每个源，并将两者结合起来。该方法在 Sony 举办的 2021 年音乐分离挑战中获胜。实验结果表明，该模型在 MusDB HQ 数据集上实现了 1.4dB 的 SDR 改进，并得到了人类主观评价的认可。

    Nov, 2021

  • 实时双耳语音分离并保留空间提示

    本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

    Feb, 2020

  • 波形域音乐源分离

    本文比较了两种不同的音乐源分离模型：Conv-Tasnet 和 Demucs。实验结果表明，Demucs 模型通过采用恰当的数据增广技术，在音乐分离任务上优于 Conv-Tasnet 模型，同时其语音自然度表现也更佳。

    Nov, 2019

  • 时域音视频语音分离

    本文介绍了一种新的时间域音视图架构，用于从单声道混合物中提取目标说话人，实验结果表明，相比于仅有声音的 TasNet 和频域音 - 视网络，我们的方法在两个和三个说话人的情况下分别可以提供 3dB + 和 4dB + 的信噪比改进。

    Apr, 2019

  • 用于音频源分离的多尺度多频带 DenseNets

    采用 DenseNet 架构的音频源分离方法在 SiSEC 2016 竞赛中表现优异，具有更好的信号失真比和更少的参数、更短的训练时间。

    Jun, 2017

  • 利用 MMDenseNet 改进实时音乐伴奏分离

    本文通过改进轻量级模型 MMDenstNet，探讨了多个方向的改进方法，包括复杂的理想比率掩蔽、自注意力、带合并和分割的方法以及特征回溯，旨在在实时应用中在分离质量和延迟之间取得平衡。实验结果表明，我们的改进在保持可接受的分离质量的同时实现了低实时因子和最佳延迟。

    Jun, 2024

  • MaD TwinNet：双网络的掩蔽去噪结构，用于单声道声源分离

    本研究基于 MaD 框架增强了 Twin Networks 以学习音乐片段的长期时间模式和结构，将其应用于单声道歌声分离，相比于先前最优结果，信噪比 (SDR) 和信干比 (SIR) 分别提高了 0.37dB 和 0.23dB。

    Feb, 2018

  • WildMix 数据集和时频变换器模型用于单声道音频源分离

    本文提出了一种名为 Spectro-Temporal Transformer 的新型模型来解决混合音频源的分离问题，并介绍了一个挑战性的新数据集 WildMix，该数据集包含来自 25 个不同音频类别的现场录音，使用不同的组合策略混合，该模型在该数据集上超过了各种基线模型。

    Nov, 2019

  • 歌声的频谱绘制：U-Net 辅助的人声分割

    该研究通过使用短时傅里叶变换（STFT）和 UNet 神经网络，实现了从音乐频谱图中准确分离人声元素，取得了令人瞩目的音频源分离结果。

    May, 2024