Apr, 2024

深层滤波器的音乐增强技术: ICASSP 2024 Cadenza Challenge 技术报告

PDF
TL;DR通过将深度滤波器从原始 DeepfilterNet 中解脱出来，并将它们融入我们基于 Spec-UNet 的网络中，进一步改进了混音管道。在比较 hdemucs 与我们模型的不同版本的性能时，我们展示了在 Signal-to-Distortion Ratio（SDR）和 Hearing Aid Audio Quality Index（HAAQI）度量中的逐步改进。
发现论文，激发创造
  • Cadenza ICASSP 2024 大挑战

    Cadenza 项目旨在提高失聪人士的音乐音质，通过音频分离和重组来个性化改善音质，其中包括例如声乐、低音、鼓声等元素，并通过耳聋程度和音频本身进行评估。

    Oct, 2023

  • 使用经过微调的源分离器的音乐混音听力设备

    本文介绍了我们参与 Cadenza ICASSP 2024 Grand Challenge 的系统提交，该挑战涉及为助听器用户重新混音和提升音乐的问题。我们的系统在挑战中排名第一，在评估数据集上实现了最佳平均助听器音频质量指数（HAAQI）得分。我们描述了使用深度学习音乐源分离器的合奏系统，并通过消融研究分析了不同系统方面的重要性。

    Jan, 2024

  • DeepFilterNet：感知驱动的实时语音增强

    本文介绍了使用 DeepFilterNet 进行实时语音增强的演示。通过利用言语生产和心理声学感知的领域知识，该模型能够匹配最先进的语音增强基准，并在单线程笔记本 CPU 上实现了实时化因子 0.19。该框架及预训练权重已在开源协议下发布。

    May, 2023

  • 基于深度复数 U-Net 的相位感知语音增强

    通过三种方式解决相位估计问题，提出了基于复数建模的 Deep Complex U-Net，极坐标复数掩蔽方法和新型的 wSDR 损失函数，在 Voice Bank 和 DEMAND 数据库上测试表明相对于之前的方法实现了最新的性能提升。

    Mar, 2019

  • 实时全频段语音增强的混合 DSP / 深度学习方法

    本研究提出了一种基于深度学习和数字信号处理混合的方法来实现噪声抑制，该方法使用了四层隐含层的深度神经网络来估计关键频带增益，并采用传统的基音滤波器抑制谐波之间的噪声，相比于传统的最小均方误差谱估计，该方法获得了显著更高的质量，在复杂度低到足以实现 48kHz 实时处理的低功耗处理器上。

    Sep, 2017

  • 2023 声音分离挑战 -- 音乐分离赛道技术报告

    本文介绍了我们在 2023 年声音分离比赛的音乐分离赛道中获奖的两种解决方案，分别使用了一种时间有效的源分离网络和一种用于噪音鲁棒源分离的损失掩蔽方法。

    Jun, 2023

  • Demucs: 深度源音频分离器及其在额外未标注数据中的应用

    本文使用深度学习等方法对音乐进行源分离研究，提出了一种卷积和循环的模型，同时提出了一种新的方法来利用无标签的音乐数据，这些方法比现有的方法表现更好。

    Sep, 2019

  • 实时低延迟音乐源分离使用混合的谱图 - TasNet

    通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。

    Feb, 2024

  • 第一届坎迪纳信号处理挑战赛：改进听力受损人士的音乐

    Cadenza 项目旨在通过一系列信号处理挑战来改善听力受损人群的音乐音质。该项目考虑了两种常见听音情景：戴耳机听音乐和在汽车中使用助听器。在这些情景下，通过将音乐分解为人声、低音、鼓和其他组成部分并进行智能重混，来个性化地提高听力受损人群的音质。另外，通过考虑音乐、听众的听力能力、助听器和汽车的速度，提升从汽车扬声器中传出的音乐以克服汽车噪音的遮盖效应。提交的音频质量将通过 Hearing Aid Audio Quality Index (HAAQI) 进行客观评估，同时由一组听力受损人员进行主观评价。

    Oct, 2023

  • 混合谱图与波形源分离

    本文介绍了在音频信号源分离中采用端到端混合模型的方法，该方法使模型决定哪个领域最适合每个源，并将两者结合起来。该方法在 Sony 举办的 2021 年音乐分离挑战中获胜。实验结果表明，该模型在 MusDB HQ 数据集上实现了 1.4dB 的 SDR 改进，并得到了人类主观评价的认可。

    Nov, 2021