Oct, 2023

第一届坎迪纳信号处理挑战赛：改进听力受损人士的音乐

PDF
TL;DRCadenza 项目旨在通过一系列信号处理挑战来改善听力受损人群的音乐音质。该项目考虑了两种常见听音情景：戴耳机听音乐和在汽车中使用助听器。在这些情景下，通过将音乐分解为人声、低音、鼓和其他组成部分并进行智能重混，来个性化地提高听力受损人群的音质。另外，通过考虑音乐、听众的听力能力、助听器和汽车的速度，提升从汽车扬声器中传出的音乐以克服汽车噪音的遮盖效应。提交的音频质量将通过 Hearing Aid Audio Quality Index (HAAQI) 进行客观评估，同时由一组听力受损人员进行主观评价。
cadenza projectaudio qualityhearing losssignal processing challengesdemixing-remixing problem
发现论文，激发创造
  • Cadenza ICASSP 2024 大挑战

    Cadenza 项目旨在提高失聪人士的音乐音质，通过音频分离和重组来个性化改善音质，其中包括例如声乐、低音、鼓声等元素，并通过耳聋程度和音频本身进行评估。

    Oct, 2023

  • 使用经过微调的源分离器的音乐混音听力设备

    本文介绍了我们参与 Cadenza ICASSP 2024 Grand Challenge 的系统提交，该挑战涉及为助听器用户重新混音和提升音乐的问题。我们的系统在挑战中排名第一，在评估数据集上实现了最佳平均助听器音频质量指数（HAAQI）得分。我们描述了使用深度学习音乐源分离器的合奏系统，并通过消融研究分析了不同系统方面的重要性。

    Jan, 2024

  • 深层滤波器的音乐增强技术: ICASSP 2024 Cadenza Challenge 技术报告

    通过将深度滤波器从原始 DeepfilterNet 中解脱出来，并将它们融入我们基于 Spec-UNet 的网络中，进一步改进了混音管道。在比较 hdemucs 与我们模型的不同版本的性能时，我们展示了在 Signal-to-Distortion Ratio（SDR）和 Hearing Aid Audio Quality Index（HAAQI）度量中的逐步改进。

    Apr, 2024

  • 语义听觉：利用双耳听觉装置编程声音场景

    语义听觉技术使得可穿戴设备能够实时聚焦或忽略具体声音，同时保留空间线索，通过神经网络实现在干扰声和背景噪音中提取双耳目标声音，并设计一种训练方法使系统能够推广到实际环境中，实验结果表明我们的系统能够处理 20 种声音类别，并在智能手机上以 6.56 毫秒的运行时间提供双耳输出，对于未知的室内和室外场景都能提取目标音频并保留空间线索。

    Nov, 2023

  • L3DAS23 挑战赛：音频视觉扩展现实综述

    ICASSP 2023 举办的 L3DAS23 信号处理大赛旨在促进和支持机器学习在 3D 音频信号处理方面的合作研究，特别关注扩展现实应用中的 3D 语音增强和 3D 声音事件定位和检测。该论文介绍了竞赛提供的全新数据集和基线模型，以及参与者的结果。

    Feb, 2024

  • HAAQI-Net：适用于助听器的非侵入式神经音乐质量评估模型

    介绍了 HAAQI-Net，一种针对助听器用户定制的非侵入式深度学习模型，用于音乐质量评估。相比传统方法如 HAAQI（Hearing Aid Audio Quality Index），HAAQI-Net 利用注意力机制的双向长短时记忆（BLSTM）。它采用了来自音频转换器（BEATs）的预训练的双向编码器表示进行声学特征提取。通过与真实数据进行对比，HAAQI-Net 实现了 0.9257 的纵向一致相关系数（LCC），0.9394 的斯皮尔曼等级相关系数（SRCC）和 0.0080 的均方误差（MSE）。值得注意的是，这种高性能伴随着推理时间的大大缩短：从 62.52 秒（HAAQI）到 2.71 秒（HAAQI-Net），为助听器用户提供高效的音乐质量评估模型。

    Jan, 2024

  • 噪声标记实现听觉注意力解码的初步研究

    这项研究针对听觉注意解码（AAD）使用噪声标记刺激协议进行了初步尝试，通过对未调制音频和不同调制深度的调制音频进行解码比较，发现传统方法在 70 至 100％调制深度时表现更好，并且噪声编码解码器并没有进一步改善结果。这些基本洞见凸显出将噪声编码整合到语音中以增强多个同时讲话者的听觉讲话者检测的潜力。

    Mar, 2024

  • 一种用于语音增强的全卷积神经网络

    本文提出了使用全卷积神经网络来解决低信噪比下听力辅助设备中存在的背景噪音干扰人类语音理解的问题。通过有监督学习找到含噪语音的频谱和纯净语音频谱之间的映射，提出了冗余卷积编码解码（R-CED）网络，该网络大小为递归网络的 1/12，表现更好，能够应用于嵌入式系统：听力辅助设备。

    Sep, 2016

  • 实现逼真音乐生成的挑战：在规模上对原始音频进行建模

    本文探讨了采用自回归离散自编码器（ADAs）来模拟音乐块之间的长期依赖关系的方法，实现了在原始音频域中生成具有风格一致性的钢琴音乐。

    Jun, 2018

  • 利用时频一致性对音乐音频进行增强

    我们提出了一种基于 Conformer 架构的音乐增强系统，通过探索 Conformer 的注意机制并检验其性能，发现了用于音乐增强任务的最佳方法。实验结果表明，我们的模型在单音轨音乐增强方面取得了最先进的性能，并且我们的系统可以进行多音轨混音的音乐增强，这在以前的工作中尚未得到研究。

    Aug, 2023