Jan, 2024

HAAQI-Net：适用于助听器的非侵入式神经音乐质量评估模型

PDF
TL;DR介绍了 HAAQI-Net，一种针对助听器用户定制的非侵入式深度学习模型，用于音乐质量评估。相比传统方法如 HAAQI（Hearing Aid Audio Quality Index），HAAQI-Net 利用注意力机制的双向长短时记忆（BLSTM）。它采用了来自音频转换器（BEATs）的预训练的双向编码器表示进行声学特征提取。通过与真实数据进行对比，HAAQI-Net 实现了 0.9257 的纵向一致相关系数（LCC），0.9394 的斯皮尔曼等级相关系数（SRCC）和 0.0080 的均方误差（MSE）。值得注意的是，这种高性能伴随着推理时间的大大缩短：从 62.52 秒（HAAQI）到 2.71 秒（HAAQI-Net），为助听器用户提供高效的音乐质量评估模型。
发现论文，激发创造
  • Quality-Net：一种基于 BLSTM 的端到端非侵入式语音质量评估模型

    本研究提出了一种基于双向长短时记忆的全新端到端的非侵入式语音质量评估模型 Quality-Net，该模型可在没有干净参考语音的情况下对语音质量进行评估，实验结果表明 Quality-Net 可以产生与 PESQ 高相关性（噪声语音为 0.9，经过语音增强处理的语音为 0.84），有潜力在语音信号处理的广泛应用中使用。

    Aug, 2018

  • 使用经过微调的源分离器的音乐混音听力设备

    本文介绍了我们参与 Cadenza ICASSP 2024 Grand Challenge 的系统提交，该挑战涉及为助听器用户重新混音和提升音乐的问题。我们的系统在挑战中排名第一，在评估数据集上实现了最佳平均助听器音频质量指数（HAAQI）得分。我们描述了使用深度学习音乐源分离器的合奏系统，并通过消融研究分析了不同系统方面的重要性。

    Jan, 2024

  • 基于中间 ASR 特征和人类记忆模型的面向听障用户的非侵入式语音可懂度预测

    利用神经网络和先前训练的自监督和弱监督模型的中间层特征表示，结合人类记忆的示例驱动型心理模型，预测助听器用户的人类可懂度评级，并在不同任务和训练数据中的普通听众中找到相较于基础系统 28.7 的均方根误差 25.3 的显着性能提升。

    Jan, 2024

  • 利用 Whisper 增强 Hearing Aids 的多分支语音可懂度预测模型

    自动评估助听器设备中的语音可懂性非常重要。本文在以往研究基础上，提出了两种改进的模型 MBI-Net + 和 MBI-Net++，通过利用 Whisper 嵌入来增强声学特征，从而进一步提高 MBI-Net 模型的性能。实验结果表明，MBI-Net++ 和 MBI-Net + 在多项指标上均较 MBI-Net 具有更好的预测性能，而 MBI-Net++ 优于 MBI-Net+。

    Sep, 2023

  • 多任务伪标签学习用于非侵入式语音质量评估模型

    该研究介绍了多任务伪标签（MPL）学习在非侵入性语音质量评估模型中的应用，通过两个阶段获得伪标签分数和进行多任务学习，实验证明了 MPL 相较于从零开始训练模型和使用知识传递机制的优势，并验证了 Huber 损失函数在提高 MTQ-Net 预测模型的能力方面的益处，最终 MTQ-Net 采用 MPL 方法展示了较其他基于 SSL 的语音评估模型更高的整体预测能力。

    Aug, 2023

  • 高保真神经音频压缩

    利用神经网络技术，提出了一种先进的实时高保真音频编解码器，其采用流式编解码器结构和量化的潜在空间，并引入了一种新型损失平衡机制和轻量级 Transformer 模型用于压缩。在语音、噪声回声语音和音乐等多个音频领域测试中，该方法在所有评估指标下均优于基线方法。

    Oct, 2022

  • 一种用于表面肌电信号的非侵入性神经质量评估模型

    该研究提出了 QASE-net，这是一种新的非侵入式模型，用于预测 sEMG 信号的信噪比，实验结果显示 QASE-net 具有明显降低的预测误差和与真实结果更高的线性相关性，具备提高 sEMG 质量评估可靠性和精度的潜力。

    Feb, 2024

  • TinyLSTMs: 用于助听器的高效神经语音增强

    通过使用模型压缩技术，我们成功地压缩了大规模循环神经网络，以满足计算资源受限的助听器上的使用需求。结果表明，在保持高质量音频输出的前提下，压缩模型的尺寸和操作数量分别减小了 11.9 倍和 2.9 倍，计算延迟为 2.39 毫秒。

    May, 2020

  • 利用机器学习和三维神经影像预测听力损失：降维和回归技术的比较分析

    通过机器学习方法，本研究探索了预测大脑灰质三维图像中听力损失阈值的方法。我们采用了两个阶段的解决方案，第一阶段使用 3D CNN 模型将高维输入转换为潜空间，并将其解码为原始图像以表示富特征空间的输入。在第二阶段，我们利用该模型将输入转换为富特征，并使用这些特征来训练标准机器学习模型以预测听阈。我们在第一阶段尝试了自编码器和变分自编码器进行维度降低，并探索了随机森林、XGBoost 和多层感知机用于回归阈值。我们将给定数据集分为训练集和测试集，在测试集上分别得到了 PT500 和 PT4000 的 8.80 范围和 22.57 范围。我们的方法利用 VAEs 的独特能力来捕捉高维神经影像数据中的复杂非线性关系。我们使用各种指标对模型进行了严格评估，重点关注均方根误差（RMSE）。结果突显了多层神经网络模型的功效，它在准确性方面优于其他技术。本项目推动了数据挖掘在医学诊断中的应用，并通过创新的机器学习框架增进了我们对与年龄相关的听力损失的理解。

    Apr, 2024

  • 实时低延迟音乐源分离使用混合的谱图 - TasNet

    通过借鉴 Hybrid Demucs 架构，本文提出了混合谱图时域音频分离网络（HS-TasNet），结合了频谱和波形域的优势，为实时低延迟的音乐应用展现了高效分离的潜力。

    Feb, 2024