ICLRJan, 2021

LEAF: 可学习的音频分类前端

PDF
TL;DR利用可学习前端代替 mel-filterbank，可普适于语音、音乐、声音事件和动物声音信号的分类，同时在多种分类任务和 Audioset 中表现出比 mel-filterbank 更好的性能，且参数更少。
mel-filterbanksaudiolearnable frontendaudio classificationneural network
发现论文，激发创造
  • 一种针对音频信号处理的内容自适应可学习时频表示

    本文提出了可学习的自适应内容前端用于音频信号处理，通过卷积神经网络学习基础函数和权重优化特定任务，同时提出了一种计算内容自适应可学习时频表示的方法，实现了学习有限冲激响应滤波器组，并根据输入信号的内容通过最优滤波器组传递输出信号。

    Mar, 2023

  • 从原始语音中学习滤波器组以进行语音识别

    通过对原始波形进行滤波及卷积神经网络训练，使得时域滤波器组近似于 Mel 滤波器组，并在 TIMIT 上的电话号码识别实验中，相较于使用 Mel 滤波器的模型，TD-filterbanks 在多个架构上均表现优异，这些滤波器在收敛时具有非对称脉冲响应，且一些滤波器几乎保持解析的情况。

    Nov, 2017

  • 高效音频分类的简单池化前端

    通过提出一系列简单的池化前端来消除输入音频特征中的时间冗余，从而提高音频分类任务的效率。实验证明，这些池化前端可将离线音频神经网络中浮点操作的数量减少超过一半，而音频分类性能仍然保持不变或略有提高。

    Oct, 2022

  • LEAN: 轻量高效的音频分类网络

    本文提出了一种轻量级的基于设备的深度学习模型 LENA，采用可训练的波形编码器、预训练的 YAMNet 和交叉注意力进行音频分类，结果表明在下游音频分类任务中，LENA 具有竞争性能，且适用于资源受限的设备。在 FSD50K 数据集上，LENA 的 mAP 为 0.445，内存占用仅为 4.5MB，比同一数据集的基准 on-device mAP 提高了 22％。

    May, 2023

  • 从原始波形进行端到端的语音识别

    本研究研究使用卷积架构的可训练替代 Mel 滤波器，对两种 end-to-end 系统进行修改并与 Mel 滤波器进行比较，结果表明可训练的过滤器相对于 Mel 滤波器在单词错误率方面表现更好。

    Jun, 2018

  • 用多分辨率神经网络拟合听觉滤波器组

    通过引入名为 MuReNN 的神经音频模型，我们旨在解决深度学习在波形处理中的非参数和参数方法之间的矛盾，MuReNN 通过训练离散小波变换 (DWT) 的八度子带上的独立卷积运算器来拓宽其感受野，将声音数据集的幅度响应与 Gammatone、CQT 和三分之一八度声音滤波器进行知识蒸馏，并在保留集上与现有的方法进行对比，结果表明 MuReNN 在所有三个优化问题上达到了最先进的性能。

    Jul, 2023

  • FAMLP: 一种面向领域泛化的频率感知 MLP-Like 架构

    提出了一种新颖的基于自适应傅里叶滤波器层和低秩增强模块的多层感知器结构，以提高 MLP 模型的领域适应性，实现了比其他方法更好的泛化性能。

    Mar, 2022

  • 前端适配器：适应基于语音的自主学习的前端输入以用于语音识别

    本文通过引入一个简单有效的前端适配器，可以使预先训练在波形上的自监督学习（SSL）模型与使用滤波器组频谱特征（Fbank）进行微调的语音识别任务兼容，实验结果表明我们提出的前端适配器对于几个流行的 SSL 模型都有效。

    Feb, 2023

  • LEAF：联邦学习基准

    该研究提出了一个模块化基准测试框架 LEAF，该框架包括一套开源联合数据集、一个严格的评估框架和一套参考实现，旨在解决联合学习、元学习和多任务学习等研究领域所面临的挑战并推动这些领域的发展。

    Dec, 2018

  • 针对 tinyML 平台的无乘法器内部滤波器计算

    通过使用基于模板的核机器，包括特征提取和推理，使用基本原语，如加法 / 减法，移位和比较器操作的模板，实现一种硬件友好的边缘设备，用于野生动物保护中的噪音监测和分类。硬件实现和测试表明，与与传统分类框架相比，基于 MP 近似的模板核机器更为高效。

    Apr, 2023