Apr, 2023

基于 XAI 的音频事件分类输入表示比较

PDF
TL;DR本文研究音频事件分类中的不同输入表示所采用的相关特征。 作者使用 eXplainable AI （XAI）来比较两种模型体系结构的分类策略，并通过 Siren 的层级相关传播来获取相关热图，以揭示不同表示依赖的决策策略，从而为选择最佳的输入表示提供决策支持，并确认模型的分类策略与人的要求相符。
deep neural networksaudio event classificationexplainable ai (xai)time-frequency spectrogram representationsiren
发现论文，激发创造
  • 基于深度学习的音频事件识别中时间域和频率域的对比

    本文研究了深度神经网络对频域和时域音频信号进行特征学习的效果，并利用卷积和池化进一步提高了音频事件识别的性能，实现了最先进的结果。

    Mar, 2016

  • 解释和说明用于音频信号分类的深度神经网络

    本文旨在探究如何使用 layer-wise relevance propagation 技术在音频领域内进行深度神经网络的解释性分析，并使用一个英语语音数字数据集对于语音数字和演讲者性别进行分类任务，通过对 LRP 得到的相关性分数进行假设和输入数据的系统操作，确认了在音频数据处理过程中的深度神经网络对相关特征的高度依赖性。

    Jul, 2018

  • 大规模音频分类的 CNN 结构

    本文介绍了使用几种不同的卷积神经网络对音频进行分类，发现在大型数据集上运用图像分类中的卷积神经网络架构对于音频分类也十分有效，使用嵌入分类器的模型对音频事件检测的任务表现优于对原始特征的直接使用。

    Sep, 2016

  • AENet: 学习视频分析的深度音频特征

    提出了一种新的深度网络用于音频事件识别，名为 AENet，该网络采用卷积神经网络以在时间维度上对音频事件进行长时间频率结构的建模来训练端到端的音频事件检测系统，在事件识别、动作识别和视频亮点检测等视听任务中，结合 AENet 特征和视觉特征效果显著。

    Jan, 2017

  • 可视化贝叶斯神经网络所学表示的多样性

    本文研究了可解释人工智能（XAI）方法在探索和可视化贝叶斯神经网络（BNNs）学习到的各种特征表示方面的应用，通过特征可视化及对比度学习的距离度量，提供 BNNs 决策策略的可见性、可量化性和全面性，结果显示 Monte Carlo dropout 表现出比 MultiSWAG 更大的表示特征多样性，这与最近的深度神经网络理论一致。

    Jan, 2022

  • 多样化神经音频嵌入：引领特征回来！

    通过领域特定的多样化特征表示，本文学习音频嵌入，比如音高、音色和神经表示等多种属性，并通过端到端架构学习，观察到虽然单独的手工制作嵌入无法超越完全的端到端表示，但将它们与端到端嵌入合并，显著提高性能。这项工作为将领域专业知识与端到端模型结合，学习出鲁棒且多样化的表示方式铺平了道路，超越了仅仅训练端到端模型的性能。

    Sep, 2023

  • 基于样本级 CNN 结构的原始波形音频分类

    本文研究了音频领域中可扩展的分类模型，并使用两种不同的基于样本级的深度卷积神经网络模型实现。通过对各种声音类别的测试表明，这些模型达到了最先进的性能水平，并可视化了滤波器在网络中的变化。

    Dec, 2017

  • 音频信号处理的深度学习

    该研究文章综述了当前音频信号处理领域中基于深度学习的技术，着重介绍了其在语音、音乐、环境声音处理中的相同点和差异，强调了其潜在的交叉互补性。文章介绍了主要的特征表示和深度学习模型，以及其在音频识别和合成分离领域的应用，并最终确定了深度学习在音频信号处理中的关键问题和未来研究方向。

    Apr, 2019

  • 手工音频特征深度学习激活的案例研究

    通过计算基于传统音频特征和卷积神经网络学到的表示之间的相似性，以及测量激活映射和音频特征之间的相似性，本研究旨在探索使用人工设计音频特征的方法来提高卷积神经网络的可解释性，以实现从用户生成的音乐录音中识别乐器的目标。

    Jul, 2019

  • 心电图分析深度学习解释：审计和知识发现的基础模块

    本研究提出了深度学习及可解释 AI 方法结合，从局部和全局两个角度对心电图数据进行分析，提高了模型的透明度，同时发现了心肌梗塞亚型等心脏疾病的关键特征，为内部审核和疾病研究提供了有力工具。

    May, 2023