Dec, 2017

基于频谱图的音频事件时序定位的目标检测

PDF
TL;DR本文提出了 “事件度” 的概念用于音频事件检测，并从视觉上类比为在频谱图中出现的物体检测问题，提出以在视觉中对象检测模型来解决单音或多音频事件检测问题并得出了与当前最先进水平相当的结果。
eventnessaudio event detectionspectrogramsvisual object detectionneural network
发现论文，激发创造
  • 基于事件无关网络的多声音事件定位和检测

    该论文提出了一种新颖的用于多声事件定位和检测的独立于事件的网络，其输入为 FOA 时域信号，包括声音事件的检测与方位角估计，使用卷积层和并行的分支进行预测，结果表明其相对于基线方法在任务 3 数据集上的表现有很大提升。

    Sep, 2020

  • 从原始波形中检测和定位多音移动声音事件的声音检测器 (SoundDet)

    本文介绍了 SoundDet 框架，该框架可用于多声移动声音事件检测和定位，通过神经网络，采用原始多通道波形，使用时间检测和空间定位两个并行的分支进行处理，最终在公共 DCASE 数据集上得到了很好的效果。

    Jun, 2021

  • 利用空间和谐特征在多通道音频中进行声音事件检测

    本文提出使用空间和谐特征结合 LSTM 循环神经网络进行自动声音事件检测任务，并将其与现有的单声道方法进行比较，结果表明使用多声道音频、空间和谐特征的自动声音事件检测方法能够提高检测性能。

    Jun, 2017

  • 利用空间特征和卷积循环神经网络进行声音事件检测

    本文提出使用从多通道音频中提取的低级空间特征进行声音事件检测，通过初始阶段从每个通道中单独学习这些多通道特征，扩展了卷积递归神经网络以处理更多类型的这些特征，并表明将特征呈现为体积的单独层，而不是将每个通道的特征串联成单个特征向量，可以更好地学习多通道音频中的声音事件。与单声道特征相比，在相同网络上使用所提出的空间特征，在公开可用的 TUT-SED 2016 数据集上的 F-score 提高了 6.1％，在 TUT-SED 2009 数据集上的 F-score 提高了 2.7％，该数据集是其 15 倍大。

    Jun, 2017

  • 基于机器学习的自动化传感器数据录制时间序列中频率事件检测算法

    该研究提出了一种新的事件检测方法，能够在时间序列数据中识别基于频率的事件，并通过对象检测模型将事件映射回时间序列数据以标记相应的时间间隔。该算法在未知数据集上评估时，在事件检测方面达到了 0.97 的准确率，提供了清晰的时间间隔边界，对于人工视觉检测来说这是一项具有挑战性的任务。将这种方法应用到车辆开发过程中，提高了事件检测的准确性和可靠性，对于快速测试分析非常重要。

    Oct, 2023

  • 弱监督可扩展音频内容分析

    本文介绍了一种利用异构弱标注数据进行音频事件检测的弱监督学习框架，同时提出了一种可扩展的多实例学习算法，并证明了其在音频事件检测中具有竞争力。

    Jun, 2016

  • 多声部声音事件定位和检测的序列匹配网络

    提出一种模块化和分层的方法，将声音事件检测和到达方向估计的学习分离开来，在利用神经网络匹配这两个输出序列的基础上，实现了对整个声事件定位和检测系统性能的提升。

    Feb, 2020

  • 使用弱标签数据进行音频事件检测

    本文提出使用弱标签数据学习声音事件检测器的框架，并给出两个基于支持向量机和神经网络解决多实例学习的方法，有助于提高数据处理效率和实现完整音频记录描述。

    May, 2016

  • 无约束视频中的视听事件定位

    本文介绍了一个新的无约束视频中的音频视觉事件定位问题，使用 AVE 数据集进行研究，提出了使用双模态残差网络结合音频引导视觉注意力机制处理音频视觉相关性的方案，并针对跨模态定位提出跨模态距离学习网络。实验结果表明，联合建模听觉和视觉模型优于独立建模，学习到的注意力可以捕捉声音对象的语义，音频视觉融合的时序对齐很重要，所提出的 DMRN 在融合音频视觉特征方面非常有效，两个模态之间的强相关性使跨模态定位成为可能。

    Mar, 2018

  • 装备声音事件检测与语言模型能力

    通过语言模型结合音频特征和文本特征，本研究提出了一种高效的声音事件检测方法，实现了精准的声音事件分类和时序定位。与传统方法相比，该模型更简洁全面，直接利用语言模型的语义能力生成时序和事件序列，获得了准确的声音事件检测结果。

    Aug, 2023