Dec, 2018

基于四元数卷积神经网络的3D声音事件检测和定位

HTML
PDF
TL;DR本文研究如何使用四元数数据处理技术来定位和检测空间声音场中的声音事件，尤其是使用第一阶Ambisonic 麦克风捕获的信号的球面谐波分量，并通过使用四元数卷积神经网络进行处理。实验结果表明，所提出的方法利用了Ambisonic信号的相关性，从而提高了3D声音事件的检测和定位准确性。
发现论文，激发创造
  • 利用空间特征和卷积循环神经网络进行声音事件检测

    本文提出使用从多通道音频中提取的低级空间特征进行声音事件检测，通过初始阶段从每个通道中单独学习这些多通道特征，扩展了卷积递归神经网络以处理更多类型的这些特征，并表明将特征呈现为体积的单独层，而不是将每个通道的特征串联成单个特征向量，可以更好地学习多通道音频中的声音事件。与单声道特征相比，在相同网络上使用所提出的空间特征，在公开可用的TUT-SED 2016数据集上的F-score提高了6.1％，在TUT-SED 2009数据集上的F-score提高了2.7％，该数据集是其15倍大。

    Jun, 2017

  • 使用卷积神经网络在多径环境中进行声源定位

    本文提出使用卷积神经网络 (CNNs) 在浅水复途径环境下，对宽带声辐射噪声源（如机动船只）的源定位，通过使用 cepstrogram 和广义交叉相关图作为输入， 显示出更可靠的效果，同时证明了在海上实验中，相比传统的被动测距方法，其定位性能得到了改进。

    Oct, 2017

  • 深度四元数网络

    本文介绍了如何使用四元数构建深度网络，通过在CIFAR-10和CIFAR-100数据集上进行端到端训练以及在KITTI Road Segmentation数据集上进行端到端训练，我们证明了四元数网络比实数网络和复数网络具有更好的收敛性能，在分割任务中表现尤为突出。

    Dec, 2017

  • 使用3D卷积神经网络进行多通道声音事件检测，学习通道间特征

    本文提出采用卷积和循环神经网络 (CRNN)，其中第一层采用3D卷积神经网络 (CNN) 用于多声道声音事件检测 (SED) 任务。实验结果表明，使用多声道 Ambisonic 音频与单声道音频相比，在准确率、错误率以及检测到重叠声音事件的时间段方面都有明显提高。

    Jan, 2018

  • 四元数卷积神经网络用于端到端自动语音识别

    该研究论文介绍了一种新的方法，使用四元数代替传统的时间帧维度元素作为输入特征来训练基于QCNN和CTC模型进行序列到序列映射的语音识别系统，实验结果表明，相较于基于传统卷积神经网络的竞争模型，该方法具有更高的准确率且参数更少。

    Jun, 2018

  • 四元数卷积神经网络

    通过使用四元数矩阵表示，我们提出了一个四元数卷积神经网络（QCNN）模型来在彩色图像分类和去噪任务中得到更具代表性的特征，并测试结果表明该模型优于具有相同结构的实值卷积神经网络。

    Mar, 2019

  • 通过概率空间建模的自监督神经音频视觉声源定位

    该论文介绍了一种利用360度图像和多通道音频信号的自监督训练方法来训练深度神经网络以区分多个声源对象的系统，旨在解决自主机器人理解周围环境的问题。

    Jul, 2020

  • 从原始波形中检测和定位多音移动声音事件的声音检测器(SoundDet)

    本文介绍了SoundDet框架，该框架可用于多声移动声音事件检测和定位，通过神经网络，采用原始多通道波形，使用时间检测和空间定位两个并行的分支进行处理，最终在公共DCASE数据集上得到了很好的效果。

    Jun, 2021

  • 四元数卷积神经网络：当前进展与未来方向

    本文介绍了关于四元数卷积神经网络(QCNNs)的发展、目前的趋势和在设计QCNN模型中使用的主要模块，并提出了未来的研究方向。

    Jul, 2023

  • 四元数分量在卷积神经网络中影响的统计分析

    本研究解决了四元数卷积神经网络（QCNNs）中不同组件选择对模型性能的影响不明确的问题。通过对实验数据的统计分析，提出了一种新颖的完全四元数ReLU激活函数，利用四元数代数的独特性质来提升模型性能。研究的发现对优化QCNNs的应用具有重要意义。

    Aug, 2024