MMDec, 2020

多音源二维定位学习

PDF
TL;DR本文提出了基于深度学习的多声源定位算法，使用多个麦克风阵列找到封闭环境中多个声源的二维笛卡尔坐标，通过编码 - 解码结构和两个改进措施实现任务，并提出了两种新的定位表示方法，学习了新指标以实现分辨率基础上的多源关联和对比不同方法的评估。作者对合成和真实数据进行了测试，结果表明本方法改进了这一问题的基线方法。
deep learningsound source localizationmicrophone arrayslocalization representationsmultiple source association
发现论文，激发创造
  • 从粗定位到精确定位的多声源定位

    我们开发了一个基于视听学习框架的两阶段音频可视定位方法来解决在自然生动的视频中需要定位多个声音源的问题，该方法能够有效地将声音与特定的视觉来源进行对齐。

    Jul, 2020

  • 深度神经网络用于多说话者检测和定位

    本文提出了一种使用神经网络在人机交互中同时检测和定位多个声源的方法，并采用基于概率的编码以实现对任意数量声源的检测；此外，文章探讨了基于子带交叉相关信息的特征及三种不同基于不同动机的网络架构，实验表明该方法优于传统的空间谱法。

    Nov, 2017

  • 基于深度学习的端到端声学定位：从音频信号到源位置坐标

    本文提出了一种新颖的室内声源定位方法，使用麦克风阵列并基于卷积神经网络（CNN）进行，该方法采用原始音频信号作为输入信息直接估计声源的三维位置，避免了手工制作音频特征。通过使用半合成数据作为训练策略并在实际数据上进行微调，该方法能够显著改善基于 ${SRP-PHAT}$ 策略的现有定位方法，并且展现出更好的对抗不同说话者性别和不同窗口大小的性能。

    Jul, 2018

  • 利用深度学习的阶段麦克风阵列进行声源定位

    本研究采用了卷积神经网络作为一种高效且具有高精度的算法，通过对交叉谱矩阵的直接分析寻找声源分布，从而在高频下以很短的时间内实现与传统波束成形相同精度的声源定位。

    Feb, 2018

  • 虚拟环境中的声源定位的音频模拟

    挑战性且相关的问题是在信号受限环境中实现非直视定位。本研究利用物理基础声波传播模拟和机器学习方法，在虚拟环境中定位声源到具体位置，以克服数据不足的问题，特别是在事后定位中。通过音频变换器谱图方法，我们达到了 0.786 ± 0.0136 的 F1 得分。

    Apr, 2024

  • 通过概率空间建模的自监督神经音频视觉声源定位

    该论文介绍了一种利用 360 度图像和多通道音频信号的自监督训练方法来训练深度神经网络以区分多个声源对象的系统，旨在解决自主机器人理解周围环境的问题。

    Jul, 2020

  • 混合声音源的本地化

    我们提出了一种同时定位视觉场景中多个声源的方法，使用 Jabri 等人的对比随机漫步所启发的模型，并结合了视听相似性度量，能够较好地解决声音混合的分离与声音和视觉信号的联合问题，实验结果表明该模型在定位多个声源方面优于其他自监督方法。

    Nov, 2022

  • 使用 WASN 在室外环境中进行声音事件定位和分类

    提出了一种基于深度学习的方法，利用多个特征和注意机制来估计声源的位置和类别，在声音事件定位和分类任务中展示了超过最先进方法的优越性。

    Mar, 2024

  • 基于两阶段神经网络的声场分解

    提出了一种基于神经网络的声场分解方法，包括声场分离阶段和单源定位阶段，通过将多个源合成的麦克风上的声压分离为每个声源对应的激发声压，在单源定位阶段中，通过对单一声源的麦克风上的声压进行回归来获取源位置，由于第二阶段是回归而不是分类，因此估计的位置不受离散化的影响。使用 Green's 函数进行模拟生成数据集，每个频率都训练神经网络。数值实验表明，与传统方法相比，所提出的方法可以实现更高的源定位精度和更高的声场重建精度。

    Sep, 2023

  • 无先验源信息混合音频中学习视觉定位声源

    本文提出了一种新颖的多声源定位方法，可以在不需要声源数量先验知识的情况下实现准确的声源定位。该方法利用迭代对象识别模块识别声音制造物体，并通过对象相似性感知聚类损失指导迭代对象识别模块有效地合并相同物体的区域，同时区分不同的物体和背景。通过在 MUSIC 和 VGGSound 数据集上进行广泛实验，对比现有方法，我们的方法在单声源和多声源的定位任务上均取得显著的性能提升。

    Mar, 2024