Oct, 2017

Pyroomacoustics: 一个用于音频房间模拟和矩阵处理算法的 Python 包

PDF
TL;DRpyroomacoustics 是一个软件包，旨在快速开发和测试音频阵列处理算法。该软件包的内容可以分为三个主要组成部分：用于快速构建 2D 和 3D 房间内多个声源和麦克风的不同模拟场景的直观 Python 面向对象接口；用于一般多面房间的图像源模型的快速 C 实现，以有效地生成房间脉冲响应并模拟源和接收器之间的传播；最后，流行算法的参考实现，包括波束成型、方向发现和自适应滤波。三者共同组成一个软件包，可以显著减少实现开销，加速新算法上市的时间。
pyroomacousticsaudio array processing algorithmssimulation scenariosroom impulse responsesbeamforming
发现论文，激发创造
  • 通过 AI 选择的房间声学来增强音乐听觉体验

    本研究旨在利用人工智能确定最佳演出场所并利用房间声学来提高声音的知觉质量。通过使用卷积神经网络架构，确定与具体音乐类型和音符相对应的房间脉冲响应，从而为任何音频样本提供感知愉悦度自动评分功能。利用模拟的房间脉冲响应库，将声音转换为在特定房间内播放的效果。此外，还可以利用房间声学将低质量的声音转换为 “好” 的声音。

    Aug, 2022

  • SoundCam: 利用室内声学定位人类的数据集

    现有 RIR 数据集要么不系统地变化室内物体的位置，要么由模拟的 RIR 构成。我们提供了 SoundCam，这是迄今为止最大的野外房间独特 RIR 数据集，包括 5,000 个 10 通道真实世界房间冲激响应测量和 2,000 个 10 通道音乐录音，涵盖不同房间（实验室、客厅和会议室）内的人员在不同位置，这些测量可以用于有趣的任务，如检测和识别人员以及跟踪其位置。

    Nov, 2023

  • SoundSpaces 2.0: 一个视听学习仿真平台

    SoundSpaces 2.0 是一个用于 3D 环境的实时几何声音渲染平台，用于生成高度逼真的声学效果以支持多种音频和视觉研究任务，并可用于普及性研究。

    Jun, 2022

  • 随地聆听

    通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

    Jun, 2024

  • 三维重建房间的新颖视角声学合成

    探究结合盲音频录音和 3D 场景信息对新视角声学合成的益处。通过 2-4 个麦克风的音频录音和包含多个未知声源的场景的 3D 几何学和材料，估计场景中的任何声音。我们确定了新视角声学合成的主要挑战，即声源定位、分离和去混响。虽然简单地训练端到端网络不能产生高质量的结果，但我们证明了融入从 3D 重建房间导出的房间脉冲响应（RIRs）使得相同的网络能够统一解决这些任务。我们的方法优于针对各个任务设计的现有方法，证明其在利用 3D 视觉信息方面的有效性。在 Matterport3D-NVAS 数据集上的模拟研究中，我们的模型在源定位方面实现了接近完美的准确性，源分离和去混响方面的 PSNR 为 26.44 dB 和 SDR 为 14.23 dB，从而在新视角声学合成方面获得了 PSNR 为 25.55 dB 和 SDR 为 14.20 dB 的结果。项目网页提供了代码、预训练模型和视频结果。

    Oct, 2023

  • 真实声场：一个音频 - 视觉房间声学数据集与基准

    我们提出了一个名为 Real Acoustic Fields（RAF）的新数据集，其中包含了从多种模态捕获的真实声场数据。该数据集包括了与多视图图像配对的高质量密集捕获的房间脉冲响应数据，以及声音发射器和听者的精确 6DoF 姿态跟踪数据。我们利用该数据集评估了现有的新视角声学合成和脉冲响应生成方法，并提出了用于增强它们在真实世界数据上表现的设置。我们还通过实验调查了将视觉数据（图像和深度）与神经声学场模型相结合的影响。此外，我们展示了一种简单的模拟 - 真实方法的有效性，即使用模拟数据进行预训练，并用稀疏的真实数据进行微调，从而显著改善了少样本学习方法。RAF 是第一个提供了密集捕获房间声学数据的数据集，对于从事音频和音频 - 视觉神经声学场建模技术的研究人员来说，它是一个理想的资源。我们的项目页面提供演示和数据集：https:// 此处 URL

    Mar, 2024

  • pyannote.audio: 说话人分离的神经构建模块

    该论文介绍了 pyannote.audio，他是一个基于 Python 的开源工具包，使用了 PyTorch 机器学习框架，提供端到端可训练的神经网络组件，用于实现说话人分离。其中包括预训练模型，涵盖了广泛的领域，如语音活动检测、说话者更改检测、重叠语音检测和说话者嵌入等，并在大多数领域中达到了最先进的性能。

    Nov, 2019

  • 协作多智能体声学测量

    通过机器人之间的合作，有效移动并进行发射 / 接收扫频信号，以测量环境的声学特性并减小预测误差，我们提出了解决多智能体协同环境声学测量问题的首个问题定义和解决方案。

    Oct, 2023

  • 贝叶斯推断与神经估计声波传播

    本文提出了一种新颖的框架，将物理和机器学习方法相结合，用于分析声学信号。该框架包括三种方法：用贝叶斯推断法推断谱声学特性，将神经网络配备前向和反向物理损失的神经物理模型，以及用作基准的非线性最小二乘法。推断的传播系数导致室内冲激响应（RIR）量，可用于带有不确定性的重定位。这一框架的简单和高效在模拟数据上得到了实证验证。

    May, 2023

  • 逼真互动三维场景中基于深度神经运算器参数化源的声音传播

    在虚拟环境中进行声音传播模拟，使用深度运算网络逼近线性波动方程操作符，并实现快速预测具有移动来源的现实 3D 声学场景的声音传播，该方法标志着先前没有机器学习方法在现实领域内精确预测完整波场的革命。

    Aug, 2023