Aug, 2022

通过 AI 选择的房间声学来增强音乐听觉体验

PDF
TL;DR本研究旨在利用人工智能确定最佳演出场所并利用房间声学来提高声音的知觉质量。通过使用卷积神经网络架构，确定与具体音乐类型和音符相对应的房间脉冲响应，从而为任何音频样本提供感知愉悦度自动评分功能。利用模拟的房间脉冲响应库，将声音转换为在特定房间内播放的效果。此外，还可以利用房间声学将低质量的声音转换为 “好” 的声音。
room acousticsaimusical functionsconvolutional architectureperceptual qualities
发现论文，激发创造
  • Image2Reverb: 跨模态混响脉冲响应合成

    通过使用神经网络从单幅图像生成音响脉冲响应，可以模拟图片所示的空间中的混响特性，为测量空间的声学特征提供了一个更加便捷的方法。

    Mar, 2021

  • 协作多智能体声学测量

    通过机器人之间的合作，有效移动并进行发射 / 接收扫频信号，以测量环境的声学特性并减小预测误差，我们提出了解决多智能体协同环境声学测量问题的首个问题定义和解决方案。

    Oct, 2023

  • RevRIR: 利用对比学习进行联合混响语音和室内冲激响应嵌入，应用于房间形状分类

    该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

    Jun, 2024

  • 随地聆听

    通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

    Jun, 2024

  • SoundCam: 利用室内声学定位人类的数据集

    现有 RIR 数据集要么不系统地变化室内物体的位置，要么由模拟的 RIR 构成。我们提供了 SoundCam，这是迄今为止最大的野外房间独特 RIR 数据集，包括 5,000 个 10 通道真实世界房间冲激响应测量和 2,000 个 10 通道音乐录音，涵盖不同房间（实验室、客厅和会议室）内的人员在不同位置，这些测量可以用于有趣的任务，如检测和识别人员以及跟踪其位置。

    Nov, 2023

  • 物理信息神经网络的隐式神经表示方法用于重建房间脉冲响应的早期部分

    本文提出使用基于物理的神经网络重建声场早期部分，实现了准确的重建且维持轻量架构。

    Jun, 2023

  • 鲁棒且不可察觉的音频对抗例子的综合算法

    音频对抗样本指对自动语音识别系统进行欺骗的音频文件，既能愚弄自动语音识别系统又能在人类听众中听起来正常。本文介绍了一种集成算法，在生成步骤中使用了心理声学模型和房间脉冲响应。我们通过三个实验比较不同方法的效果，包括在模拟环境和真实无线环境中评估鲁棒性，以及在人类研究中评估可感知性。我们的算法在考虑心理声学效果或结合鲁棒性时，信噪比和人类感知研究都有所改善，但错误率有所增加。

    Oct, 2023

  • 通过脉冲响应增强实现设备鲁棒的声景分类

    通过使用预先录制的设备脉冲响应（DIR）对训练集中的音频信号进行卷积来人为增加录音设备的多样性，以解决大多数音频分类模型在泛化到不同设备录制的信号时的性能不佳问题，并成功在 Acoustic Scene Classification 任务上实现了新的最高性能。

    May, 2023

  • 使用卷积神经网络自动识别多音乐器中的乐器

    本文介绍了利用卷积神经网络进行自动乐器识别的应用。在这个模型中，特征提取和学习算法是通过端到端方式一起训练的。通过基于原始音频训练的卷积神经网络所取得的结果表明，其性能优于那些依赖手工制作特征的传统方法。

    Nov, 2015

  • PerformanceNet: 多频段卷积残差网络得分转音频音乐生成

    提出了一个深度卷积模型，学习了乐谱和音频之间的符号表示之间的得分与音频之间的映射，通过用户研究发现，该模型在自然度和情感表现方面的平均意见分数高于 WaveNet 模型和两个商业声音库。

    Nov, 2018