Nov, 2018

一个真实房间冲激响应数据集的构建和评估

PDF
TL;DR该论文提出了一个真实空间脉冲响应、背景噪声和重传音频数据的数据集，并在两组自动语音识别实验中验证了其应用价值，结果表明精心挑选的有限数量的真实空间脉冲响应与大量人工生成的响应相比，能够取得同等优秀的 ASR 结果；同时，该论文介绍了脉冲响应数据的处理过程和音频数据增广技术，并开放了这个数据集的非限制性许可证。
room impulse responsesre-transmitted speech dataautomatic speech recognitionreal and artificially generated rirsaudio data augmentation
发现论文，激发创造
  • 针对语音识别的房间脉冲响应估计的改进

    本研究提出了一种基于生成敌对网络（GAN）的结构，通过编码反射语音中的 RIR 特征并构建 RIR，使用新颖的能量衰减缓解损失来优化模型，从而提高自动语音识别（ASR）系统的性能，实验证明该模型在声学基准测试和 ASR 评估任务中都比现有模型表现更好。

    Nov, 2022

  • RevRIR: 利用对比学习进行联合混响语音和室内冲激响应嵌入，应用于房间形状分类

    该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

    Jun, 2024

  • 随地聆听

    通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

    Jun, 2024

  • AV-RIR：音频 - 视觉房间冲激响应估计

    准确估计室内脉冲响应（Room Impulse Response，RIR）对于语音处理和增强实境 / 虚境应用非常重要。本文提出了 AV-RIR，一种新颖的多模态多任务学习方法，能够准确从给定的回声语音信号和对应环境的视觉线索中估计 RIR。AV-RIR 基于一种能有效捕捉环境几何和材质特性的新型神经编解码器架构，通过多任务学习将语音降噪作为辅助任务进行求解。我们还提出了 Geo-Mat 特征，将材料信息加入到视觉线索中，并通过图像 - RIR 检索改进了所估计的 RIR 中的后期混响成分。实证结果表明，AV-RIR 在 RIR 估计的各种声学度量标准上优于先前的仅音频和仅视觉方法，改进幅度在 36% 至 63% 之间。此外，它在人类评估中也获得了更高的偏好评分。作为一个附带效果，AV-RIR 的去混响语音在各种口语处理任务中显示出竞争性能，并在实际 AVSpeech 数据集中超过了混响时间误差评分。可以在此 https URL 找到合成的回声语音和增强后的语音的定性示例。

    Nov, 2023

  • SoundCam: 利用室内声学定位人类的数据集

    现有 RIR 数据集要么不系统地变化室内物体的位置，要么由模拟的 RIR 构成。我们提供了 SoundCam，这是迄今为止最大的野外房间独特 RIR 数据集，包括 5,000 个 10 通道真实世界房间冲激响应测量和 2,000 个 10 通道音乐录音，涵盖不同房间（实验室、客厅和会议室）内的人员在不同位置，这些测量可以用于有趣的任务，如检测和识别人员以及跟踪其位置。

    Nov, 2023

  • Image2Reverb: 跨模态混响脉冲响应合成

    通过使用神经网络从单幅图像生成音响脉冲响应，可以模拟图片所示的空间中的混响特性，为测量空间的声学特征提供了一个更加便捷的方法。

    Mar, 2021

  • EARS: 一个用于语音增强和去混响的各向同性全频通话语音数据集的基准测试

    发布了 EARS（Expressive Anechoic Recordings of Speech）数据集，包含来自不同背景的 107 位说话者，总计 100 小时的干净、无混响的语音数据。数据集涵盖了多种不同的讲话风格，包括情感性语音、不同的阅读风格、非语言声音和自由对话式语音。通过一组仪器度量评估了数据集上的各种语音增强和去混响方法，并对语音增强任务进行了 20 个参与者的听力测试，优选了一种生成方法。此外，我们还引入了一个盲测试集，用于自动在线评估上传数据。数据集下载链接和自动评估服务器可以在网上找到。

    Jun, 2024

  • RIR-SF：基于房间冲激响应的多通道多说话人 ASR 的空间特征

    通过将重叠的语音信号与目标讲话者传输到麦克风阵列的房间冲激响应（RIR）进行卷积，引入了一种创新方法，得到了一种称为 RIR-SF 的新型空间特征。理论分析和实验结果均证实了该方法相对于现有方法的优越性，通过在多通道多讲话者 ASR 系统中实现 CER 的显著 21.3％的相对减小来表明了 RIR-SF 的超越性，重要的是，这种新特征在强混响环境下表现出稳健性，超越了以往方法的限制。

    Oct, 2023

  • 真实声场：一个音频 - 视觉房间声学数据集与基准

    我们提出了一个名为 Real Acoustic Fields（RAF）的新数据集，其中包含了从多种模态捕获的真实声场数据。该数据集包括了与多视图图像配对的高质量密集捕获的房间脉冲响应数据，以及声音发射器和听者的精确 6DoF 姿态跟踪数据。我们利用该数据集评估了现有的新视角声学合成和脉冲响应生成方法，并提出了用于增强它们在真实世界数据上表现的设置。我们还通过实验调查了将视觉数据（图像和深度）与神经声学场模型相结合的影响。此外，我们展示了一种简单的模拟 - 真实方法的有效性，即使用模拟数据进行预训练，并用稀疏的真实数据进行微调，从而显著改善了少样本学习方法。RAF 是第一个提供了密集捕获房间声学数据的数据集，对于从事音频和音频 - 视觉神经声学场建模技术的研究人员来说，它是一个理想的资源。我们的项目页面提供演示和数据集：https:// 此处 URL

    Mar, 2024

  • 机器语音识别的盲信号去混响技术

    本文介绍一种从混响环境中获取一定数量的训练音频数据，并利用这些数据以及其他可用非混响音频数据来消除混响噪声的方法。利用长时间窗口计算傅里叶变换，将房间产生的卷积转换为频率域的加法，并通过采集混响和干净音频数据的统计信息计算出一种用于规范化音频信号的向量，以解决相同混响条件下的抗混响问题。

    Sep, 2022