准确估计室内脉冲响应（Room Impulse Response，RIR）对于语音处理和增强实境 / 虚境应用非常重要。本文提出了 AV-RIR，一种新颖的多模态多任务学习方法，能够准确从给定的回声语音信号和对应环境的视觉线索中估计 RIR。AV-RIR 基于一种能有效捕捉环境几何和材质特性的新型神经编解码器架构，通过多任务学习将语音降噪作为辅助任务进行求解。我们还提出了 Geo-Mat 特征，将材料信息加入到视觉线索中，并通过图像 - RIR 检索改进了所估计的 RIR 中的后期混响成分。实证结果表明，AV-RIR 在 RIR 估计的各种声学度量标准上优于先前的仅音频和仅视觉方法，改进幅度在 36% 至 63% 之间。此外，它在人类评估中也获得了更高的偏好评分。作为一个附带效果，AV-RIR 的去混响语音在各种口语处理任务中显示出竞争性能，并在实际 AVSpeech 数据集中超过了混响时间误差评分。可以在此 https URL 找到合成的回声语音和增强后的语音的定性示例。

Nov, 2023

该论文研究了室内指纹识别，通过分析音频记录以确定录制音频时所在房间的音量和形状。提出了一种双编码器架构，可直接从语音中估算房间参数，通过对比损失函数将语音和声学响应联合嵌入，通过在预训练和微调阶段的训练实现具体的分类任务，并在测试阶段使用嵌入来进行房间形状分类。该方案在模拟声学环境中进行了广泛评估。

Jun, 2024

通过将重叠的语音信号与目标讲话者传输到麦克风阵列的房间冲激响应（RIR）进行卷积，引入了一种创新方法，得到了一种称为 RIR-SF 的新型空间特征。理论分析和实验结果均证实了该方法相对于现有方法的优越性，通过在多通道多讲话者 ASR 系统中实现 CER 的显著 21.3％的相对减小来表明了 RIR-SF 的超越性，重要的是，这种新特征在强混响环境下表现出稳健性，超越了以往方法的限制。

Oct, 2023

通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

Jun, 2024

音频对抗样本指对自动语音识别系统进行欺骗的音频文件，既能愚弄自动语音识别系统又能在人类听众中听起来正常。本文介绍了一种集成算法，在生成步骤中使用了心理声学模型和房间脉冲响应。我们通过三个实验比较不同方法的效果，包括在模拟环境和真实无线环境中评估鲁棒性，以及在人类研究中评估可感知性。我们的算法在考虑心理声学效果或结合鲁棒性时，信噪比和人类感知研究都有所改善，但错误率有所增加。

Oct, 2023

本文提出了一种新的无监督算法损失函数，称为混响作为监督（RAS），使用两个信道的混合信号，训练神经网络以分离源，并通过维纳滤波器来评估所分离出的混响信号。实验结果表明，相对于只使用已标注数据和使用完整数据的有监督算法，本方法在只有 5% 到 10% 的标注数据时可以获得可观的性能优越性。

Nov, 2022

该论文提出了一个真实空间脉冲响应、背景噪声和重传音频数据的数据集，并在两组自动语音识别实验中验证了其应用价值，结果表明精心挑选的有限数量的真实空间脉冲响应与大量人工生成的响应相比，能够取得同等优秀的 ASR 结果；同时，该论文介绍了脉冲响应数据的处理过程和音频数据增广技术，并开放了这个数据集的非限制性许可证。

Nov, 2018

利用深度神经网络 (RGI-Net) 可估计房间几何形状，即使形状非凸或反射中无一阶反射，并通过使用环形麦克风阵列和单个扬声器的紧凑音频设备进行实际应用。

Sep, 2023

本研究旨在通过使用生成对抗网络和领域自适应思想来鼓励神经网络声学模型学习不变特征表示，以实现自动语音识别系统对声学变异的鲁棒性提高。所提出的方法具有普适性，尤其适用于仅针对少量噪声类别进行训练的情况。

Nov, 2016

通过使用神经网络从单幅图像生成音响脉冲响应，可以模拟图片所示的空间中的混响特性，为测量空间的声学特征提供了一个更加便捷的方法。

Mar, 2021