ActiveRIR: 主动音频视觉探索声学环境建模

Apr, 2024

ActiveRIR: 主动音频视觉探索声学环境建模

ActiveRIR: Active Audio-Visual Exploration for Acoustic Environment Modeling

Arjun Somayazulu, Sagnik Majumder, Changan Chen, Kristen Grauman

TL;DR通过使用视觉和声音传感器数据，我们提出了一种新的任务 —— 主动声学采样，其通过移动代理在实时环境中建立环境声学模型和占据地图，以及确定最佳声学数据采样位置，从而以最少的声学样本得到高质量的环境声学模型。我们通过基于环境声学模型中的信息增益的新型强化学习奖励来训练我们的策略，在来自先进声学模拟平台的多样未知室内环境上评估，发现 ActiveRIR 优于传统导航代理、基于空间新颖性和视觉探索的方法以及现有最先进的方法。

Abstract

An environment acoustic model represents how sound is transformed by the physical characteristics of an indoor environment, for any given source/receiver location. Traditional methods for constructing acoustic models involve expensive and time-consuming collection of large quantities o

environment acoustic model active acoustic sampling mobile agent reinforcement learning (rl)information gain

发现论文，激发创造

随地聆听

通过 DiffRIR 的不同 iable RIR 渲染框架，使用场景的参数化模型，合成具有各种声音特征的新的听觉体验。

Jun, 2024

协作多智能体声学测量

通过机器人之间的合作，有效移动并进行发射 / 接收扫频信号，以测量环境的声学特性并减小预测误差，我们提出了解决多智能体协同环境声学测量问题的首个问题定义和解决方案。

Oct, 2023

AV-RIR：音频 - 视觉房间冲激响应估计

准确估计室内脉冲响应（Room Impulse Response，RIR）对于语音处理和增强实境 / 虚境应用非常重要。本文提出了 AV-RIR，一种新颖的多模态多任务学习方法，能够准确从给定的回声语音信号和对应环境的视觉线索中估计 RIR。AV-RIR 基于一种能有效捕捉环境几何和材质特性的新型神经编解码器架构，通过多任务学习将语音降噪作为辅助任务进行求解。我们还提出了 Geo-Mat 特征，将材料信息加入到视觉线索中，并通过图像 - RIR 检索改进了所估计的 RIR 中的后期混响成分。实证结果表明，AV-RIR 在 RIR 估计的各种声学度量标准上优于先前的仅音频和仅视觉方法，改进幅度在 36% 至 63% 之间。此外，它在人类评估中也获得了更高的偏好评分。作为一个附带效果，AV-RIR 的去混响语音在各种口语处理任务中显示出竞争性能，并在实际 AVSpeech 数据集中超过了混响时间误差评分。可以在此 https URL 找到合成的回声语音和增强后的语音的定性示例。

Nov, 2023

声音空间： 3D 环境下的音视导航

本研究介绍了一种复杂的，声音和视觉逼真的三维环境中的音频视觉导航方法，使用多模态深度强化学习方法训练导航策略并提出了新的数据集 SoundSpaces，在现实环境中插入任意声源。研究结果表明，在三维空间中，音频对于具身视觉导航有很大的帮助，为音频视觉感知的体验机器人研究奠定了基础。

Dec, 2019

使用声学图像的音视频模型蒸馏

本研究旨在研究如何从视觉数据和新型的音频数据模式 —— 声学图像中学习丰富和强大的音频分类特征表示，通过利用新的多模态标记行动识别数据集，并针对性地训练音频深度学习模型，从视觉和声学图像方面实现知识蒸馏，以获得比单麦克风声音数据训练模型更强大和更具有一般化能力的特征表示。

Apr, 2019

观察，聆听和行动：走向音频视觉具身化导航

本文描述了一种音频 - 视觉导航方案，该方案基于移动智能机器人，利用可微卷积神经网络学习视觉感知器和声音感知器，以及动态路径规划器，实现在室内环境中通过音频和视觉数据计算从机器人当前位置到声源的最短路径。

Dec, 2019

鲁棒且不可察觉的音频对抗例子的综合算法

音频对抗样本指对自动语音识别系统进行欺骗的音频文件，既能愚弄自动语音识别系统又能在人类听众中听起来正常。本文介绍了一种集成算法，在生成步骤中使用了心理声学模型和房间脉冲响应。我们通过三个实验比较不同方法的效果，包括在模拟环境和真实无线环境中评估鲁棒性，以及在人类研究中评估可感知性。我们的算法在考虑心理声学效果或结合鲁棒性时，信噪比和人类感知研究都有所改善，但错误率有所增加。

Oct, 2023

学习为视听导航设置路径点

本文介绍了一种基于强化学习的音视觉导航方法，通过动态设置和学习的航点和声音记忆，利用视觉和声音数据揭示了未映射空间的几何结构，实验结果表明，学习视听空间之间的联系对于音视觉导航至关重要。

Aug, 2020

Move2Hear：主动音视频源分离

本文介绍了一种使用增强学习来控制摄像头和麦克风位置提高音频分离质量的方法，解决了活跃的音视频源分离问题，并针对增强现实和移动机器人等场景进行了验证。

May, 2021

逆强化学习的主动探索

本文提出使用主动探索策略的逆强化学习算法（AceIRL），该算法通过构造置信区间捕捉潜在的奖励函数，寻找信息最充分的环境区域的探索策略，从而快速学习专家的奖励函数和制定一个良好的策略。AceIRL 是第一种不需要环境生成模型并具有样本复杂度界限的主动逆强化学习方法，并与具备环境生成模型情况下的样本复杂度相匹配，在模拟实验中证明 AceIRL 优于其他探索策略。

Jul, 2022