本文提出了一种无需立体声录音的有效 PseudoBinaural 管道，通过手动放置声音源位置的相应视觉线索形成假的视觉立体对来训练模型，同时利用头部相关冲击响应（HRIR）对空间位置和接收到的立体声音频之间的关系进行建模，实现了在实际场景下的准确音频生成，并能在有监督设置下进一步改善性能。

Apr, 2021

通过使用视觉引导生成对抗方法，本论文第一次提出了从单声道音频生成双元立体音频的方法，并且引入了一个测量音频空间感知的度量标准，通过定量和定向的方式评估音频的空间感知，在 2 个数据集和 5 个评价指标上实现了最先进的性能。定性实验和用户研究证明了该方法生成的空间逼真的立体音频。

Nov, 2023

该研究提出了一种音频空间化框架，利用音频和视觉组件之间的关系将单通道视频转换为双耳音频，通过在音频和视觉模态中保留左右一致性的学习策略来实现自监督学习，验证结果表明该框架在半监督和全监督方案中具有很好的效果。

May, 2021

通过 SEE-2-SOUND 引入的零样本方法，将多模式内容生成、神经生成模型和空间音频相结合，可以为高质量视频、图像和互联网动态图像生成空间音频，实现沉浸式体验。

Jun, 2024

本文提出了一种共分离训练范式，可以从未标记的多源视频中学习对象级别的声音，通过新颖的训练目标，训练出深度神经网络的分离音频对于外观相似的对象具有一致性可识别的特性，从而在音频源分离和降噪方面获得了最先进的结果。

Apr, 2019

该研究提出了一种利用视频将常见的单通道音频转换为双耳音频的深度卷积神经网络方法，称为 2.5D 视听效果，可以产生具有空间感的音频，同时有助于音频 - 视觉源分离。

Dec, 2018

该论文介绍了一种名为 “音频 - 视觉场景感知分离”（AVSA-Sep）的新框架，通过语义解析器和基于场景的分离器，成功分离了可见和不可见声音，并通过联合训练和跨模态对齐提高了效果。

Oct, 2023

现有的机器学习研究在单声道视听分离方面取得了令人期待的结果。然而，大多数视听分离方法只考虑声源是什么而不考虑其位置。这在虚拟实境 / 增强实境场景中可能成为一个问题，因为用户需要能够区分不同方向上的相似音频源。为解决这一限制，我们将视听分离推广到空间音频分离，并提出了一种基于位置引导的音频 - 视觉空间音频分离器 (LAVSS)。LAVSS 受到空间音频和视觉位置之间的相关性的启发。我们引入了双耳音频中包含的相位差作为空间线索，并利用发声对象的位置表示作为额外的模态指导。我们还采用多级跨模态注意力来进行视觉 - 位置的协作，并利用预训练的单声道分离器从丰富的单声道音频中转移知识以提高空间音频分离效果。在 FAIR-Play 数据集上的实验证明了所提出的 LAVSS 在视听分离方面的优越性。

Oct, 2023

通过建立视觉特征与声音的鲁棒相关性，利用双向生成框架实现音频 - 视觉分割的改进性能，在 AVS 基准测试中取得新的最先进表现水平，并发布源代码与预训练模型。

Aug, 2023

通过使用端到端可训练的神经网络，我们的方法根据音频和 360 度视频帧的多模态分析，将由 360 度视频相机记录的单声道音频转换为空间音频，并从中分离和定位单独的声源于观看球上，因此通过我们的方法，仅使用 360 度视频和单声道音轨就可以推断声源的空间位置。

Sep, 2018