本文提出使用从多通道音频中提取的低级空间特征进行声音事件检测，通过初始阶段从每个通道中单独学习这些多通道特征，扩展了卷积递归神经网络以处理更多类型的这些特征，并表明将特征呈现为体积的单独层，而不是将每个通道的特征串联成单个特征向量，可以更好地学习多通道音频中的声音事件。与单声道特征相比，在相同网络上使用所提出的空间特征，在公开可用的 TUT-SED 2016 数据集上的 F-score 提高了 6.1％，在 TUT-SED 2009 数据集上的 F-score 提高了 2.7％，该数据集是其 15 倍大。

Jun, 2017

本文提出采用卷积和循环神经网络 (CRNN)，其中第一层采用 3D 卷积神经网络 (CNN) 用于多声道声音事件检测 (SED) 任务。实验结果表明，使用多声道 Ambisonic 音频与单声道音频相比，在准确率、错误率以及检测到重叠声音事件的时间段方面都有明显提高。

Jan, 2018

本文提出使用空间和谐特征结合 LSTM 循环神经网络进行自动声音事件检测任务，并将其与现有的单声道方法进行比较，结果表明使用多声道音频、空间和谐特征的自动声音事件检测方法能够提高检测性能。

Jun, 2017

本研究提出了一种新方法，采用卷积神经网络从声波波形中直接估计声源的方位，利用一组特定的卷积核搜索局部化线索，我们的实验表明该方法能够在多种情境下提高声音定位精度。

Apr, 2019

本文提出了一种基于 BLSTM 循环神经网络的多音事件检测方法，该方法通过训练一个多标签 BLSTM RNN，将包括音乐、车辆、讲话等 61 类在内的多种声音的声学特征映射到每个事件类别的二进制活动指示符上，并且通过使用数据增强技术进一步提高了识别结果的准确性，系统在实测中平均 F1 分数分别为 65.5％和 64.7％。

Apr, 2016

提出了一种新的深度网络用于音频事件识别，名为 AENet，该网络采用卷积神经网络以在时间维度上对音频事件进行长时间频率结构的建模来训练端到端的音频事件检测系统，在事件识别、动作识别和视频亮点检测等视听任务中，结合 AENet 特征和视觉特征效果显著。

Jan, 2017

本文介绍了一种基于双耳声音的声音制造对象的语义标记方法，利用跨模态蒸馏框架让视觉和听觉系统相互学习，形成多任务训练网络等手段提高系统的性能。

Mar, 2020

通过构建 paired ambisonic-binaural 数据集，并提出了一种基于深度学习的框架，实现了 binaural rendering of ambisonic signals 的自动化，相比传统方法性能更优，可应用于虚拟现实和沉浸式媒体。

Nov, 2022

本文提出了一种端到端的双耳语音合成系统，该系统将低比特率音频编解码器与强大的双耳解码器相结合，能够准确地进行语音双耳化，同时忠实地重构环境因素，如环境噪声或混响。网络采用改进的矢量量化变分自动编码器，通过多个仔细设计的目标进行训练，包括对抗损失。我们使用客观指标和感知研究，对内部双耳数据集进行了评估。结果表明，所提出的方法比以前的方法更接近基准数据。特别是，我们展示了对抗损失在捕捉创建真实听觉场景所需的环境效应方面的能力。

Jul, 2022

本文提出了一种基于 TasNet 的多输入多输出的语音分离算法，该算法能够保留声源的空间信息，实现实时修改声学场景，并在不同声学场景中显著改善分离性能并保持位置感知。

Feb, 2020