本文介绍了我们在 2023 年 Epic-Kitchen EPIC-SOUNDS 音频交互识别挑战赛中提交的技术细节。我们提出了一种名为 AudioInceptionNeXt 的单流 CNN 架构，其使用时间频率 log-mel-spectrogram 的音频样本，并采用分别捕获长时间活动和全局语义信息和捕获短时间活动和频率局部细节的深度可分离卷积核以更有效地学习时间和频率信息。在挑战测试集上，我们的方法取得了 55.43％的 top-1 准确率，排名公共排行榜第一。

Jul, 2023

提出了一种多模态融合架构，采用中层融合以及稀疏地对融合表示进行时间采样，将 RGB、Flow 和 Audio 三种模态进行融合，重点研究了多模态时间绑定，逐步改进，取得最先进的结果。

Aug, 2019

本文介绍了我们在实战录音的声音场景分类任务和声音事件检测任务中采用的低级和高级特征、分类器优化以及特定的其他方法，我们的表现优于 DCASE 的基线，对于任务 1，我们的总体准确性为 78.9％，超过基线 72.6％；对于任务 3，我们的基于段的错误率为 0.76，超过基线 0.91。

Jul, 2016

本文介绍了 EPIC-SOUNDS 数据集，该数据集包含 78.4k 个用于声音事件和行动识别的类别化段，以及 39.2k 个非类别化段。通过构建注释流程，该数据集具有时间标签和类标签，允许我们训练和评估两种状态最佳的音频识别模型，突出了仅音频标签的重要性以及当前模型识别声音行动的局限性。

Feb, 2023

本研究提出了一种改进时态音频定位质量的解决方案，采用多模态融合方法结合视觉和音频特征。通过使用先进的自监督预训练网络提取高质量的视觉特征，得到高效的视频特征表示。同时，音频特征作为补充信息帮助模型更好地定位声音的起始和结束。融合的特征在多尺度 Transformer 中进行训练。在最终的测试数据集中，我们取得了 0.33 的平均准确率（mAP），在该任务中获得了第二好的性能。

Jul, 2024

本文提出了一种音频视觉融合模型，该模型利用注意机制动态地结合单独的音频和视觉模型的输出来识别声音，实验证明该模型在音频场景分析和机器感知上比单模和多模融合模型具有更好的效果。

May, 2020

ICASSP 2023 举办的 L3DAS23 信号处理大赛旨在促进和支持机器学习在 3D 音频信号处理方面的合作研究，特别关注扩展现实应用中的 3D 语音增强和 3D 声音事件定位和检测。该论文介绍了竞赛提供的全新数据集和基线模型，以及参与者的结果。

Feb, 2024

本文介绍了我们提交至 ActivityNet Challenge 2016 非修剪视频分类任务的方法。我们使用基于时间段网络的基本流程，并通过其他技术提高模型性能。我们使用最新的深度模型体系结构，如 ResNet 和 Inception V3，并引入了新的聚合方案（top-k 和注意力加权池化）。此外，我们以音频作为补充通道，通过应用于频谱图的卷积神经网络提取相关信息。通过这些技术，我们导出了一个深度模型集合，它们共同在测试集上取得了高分类精度（mAP 93.23％），并获得了挑战赛的第一名。

Aug, 2016

该论文提出了一种用于复合表情识别的新型视听方法，该方法基于融合情感概率的情感识别模型，并利用预定义规则进行复合表情的预测，结果表明该方法可作为开发标注音频 - 视觉数据中人类基本和复合情绪的智能工具的基础。

Mar, 2024

本研究提出了一个扩展 CLIP 模型，使用 AudioSet 数据集来支持音频的双模和单模分类以及查询，同时保持了 CLIP 模型的零样本推理能力。此模型在环境声音分类任务上取得了新的最佳结果，并评估了提出模型的跨模态查询表现以及全量和部分训练对结果的影响。

Jun, 2021