通过提供相关数据集和评估指标，我们引入了 AudioBench，这是一个旨在评估语音大型语言模型（AudioLLMs）的新基准。我们在研究中评估了四个模型的能力，并发现没有单一模型在所有任务中都表现出色。我们概述了 AudioLLMs 的研究展望，并预计我们的开源代码、数据和排行榜将为未来模型发展提供一个强大的测试平台。

Jun, 2024

我们提出了一个综合的基准评估系统，用于评估各种音频表示学习方法在各种不同的音频分类领域上的能力，并发布了针对非语音音频的新预训练模型，以解决目前缺乏开源非语音音频预训练模型的问题。

May, 2024

HEAR 基准评估了多种音频嵌入模型，并提供了一个可重复评估的综合开放数据集，以求达到一个通用的音频表示模型，应用于各种语音、环境声和音乐相关的任务中。

Mar, 2022

音频 - 视觉表示学习，一种开发具有类似于人类感知的系统的方法，利用声音和视觉信息之间的相关性。然而，目前的模型往往专注于有限的任务集，并且对学习表示的泛化能力尚不清楚。因此，我们提出了 AV-SUPERB 基准，它在涵盖语音和音频处理中的 5 个音频 - 视觉任务的 7 个数据集上，能够对单模音频 / 视觉和双模融合表示进行通用评估。我们评估了 5 个最近的自监督模型，并表明这些模型都不能泛化到所有任务，强调了未来需要改进通用模型性能的研究的必要性。此外，我们表明通过中间任务微调和使用 AudioSet 进行音频事件分类可以改进表示。我们发布了我们的基准测试，提供了评估代码和模型提交平台，以鼓励进一步进行音频 - 视觉学习的研究。

Sep, 2023

提出一种基于 Slowfast 架构的正常化器自由的 NFNet 音频表示方法，并通过 HARES 跨领域 12 项测试取得优异表现，表明 SimCLR 目标能够促进更强健的音频表示学习。

Nov, 2021

使用多模态深度学习技术匹配自由形式的文本与音乐在音乐信息检索领域显示出有希望的结果。本研究提出了一个包含音乐丰富语义描述的新开放数据集 WikiMuTe，数据源于维基百科的音乐作品文章目录。使用专门的文本挖掘流程提取覆盖音乐内容各种主题的长短句描述，例如流派、风格、情感、乐器和节奏。展示了利用该数据集训练了一个联合学习文本和音频表示的模型，并进行跨模态检索。该模型在两个任务上进行评估：基于标签的音乐检索和音乐自动标注。结果表明，尽管我们的方法在多个任务上具有最先进的性能，但仍然观察到性能差异取决于用于训练的数据。

Dec, 2023

近期，为人 - 音频交互所提出的指令遵循型音频语言模型引起了广泛关注。然而，由于缺乏评估以音频为中心的交互能力的基准，这一领域的发展受阻。本文引入了 AIR-Bench（音频指令评测基准），这是首个旨在评估音频语言模型在理解各种类型音频信号（包括人声、自然声音和音乐）以及在文本格式下与人类互动方面的能力的基准。AIR-Bench 包括两个维度：基础和对话评测。通过实验证明，使用 GPT-4 评估生成的假设得分与人工评估结果之间存在高度一致性。通过评估结果揭示现有 LALMs 的局限性，AIR-Bench 可以为未来研究方向提供启示。

Feb, 2024

我们提出了 ZIQI-Eval，这是一个用于评估大型语言模型音乐相关能力的综合性和大规模的基准测试。我们通过评估 16 个大型语言模型在音乐领域的表现发现，它们在 ZIQI-Eval 基准测试中表现低下，而且存在提升音乐能力的巨大空间。通过 ZIQI-Eval，我们旨在提供一个标准化和强大的评估框架，便于全面评估大型语言模型的音乐相关能力。

Jun, 2024

采用编码音频预训练的语言模型，可以为音乐信息检索任务提供更有用的特征，相较于以标签为预训练的传统模型，使用编码音频预训练模型可以提供更强的检索性能，并能够弥补传统方法中的盲点。

Jul, 2021

NeurIPS 2023 Machine Learning for Audio Workshop 演讲者共同讨论并阐明了对音频的机器学习的重要性及挑战，提供了几个开放数据集和以往研究的基准模型。

Mar, 2024