Dec, 2021

使用自然语言查询的音频检索：基准研究

PDF
TL;DR本研究提出了三个新的跨模态检索基准，用于研究现有文献中关注度较低的文本 — 音频和音频 — 文本检索任务。研究团队通过不同音频任务的预训练，在这三个基准上建立了交叉模态文本 — 音频和音频 — 文本检索的基线，并公开了数据集和代码，希望这些基准能够激发有关自由文本查询的音频检索的研究。
cross-modal retrievaltext-audio retrievalaudio-text retrievalbenchmarkspre-training
发现论文，激发创造
  • 使用自然语言查询的音频检索

    本研究介绍了新的基准，使用自由形式的自然语言查询中的文本注释，旨在研究文本查询的语音检索问题，同时探讨跨模态音频检索的优势和基准，以及优化方法。

    May, 2021

  • 使用 WavText5K 和 CLAP 训练进行音频检索

    本文提出了一个新的 Web 音频文本检索框架，使用文本编码器、两个音频编码器和对比学习目标来实现语言和音频内容间的连接，包括多个数据集的使用，取得了相对于 AudioCaps 和 Clotho 在文本 - 音频检索上 2％和 16％的提高，对于音频 - 文本检索上的 6％和 23％的提高。

    Sep, 2022

  • 上下文中的音频文本检索

    本文通过使用音频特征和序列聚合方法来提高音频 - 文本对齐的准确性，并观察到在上下文检索中，语义映射比时间关系重要。结果表明，该系统在所有指标上均显著提高了双向音频文本检索。

    Mar, 2022

  • 音频 - 文本检索中的语言沟通

    通过使用多语言文本编码器编码文本数据，结合一致集成蒸馏优化音频编码器，我们的方法在英语语音文本检索方面表现出最先进的性能，并且仅使用额外的 10％的语言增强训练数据，也能有效检索其他七种语言的内容。

    Jun, 2024

  • 自动音频字幕和基于语言的音频检索

    参加了 DCASE 2022 比赛的两个子任务：自动音频字幕和基于语言的音频检索。在 Clotho 数据集上评估使用多种评估指标的基线模型和一些实验，分别对音频字幕和语音检索任务的最终表现进行了改进。

    Jul, 2022

  • 利用 PaSST 和大量音频标题数据集推进基于自然语言的音频检索

    该研究针对预先训练的文本和频谱图变换器，提出了一种基于文本的音频检索系统。系统的两个关键组件是基于自注意力机制的音频编码器和在预训练期间利用附加的人工生成和合成数据集。该系统在 2023 年的 DCASE 挑战中排名第一，在 ClothoV2 基准测试中的表现优于当前的最新技术，提高了 5.6 个百分点的 mAP@10。

    Aug, 2023

  • 跨模态检索训练中的数据泄露：一项案例研究

    本文主要研究声音检索中，数据集的自动获取问题。作者通过分析 SoundDesc 数据集的问题，提出了新的训练、验证和测试集，避免了数据泄漏问题，该数据集的效果更具有挑战性。

    Feb, 2023

  • 引入辅助文本查询修改器以实现基于内容的音频检索

    提出了一种基于内容的音频检索方法，通过引入辅助文本信息来检索与查询音频类似但略有不同的目标音频，并将辅助文本查询修改器的嵌入添加到共享潜在空间中，可以调整检索范围。实验结果表明，该方法比基线更准确地检索配对音频，并获得了共享潜在空间，其中音频差异和相应的文本表示为类似的嵌入向量。

    Jul, 2022

  • 融合音频和元数据嵌入提升基于语言的音频检索

    通过利用音频元数据作为额外线索，以了解音频信号内容并将其与文本查询进行匹配，本文研究了一种混合检索系统。我们通过实验使用通常附加在音频录音上的元数据，如关键词和自然语言描述，并调查了融合音频和元数据的后期和中间级融合策略。我们的混合方法通过关键词元数据和后期融合，相较于基于内容的基线，分别在 ClothoV2 和 AudioCaps 基准上将检索性能提高了 2.36 和 3.69 个点，mAP@10。

    Jun, 2024

  • 文本和语音嵌入匹配：探索基于迁移学习的语音检索策略

    本文研究了预训练的深度学习模型在跨模态（文字到音频）检索中的应用，使用浅层神经网络将提取的嵌入映射到公共维度，并探究优化模型的先前培训方法和损失函数选择的重要性。

    Oct, 2022