Jul, 2022

引入辅助文本查询修改器以实现基于内容的音频检索

PDF
TL;DR提出了一种基于内容的音频检索方法，通过引入辅助文本信息来检索与查询音频类似但略有不同的目标音频，并将辅助文本查询修改器的嵌入添加到共享潜在空间中，可以调整检索范围。实验结果表明，该方法比基线更准确地检索配对音频，并获得了共享潜在空间，其中音频差异和相应的文本表示为类似的嵌入向量。
content-based audio retrievalauxiliary textual informationlatent spacedatasetexperimental results
发现论文，激发创造
  • 使用自然语言查询的音频检索：基准研究

    本研究提出了三个新的跨模态检索基准，用于研究现有文献中关注度较低的文本 — 音频和音频 — 文本检索任务。研究团队通过不同音频任务的预训练，在这三个基准上建立了交叉模态文本 — 音频和音频 — 文本检索的基线，并公开了数据集和代码，希望这些基准能够激发有关自由文本查询的音频检索的研究。

    Dec, 2021

  • 使用 WavText5K 和 CLAP 训练进行音频检索

    本文提出了一个新的 Web 音频文本检索框架，使用文本编码器、两个音频编码器和对比学习目标来实现语言和音频内容间的连接，包括多个数据集的使用，取得了相对于 AudioCaps 和 Clotho 在文本 - 音频检索上 2％和 16％的提高，对于音频 - 文本检索上的 6％和 23％的提高。

    Sep, 2022

  • 上下文中的音频文本检索

    本文通过使用音频特征和序列聚合方法来提高音频 - 文本对齐的准确性，并观察到在上下文检索中，语义映射比时间关系重要。结果表明，该系统在所有指标上均显著提高了双向音频文本检索。

    Mar, 2022

  • 音频 - 文本检索中的语言沟通

    通过使用多语言文本编码器编码文本数据，结合一致集成蒸馏优化音频编码器，我们的方法在英语语音文本检索方面表现出最先进的性能，并且仅使用额外的 10％的语言增强训练数据，也能有效检索其他七种语言的内容。

    Jun, 2024

  • 融合音频和元数据嵌入提升基于语言的音频检索

    通过利用音频元数据作为额外线索，以了解音频信号内容并将其与文本查询进行匹配，本文研究了一种混合检索系统。我们通过实验使用通常附加在音频录音上的元数据，如关键词和自然语言描述，并调查了融合音频和元数据的后期和中间级融合策略。我们的混合方法通过关键词元数据和后期融合，相较于基于内容的基线，分别在 ClothoV2 和 AudioCaps 基准上将检索性能提高了 2.36 和 3.69 个点，mAP@10。

    Jun, 2024

  • 使用自然语言查询的音频检索

    本研究介绍了新的基准，使用自由形式的自然语言查询中的文本注释，旨在研究文本查询的语音检索问题，同时探讨跨模态音频检索的优势和基准，以及优化方法。

    May, 2021

  • 检索辅助文本转语音生成

    我们提出了一种用于文本到音频生成的简单的检索增强方法，通过使用检索到的音频文本数据对 TTA 模型的学习进行指导，从而改善了 AudioLDM 模型在长尾数据集上的性能，在 AudioCaps 数据集上，我们的改进模型 Re-AudioLDM 以巨大的优势超越了现有方法，能够生成逼真的音频并具备在复杂场景、罕见音频类别甚至未见过音频类型的潜力。

    Sep, 2023

  • RECAP: 检索增强音乐字幕生成器

    通过对多模态数据的构建和深度学习模型的训练，本文提出了一种在音频和歌词之间学习对准关系的方法，并通过此方法优化跨模态对齐，并为音乐搜索和推荐提供了理论和实证结果。

    Dec, 2022

  • 文本和语音嵌入匹配：探索基于迁移学习的语音检索策略

    本文研究了预训练的深度学习模型在跨模态（文字到音频）检索中的应用，使用浅层神经网络将提取的嵌入映射到公共维度，并探究优化模型的先前培训方法和损失函数选择的重要性。

    Oct, 2022

  • 通过视觉知识转移在无平行数据的情况下，连接音频和文本之间的关联

    提出了一种称为 VIP-ANT 的模型，实现了音频文本无对齐数据的自动对齐，应用在零 - shot 音频分类和字幕检索任务中取得了良好的性能，甚至超越了更传统的监督学习模型。同时也发现，虽然仅需一些监督数据就可以提高性能，但达到人类水平仍然需要更大规模的数据。

    Dec, 2021