SIGIRAug, 2019

从文本到声音：一项初步研究，关于为广播故事检索音效

PDF
TL;DR本文提出了一种基于检索模型和语义推理模型相结合的自动化广播剧音效添加框架，通过从候选触发器的上下文中提取精心设计的特征来实现稳健的检索结果，该方案采用众包的方式进行了两个故事的配音数据集分析。此外，通过与文本到语音技术的结合，结果表明该自动化流程在制作高质量广播剧方面具有良好的应用前景。
发现论文，激发创造
  • 通过语言将高质量音频和视频连接起来，以便从视觉查询中检索音效

    使用多模态框架和对比学习方法，基于高质量音视频数据实现了音效检索系统的建立，该系统在视频中检索高质量音效的任务上明显优于其他基准系统，并能在不同质量的音视频数据上具有很好的泛化性能，同时用户调查证实了人们更倾向于使用该系统检索音效。

    Aug, 2023

  • 自发语音的主题识别：丰富音频特征与嵌入的语言信息

    该研究探讨了在低资源情况下，通过比较纯音频和混合多模态技术的音频识别解决方案，发现纯音频解决方案是没有自动语音识别系统的情况下的可行选项，并且混合多模态解决方案获得了最佳结果。

    Jul, 2023

  • 上下文中的音频文本检索

    本文通过使用音频特征和序列聚合方法来提高音频 - 文本对齐的准确性，并观察到在上下文检索中，语义映射比时间关系重要。结果表明，该系统在所有指标上均显著提高了双向音频文本检索。

    Mar, 2022

  • 跨模态检索训练中的数据泄露：一项案例研究

    本文主要研究声音检索中，数据集的自动获取问题。作者通过分析 SoundDesc 数据集的问题，提出了新的训练、验证和测试集，避免了数据泄漏问题，该数据集的效果更具有挑战性。

    Feb, 2023

  • 使用自然语言查询的音频检索：基准研究

    本研究提出了三个新的跨模态检索基准，用于研究现有文献中关注度较低的文本 — 音频和音频 — 文本检索任务。研究团队通过不同音频任务的预训练，在这三个基准上建立了交叉模态文本 — 音频和音频 — 文本检索的基线，并公开了数据集和代码，希望这些基准能够激发有关自由文本查询的音频检索的研究。

    Dec, 2021

  • 使用 WavText5K 和 CLAP 训练进行音频检索

    本文提出了一个新的 Web 音频文本检索框架，使用文本编码器、两个音频编码器和对比学习目标来实现语言和音频内容间的连接，包括多个数据集的使用，取得了相对于 AudioCaps 和 Clotho 在文本 - 音频检索上 2％和 16％的提高，对于音频 - 文本检索上的 6％和 23％的提高。

    Sep, 2022

  • 融合音频和元数据嵌入提升基于语言的音频检索

    通过利用音频元数据作为额外线索，以了解音频信号内容并将其与文本查询进行匹配，本文研究了一种混合检索系统。我们通过实验使用通常附加在音频录音上的元数据，如关键词和自然语言描述，并调查了融合音频和元数据的后期和中间级融合策略。我们的混合方法通过关键词元数据和后期融合，相较于基于内容的基线，分别在 ClothoV2 和 AudioCaps 基准上将检索性能提高了 2.36 和 3.69 个点，mAP@10。

    Jun, 2024

  • 使用自然语言查询的音频检索

    本研究介绍了新的基准，使用自由形式的自然语言查询中的文本注释，旨在研究文本查询的语音检索问题，同时探讨跨模态音频检索的优势和基准，以及优化方法。

    May, 2021

  • 文本和语音嵌入匹配：探索基于迁移学习的语音检索策略

    本文研究了预训练的深度学习模型在跨模态（文字到音频）检索中的应用，使用浅层神经网络将提取的嵌入映射到公共维度，并探究优化模型的先前培训方法和损失函数选择的重要性。

    Oct, 2022

  • 检索辅助文本转语音生成

    我们提出了一种用于文本到音频生成的简单的检索增强方法，通过使用检索到的音频文本数据对 TTA 模型的学习进行指导，从而改善了 AudioLDM 模型在长尾数据集上的性能，在 AudioCaps 数据集上，我们的改进模型 Re-AudioLDM 以巨大的优势超越了现有方法，能够生成逼真的音频并具备在复杂场景、罕见音频类别甚至未见过音频类型的潜力。

    Sep, 2023