我们引入了一种音视频结合的文本到视频检索方法，称为 ECLIPSE，该方法通过将动态音频事件与视频的补充提示统一编码来适应长范围视频，提高了检索准确性降低了计算成本。

Apr, 2022

我们提出了一种基于音频查询的 Transformer 架构 (AQFormer)，通过在视觉特征中利用预定义的音频查询聚集对象信息，建立了音频和视觉模态之间的明确的对象级语义对应关系，并提出了一种基于音频的时间交互模块来在多帧之间交换与声音对象相关的信息，实验结果证明我们的方法在两个 AVS 基准测试集上取得了最先进的性能，尤其在 MS3 设置上取得了 7.1% 的 M_J 增益和 7.6% 的 M_F 增益。

Sep, 2023

通过利用音频元数据作为额外线索，以了解音频信号内容并将其与文本查询进行匹配，本文研究了一种混合检索系统。我们通过实验使用通常附加在音频录音上的元数据，如关键词和自然语言描述，并调查了融合音频和元数据的后期和中间级融合策略。我们的混合方法通过关键词元数据和后期融合，相较于基于内容的基线，分别在 ClothoV2 和 AudioCaps 基准上将检索性能提高了 2.36 和 3.69 个点，mAP@10。

Jun, 2024

本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

Jan, 2018

本文提出了一种基于检索模型和语义推理模型相结合的自动化广播剧音效添加框架，通过从候选触发器的上下文中提取精心设计的特征来实现稳健的检索结果，该方案采用众包的方式进行了两个故事的配音数据集分析。此外，通过与文本到语音技术的结合，结果表明该自动化流程在制作高质量广播剧方面具有良好的应用前景。

Aug, 2019

本文提出了一种新的音频 - 视觉语音增强框架，利用个人化模型和神经语音编解码器从嘈杂的信号中高效合成真实干净的语音，以提高增强幅度和视角方面的质量。

Mar, 2022

通过使用多语言文本编码器编码文本数据，结合一致集成蒸馏优化音频编码器，我们的方法在英语语音文本检索方面表现出最先进的性能，并且仅使用额外的 10％的语言增强训练数据，也能有效检索其他七种语言的内容。

Jun, 2024

本研究提出了三个新的跨模态检索基准，用于研究现有文献中关注度较低的文本 — 音频和音频 — 文本检索任务。研究团队通过不同音频任务的预训练，在这三个基准上建立了交叉模态文本 — 音频和音频 — 文本检索的基线，并公开了数据集和代码，希望这些基准能够激发有关自由文本查询的音频检索的研究。

Dec, 2021

本研究提出基于 transformer 的架构和度量标准用于评估各种类别下的音频 - 视频同步，并使用新的 VGG-Sound Sync 数据集测试。结果表明，我们的模型优于先前的最先进技术。

Dec, 2021

该研究试图通过将图像字幕数据集中的字幕转移到视频剪辑中，从而消除了在文本 - 视频检索和文本 - 音频检索中缺乏大规模训练数据的难题，并创建了一个大规模音频 - 视频字幕数据集，使得使用这个数据集能够训练出性能优异的多模态转换模型，并在视频检索和视频字幕任务中达到或超越 HowTo100M 预训练 20 倍剪辑所能达到的性能，并且能够实现文本 - 音频预训练，并在音频检索任务中达到最先进的结果。

Apr, 2022