使用 Querybank 标准化进行跨模态检索

CVPRDec, 2021

使用 Querybank 标准化进行跨模态检索

Cross Modal Retrieval with Querybank Normalisation

Simion-Vlad Bogolin, Ioana Croitoru, Hailin Jin, Yang Liu, Samuel Albanie

TL;DR本文提出了一种简单而有效的 Querybank Normalisation（QB-Norm）方法，用于应对嵌入空间中出现的中心点问题，并获得更好的跨模态检索性能，无需重训练，同时还提出了一种新的相似度标准化方法，Dynamic Inverted Softmax，可以更好地应对模型训练时出现的不稳定性。

Abstract

Profiting from large-scale training datasets, advances in neural architecture design and efficient inference, joint embeddings have become the dominant approach for tackling cross-modal retrieval. In this work we

joint embeddings cross-modal retrieval hubness problem querybank normalisation dynamic inverted softmax

发现论文，激发创造

平衡行为：利用查询和图库消除跨模态检索中的中心化问题

本研究提出了一种后处理解决方案来解决跨模态检索中的枢纽问题，该问题是指频繁地检索到少数库数据点，从而导致检索性能下降。我们在理论上首先证明了结合库数据和查询数据来解决枢纽问题的必要性，因为枢纽总是与库数据和查询数据具有高相似性。然后，基于我们的理论结果，我们提出了一种新的框架双库标准化（DBNorm）。最后，我们在多样的语言环境基准测试中进行了广泛的实验结果展示，包括文本 - 图像、文本 - 视频和文本 - 音频，证明了我们的方法在解决枢纽问题并提升检索性能方面的卓越表现。

Oct, 2023

Transformer 模型的查询键归一化

本文提出 QKNorm 方法，对 Transformer 神经网络的 attention 机制进行优化，在不损失表现力情况下，通过可以学习的参数替代平方根作为归一化时分母，减小了 softmax 函数的任意性饱和，实验表明在 5 种语言翻译任务中，较之前最先进的方法，BLEU 平均提高了 0.928 个点

Oct, 2020

基于知识的视觉问答的跨模态检索

基于知识的视觉问答（VQA）涉及使用多模态知识库的信息检索，命名实体的多样化视觉表现使其难以识别，我们认为跨模态检索可能有助于弥合实体与其描述之间的语义差距，对单模态检索产生互补作用，通过对最近的 ViQuAE、InfoSeek 和 Encyclopedic-VQA 数据集上的实验，我们提供了经验证据。此外，我们研究了三种不同的模型微调策略：单模态、跨模态或联合训练。我们的方法结合了单模态和跨模态检索，与三个数据集上的数十亿参数模型相竞争，同时在概念上更简单、计算上更廉价。

Jan, 2024

视频和音频检索的跨模态嵌入

本文介绍了一种利用 YouTube-8M 数据库中视听文件间共同区域来建立联系以自主训练深度神经网络的方法，实现了跨模态特征学习的无监督方法，并得出了良好的检索结果。

Jan, 2018

跨模态图像 - 文本联合嵌入的网络监督检索

文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。

Aug, 2018

快速检索、智能重新排名：协作和联合方法改进跨模态检索

本文提出了一种基于 fine-tuning 的框架，将任何预先训练的文本 - 图像多模态模型转换为高效的检索模型，并通过 cooperative retrieve-and-rerank 方法结合双网络和交叉编码器，实现更准确、更高效的跨模态检索。

Mar, 2021

基于产品量化嵌入索引的深度检索模型联合学习

本文提出了一种称为 Poeem 的新方法，它采用了产品量化嵌入索引与深度检索模型联合训练的方法，将嵌入学习和索引构建两个步骤统一起来，从而提高了检索准确率，减少了索引时间，并公开了我们的方法以便于比较和重现。

May, 2021

为知识库补全嵌入多模态关系数据

该研究提出了一种使用多种神经编码器的多模态知识库嵌入方法，将它们与现有关系模型相结合，学习实体和多模态数据的嵌入，进而提出了一种新的多模态插值模型，用于从知识库中的信息生成丢失的多模态值，并通过用户研究评估了其生成的多模态值的质量。

Sep, 2018

兼容性敏感的异构视觉搜索

本篇研究针对资源限制下的视觉搜索问题，提出了一种通过生成来自大型模型的画廊嵌入和使用紧凑模型提取查询嵌入的方法来减轻准确性和效率之间难以解决的关系，并通过修改参数和架构来实现嵌入之间的兼容性，从而实现了 80 倍和 23 倍的成本降低，而在 DeepFashion2 和 IJB-C 等挑战性的检索任务中，准确率仅比最佳嵌入模型低不到 0.3% 和 1.6%。

May, 2021

文本和知识图谱的联合表示用于检索和评估

本文提出一种利用对比训练和数据增强技术在 KB 图和文本对之间训练嵌入模型，以获得对齐的跨模态表示，进而 fine-tune 可以与人类判断相匹配的相似度度量，最终在无需参考文本的情况下超过或匹配现有的基准度量。

Feb, 2023