image-text retrieval | BriefGPT

关键词image-text retrieval

搜索结果 - 38

关键词引导下的高效图像 - 文本检索预筛选
该论文提出了一种关键词指导的预筛选框架来提高图像 - 文本检索的效率，包括关键词匹配和多标签分类方法，并借助倒排索引实现时空复杂度的双赢。经过 Flickr30K 和 MS-COCO 两个广泛使用的数据集的实验证明，该框架能够实现 $O (
PDFa year ago
PMC-CLIP：使用医学文献进行对比语言 - 图像预训练
本文介绍了一种基于 PMC-OA 生物医学数据集的 CLIP-style 预训练模型，该模型在多项下游任务中取得了最先进的结果，包括 ROCO 的图像文本检索、MedMNIST 的图像分类和医学 VQA。
PDFa year ago
遥感图像文本检索的尺度 - 语义联合解耦网络
本文针对遥感图像 - 文本检索的问题，提出一种新颖的 Scale-Semantic Joint Decoupling Network（SSJDN）方法，其中利用 Bidirectional Scale Decoupling（BSD）和 La
PDF2 years ago
通过多模态蕴含修订图像 - 文本检索
本论文提出了一种多模态蕴含分类器来确定图像的语句，以及开发了一种通用可调节学习速率策略来教授一个检索模型区分这些蕴含的语句和其他负样本。在实验中，我们手动注释了一个蕴含更正的图像文本检索数据集用于评估。结果表明，所提出的蕴含分类器达到了约
PDF2 years ago
ECCVCODER: 用于图像 - 文本检索的耦合多样性感知动量对比学习
本文提出了一种基于对比学习的新型跨模态表征方法 Coupled Diversity-Sensitive Momentum Constrastive Learning（CODER），通过引入动态字典和适应性负对权重，使用实例级嵌入和概念级描述
PDF2 years ago
HiVLP: 面向快速图像 - 文本检索的分层视觉语言预训练
本文提出了一种用于快速图像 - 文本检索的 Hierarchical Vision-Language Pre-Training（HiVLP）方法，具有快速推理速度和可扩展性，并能够在大规模检索场景下进行优化表现，在 Flickr30k 和
PDF2 years ago
CVPRCOTS：协作的双流视觉 - 语言预训练模型用于跨模态检索
我们提出了一种协同双流视觉 - 语言预训练模型（COTS），通过增强跨模态交互实现图像 - 文本检索，包括实例级别对齐、标记级别交互和任务级别交互，实验结果显示该模型在所有双流方法中表现最佳，与最新的单流方法相当（但推理速度快了 10,80
PDF2 years ago
LoopITR：结合双编码器和交叉编码器架构用于图文检索
本文提出 LoopITR 方法，将双编码器和交叉编码器结合到同一网络中进行联合学习，并且利用十分精细的交互来提高其表现，在 Flickr30K 和 COCO 数据集上实现了在同等数据量时的最先进的双编码器成绩。
PDF2 years ago
SIGIR性能改进来自何处？—— 关于图像文本检索可重现性的担忧
本文研究信息检索领域的图像 - 文本检索模型的可重复性问题，通过预训练和非预训练模型的消融实验证明了先前一些技术提高了检索效果，但仍需要关注影响检索召回率的因素。
PDF2 years ago
FILIP：细粒度的交互式语言图像预训练
本文介绍一种利用跨模态后期交互机制实现精细级别对齐的大规模 Fine-grained 互动语言 - 图像预训练（FILIP）方法，并构建了一个用于预训练的新的大规模图像 - 文本对数据集。实验结果显示，FILIP 在多个视觉 - 语言任务中
PDF3 years ago
VLMo：混合模态专家的统一视觉语言预训练
本研究提出了统一的视觉 - 语言预训练模型 (VLMo)，通过模块化的 Transformer 网络共同学习双编码器和融合编码器。实验结果表明，VLMo 在各种视觉 - 语言任务中取得了最先进的结果。
PDF3 years ago
ACLLightningDOT：用于实时图像文本检索的视觉 - 语义嵌入的预训练
本文提出了一种名为 LightningDOT 的方法，通过三个新颖的学习目标进行预训练，在不损失准确性的情况下通过去除跨模态注意力实现图像文本检索的加速，有效提高了检索速度，其中 LightningDOT 在多个检索基准测试中均取得了新的最
PDF3 years ago
WIT: 基于维基百科的图像文本数据集，用于多模态多语言机器学习
本文介绍了 Wikipedia-based Image Text（WIT）数据集，该数据集是由不同语言构成的 37.6 百万个实体丰富的图像文本示例组成，可用于多模态模型的预训练，如应用于图像文本检索等下游任务。WIT 数据集有四个主要的优
PDF3 years ago
ICML使用带噪文本监督扩展视觉和视觉语言表示学习
本文利用包含超过 10 亿个图像备选文本对的嘈杂数据集，采用简单的双编码器体系结构通过对比损失，学习了图像和文本对的视觉和语言表示，显示出我们语料库的规模可以弥补其噪音，即使使用这样的简单学习方案也能实现最先进的表现，使跨模式搜索变得更加容
PDF3 years ago
CVPR学习视觉语义嵌入的最佳池化策略
Visual Semantic Embedding 使用多模态特征进行复杂的嵌入，但该研究发现，全局池化函数（例如最大池化）的简单选择优于这些复杂的模型，因此，它们提出了一个名为 GPO 的广义池化运算符来自动适应不同特征的最佳池化策略，并
PDF4 years ago
跨模态场景图匹配用于关系感知的图像 - 文本检索
本文研究了如何使用视觉场景图和文本场景图来联合表示图像和文本中的对象和关系，从而进行跨模态图像文本检索。本研究通过设计特定的场景图编码器实现了物体级和关系级跨模态特征的提取，取得了 Flickr30k 和 MSCOCO 数据集上最先进的结果
PDF5 years ago
跨模态图像 - 文本联合嵌入的网络监督检索
文章提出了利用网络图像及对应标签实现鲁棒视觉 - 语义联合嵌入学习的方法，通过在有限的训练数据中引入弱标注的网络图像能够取得比当前最先进方法更显著的图像 - 文本检索性能提升。
PDF6 years ago
学习深度结构保持的图像文本嵌入
提出使用双分支神经网络进行联合嵌入图像和文本的方法，包含多层线性投影和非线性激活函数，通过结合度量学习和交叉视图约束优化进行训练，实验结果表明该方法在图像 - 文本检索和短语定位任务上具有显著性能改进。
PDF9 years ago