multi-modal retrieval | BriefGPT

关键词multi-modal retrieval

搜索结果 - 7

ACLVISTA：可视化文本嵌入用于通用多模态检索
我们提出了一种新的嵌入模型 VISTA，用于通用的多模态检索，该模型在零样本和监督设置下在各种多模态检索任务中都取得了优越的性能。
PDFa month ago
多模态检索与排序的广义对比学习
我们提供了一个大规模的数据集，以促进未来的研究和评估，随后我们提出了一种用于多模态检索和排序的广义对比学习方法 (GCL)，其设计用于从细粒度排序中学习，实验结果表明，与基线模型 CLIP 相比，GCL 在域内任务中的 NDCG@10 增加
PDF3 months ago
将 LLMs 转化为跨模态和跨语言检索系统
使用大型语言模型进行多模态双编码检索系统，能够在多种语言中匹配语音和文本，提升召回率并实现跨语言匹配。
PDF3 months ago
ECCV利用用户评论提升视频文字检索
本文介绍了一个包含视频、标题和评论的新数据集，并 presents 了一种基于 attention-based 机制的方法，该方法可以让模型从用户评论等有时不相关的数据中学习，并通过使用评论来学习更好的、更具上下文的图像、视频和音频表示。
PDF2 years ago
AAAI时尚聚焦：多模态检索系统用于电子商务中视频商品本地化
该研究提出了一种名为 “时尚聚焦” 的多模态检索系统的创新演示，用于自动实现准确的视频到购物匹配，该系统结合图像、文本、交互等不同模态的特征，通过视频内容的结构化和多模态检索过程实现。
PDF3 years ago
图像检索中的图像 - 文本查询组合学习
本文研究了基于多模态（图像 - 文本）查询的图像检索问题，提出了自编码器模型 ComposeAE，采用深度度量学习方法学习了推动源图像和文本查询组成更接近目标图像的度量，并在 MIT-States、Fashion200k 和 Fashion
PDF4 years ago
ACL交叉的字幕：MS-COCO 的扩展内模态和跨模态语义相似性评估
本研究扩展了 MS-COCO 数据集，提出了 Crisscrossed Captions (CxC)，用于评估跨模态训练和评估，可用于研究跨模态学习对内模态任务的影响，并对现有内模态和多模态模型进行了基准测试。
PDF4 years ago