multimodal retrieval | BriefGPT

关键词multimodal retrieval

搜索结果 - 12

AvaTaR：优化 LLM 代理以实现辅助工具的知识检索
AvaTaR 是一种利用外部工具和知识来提高准确性和降低幻觉的新颖且自动化的框架，通过设计比较模块来为大语言模型代理提供有洞察力和整体性的提示，优化其在给定任务 / 领域上的表现，在四个复杂的多模式检索数据集上表现出色，并在新领域中展现强大
PDF17 days ago
SIGIR文本 - 视频检索中的单查询后处理的 Sinkhorn 变换
基于 Sinkhorn 变换的新型后处理方法在多模态检索中取得了比双 softmax 损失更好的效果，并提出了一种新的后处理设置，不需要访问多个测试查询，可以显著提高 CLIP4Clip、BLIP、X-CLIP 和 DRL 等先进模型在多个
PDF8 months ago
EMNLP大型语言模型和多模态检索在视觉词义消歧中的应用
通过多种方法，包括多模态检索、大型语言模型、问题回答以及学习排序模型等，本文深入研究了视觉词义消歧任务，以揭示其有趣的特性，为未来研究方向提供了有价值的启示。
PDF8 months ago
OpenFashionCLIP：基于视觉和语言的对比学习与开源时尚数据
通过使用开源时尚数据，提出了一种视觉和语言对比学习方法 OpenFashionCLIP，该方法在多个任务和基准测试中得到了广泛验证，具有良好的跨领域泛化能力，并在准确性和召回率方面相对于现有方法均有显著改进。
PDF10 months ago
IPA-CLIP: 将音位预先设定集成到视觉和语言预先训练中
本研究介绍了一种提取音素信息的方法并将其加入 Vision and Language 预训练模型 CLIP 中，以加强 CLIP 处理未知词汇的能力。评估显示，该模型在处理多模态检索任务时具有较好效果，并与人类发音相似性判断有较高相关性。
PDFa year ago
EMNLP文本 - 视频检索的标准化对比学习
本研究介绍了一个新的实例归一化方法，通过实例内置偏差计算，实现了跨模态检索中每个实例平等检索与准确表示，提高了文本和视频检索的性能，并在多个数据集上实现了最新的多模态检索指标。
PDF2 years ago
CVPR用于多通道视频 - 语言检索的预训练对比模型的快速适应
探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。
PDF2 years ago
EMNLPVisualSem: 一个高质量的视觉与语言知识图谱
VisualSem 是一个高质量的知识图谱，包括具有多语言注释、多幅图像和视觉相关关系的节点，并提供了可以用作输入的图像或句子并检索知识图谱中实体的神经多模态检索模型。
PDF4 years ago
ECCVTVR: 视频字幕时刻检索大规模数据集
本研究介绍了一种新的多模式检索数据集，名为电视节目检索 (TVR)，它结合了视频和相关的字幕文本，其中包含 109K 个查询，每个查询与一个精确的时间窗口相关联，并且具有指示查询与视频或字幕相关性的查询类型标签。我们还提出了多模态时刻检索任
PDF4 years ago
ICCV基于自然语言查询的时空人员检索
本研究针对多视频中基于自然语言查询的空间时间人员检索问题，设计了一种模型，结合了空间时间人类检测和多模式检索方法，提出了一种新颖的数据集和一个具有强大基线和良好效果的模型。
PDF7 years ago
用于高效跨模式检索的相关哈希网络
本论文提出了一种新的跨模式哈希方法，通过联合学习数据特征和量化误差控制实现高质量哈希编码，并在标准测试中表现良好。
PDF8 years ago
ACL多语言多模态表征学习的桥式相关神经网络
提出了一种用于多视图学习的通用模型，通过一个中间视图的并行数据，实现了多个视图之间的共同表示，并在多语言文本分类和多模式检索任务中取得了最先进的结果。
PDF9 years ago