Jul, 2024

MERLIN：基于 LLM 的迭代导航的多模态嵌入精化用于文本-视频检索-重排流水线

HTML
PDF
TL;DR通过使用大型语言模型 (LLM) 进行迭代反馈学习，MERLIN (Multimodal Embedding Refinement via LLM-based Iterative Navigation) 提出了一种新颖的、不需要训练的流程，从用户的角度改进查询嵌入，通过动态问答过程增强查询与视频内容之间的对齐，从而改善了多媒体检索的响应性和上下文感知能力。
发现论文，激发创造
  • 视频问答与检索的联合序列融合模型

    本文提出了一种名为JSFusion（联合序列融合）的方法，可以测量多模式序列数据（例如视频剪辑和语言句子）之间的语义相似性，并通过发现两个序列模态之间的隐藏分层匹配来计算它们的相似度得分，该模型适用于多模式检索和视频QA等任务，并在多个数据集上超过了现有的许多最先进的方法。

    Aug, 2018

  • 复杂查询视频检索的树增强交叉模态编码

    本文提出了一种基于Tree-augmented Cross-modal Encoding的方法，用于结合学习查询的语言结构和视频的时间特征进行视频检索，以实现更好的视频检索性能。

    Jul, 2020

  • 通过问问题学习检索视频

    提出了一种具备多轮对话交互能力的视频检索框架，该框架包括AI agent、多模态问答生成器及信息指导监督器，实验表明其效果显著优于传统非交互方式的视频检索系统。

    May, 2022

  • 用于多通道视频-语言检索的预训练对比模型的快速适应

    探索多模态检索中利用预训练对比模型和文本符号融合信息的最佳方式，并发现用离散文本符号表示视频的方法取得最佳效果。

    Jun, 2022

  • 用于高效长视频问答的基于检索的视频语言模型

    使用检索式视频语言模型为长视频问答提供了一种简单而有效的方法，通过识别和选择最相关的视频片段并使用其关联的视觉标记作为上下文，从而降低了视频令牌的数量，消除了噪音干扰，并提高了系统性能。

    Dec, 2023

  • HaVTR：利用大型基础模型改进视频-文本检索的方法

    HaVTR提出了一种新颖的视频-文本学习范式，通过数据增强和引入生成模型生成更加丰富的数据，提高视频-文本检索模型的表示学习能力，在多个检索基准测试中展现了优越性。

    Apr, 2024

  • LLM-Augmented Retrieval: 借助语言模型和文档级嵌入增强检索模型

    该研究论文介绍了一种基于模型无关的文档级嵌入框架，通过大型语言模型（LLM）增强，改进了检索模型训练过程中的一些重要组件，如负采样、损失函数等。通过实现这个LLM增强的检索框架，我们显著提高了广泛使用的检索模型（如Bi-encoders和late-interaction models）的效果，并在LoTTE数据集和BEIR数据集上取得了最新的研究成果。

    Apr, 2024

  • Wiki-LLaVA: 分层的检索增强生成模型用于多模态语言模型

    我们提出了一种名为Wiki-LLaVA的方法，通过一个分层检索流程，将多模态文档的外部知识源集成到LLM中，用作额外的上下文，从而增强了生成的对话的效果和准确性。我们在具有外部数据的视觉问答数据集上进行了大量实验，并证明了该方法的适用性。

    Apr, 2024

  • NV-Embed: LLM 训练通用嵌入模型的改进技术

    通过引入各种架构设计和训练过程，NV-Embed模型显著提高了LLM作为多功能嵌入模型的性能，同时保持其简单性和可重现性，并取得了69.32的记录高分，在包括检索、重排序、分类、聚类和语义文本相似性任务在内的56个任务中名列第一。

    May, 2024

  • RAVEN：多任务检索增强视觉-语言学习

    该论文介绍了RAVEN，一个多任务的检索增强视觉语言模型框架，通过有效的任务特定微调，无需额外的检索特定参数，该模型获得了在多个任务中都有效的检索能力，对图像字幕和VQA任务的广泛实验结果表明，与非检索基准线相比，在MSCOCO上提高了+1 CIDEr，在NoCaps上提高了+4 CIDEr，在特定的VQA问题类型上提高了近3％的准确率，这表明了将RAG方法应用于视觉语言模型的有效性，标志着朝着更高效和可访问的多模态学习迈进。

    Jun, 2024