Nov, 2023

UniIR: 训练和基准测试通用多模态信息检索器

PDF
TL;DR对于信息检索 (IR) 模型通常假设为同质化格式，限制了其适用于各种用户需求，如使用文本描述搜索图片，使用标题图搜索新闻文章或使用查询图搜索相似照片。为了满足这种不同的信息需求，我们引入了 UniIR，一种统一的指令引导多模态检索器，可以处理八个不同的跨模态检索任务。UniIR 是一个单一的检索系统，同时在十个不同的多模态 - IR 数据集上进行训练，解释用户指令来执行各种检索任务，展示了对现有数据集的鲁棒性能以及对新任务的零 - shot 泛化能力。我们的实验突出了多任务训练和指令调整是 UniIR 泛化能力的关键。此外，我们构建了 M-BEIR，一个综合结果的多模态检索基准，用于标准化通用多模态信息检索的评估。
information retrievalmultimodal retrieveruser instructionsmulti-task trainingm-beir
发现论文，激发创造
  • UMIE: 统一多模态信息提取与指导调整

    多模态信息提取通过指令调整以解决当前面临的任务特定模型结构的持续问题，提供了一个统一的多模态信息提取器 UMIE，能够有效地提取文本和视觉提及，并在六个多模态信息提取数据集上的三个任务中在零样本模型、指令变体和可解释性方面都表现出强大的泛化能力。

    Jan, 2024

  • 元预训练自检索的通用信息提取

    本文提出了 MetaRetriever 和 Meta-Pretraining Algorithm 算法，分别从预训练语言模型中检索任务特定的知识以增强通用信息提取技术，并在四项信息提取任务中实现了最新的任务特定的信息检索性能。

    Jun, 2023

  • SciMMIR：科学多模态信息检索的基准评测

    通过高级表示学习和跨模态对齐研究，在图像 - 文本匹配方面取得了显著进展。为了弥补科学领域中目前评估图像 - 文本匹配性能的不足，我们开发了一种专门的科学多模态信息检索（SciMMIR）基准，利用开放获取的论文集提取与科学领域相关的数据，包括从科学文档中提取的详细标题的图表图像对，并对其进行了两级子集 - 子类别层次注释，以便更全面地评估基线模型。我们对重要的多模态图像字幕生成和视觉语言模型（如 CLIP 和 BLIP）进行了零样本和微调评估，分析结果为科学领域的多模态信息检索提供了关键洞察，包括预训练和微调设置的影响以及视觉和文本编码器的影响。所有我们的数据和检查点都可以在该 URL 中公开获取。

    Jan, 2024

  • 多模态查询的端到端知识检索

    本文介绍了一个新的数据集 ReMuQ，针对跨媒体检索的任务，提出了一个直接处理文本和图像输入的 Retriever 模型 `ReViz`，并引入了一个新的预训练任务，实现了对多模态查询的知识检索，并在两个数据集上取得了优秀的检索效果。

    Jun, 2023

  • 语言理解通用多模态表示

    本文提出了一种新方法来将视觉信息作为协助信号用于 NLP 任务，使用 Transformer 编码器和卷积神经网络来对文本和图像进行编码，通过注意力层将两种模态的表征进行融合，实验结果表明，该方法在不同的任务和语言中都具有很好的效果。

    Jan, 2023

  • UniMS: 面向多模态摘要的统一框架与知识蒸馏

    提出了一种基于 BART 和 UniMS 的统一多模式摘要框架，该框架集成了抽取和生成目标，以及图像选择，通过视觉语言预训练模型进行知识蒸馏来改进图像选择，并引入视觉引导解码器来更好地整合文本和视觉模态，证明了提出的方法明显改善了多模态摘要任务的新状态 - of-the-art 结果。

    Sep, 2021

  • BEIR: 一个用于零样本评估信息检索模型的异构基准

    BEIR（Benchmarking-IR）是一个针对信息检索的鲁棒性和异质性评估基准，通过对 18 个公开数据集的评估，发现 BM25 是一个强大的基线，而后期交互和重新排名模型通常可以实现最佳零 - shot 表现，但计算代价高，与此相反，密集和稀疏检索模型的计算效率更高，但往往表现得不如其他方法，突显了它们的可扩展性有很大的改进空间。

    Apr, 2021

  • UNIMO：通过跨模态对比学习实现统一模态理解和生成

    本文介绍了一种名为 UNIMO 的统一单模态预训练架构，它可以有效地适应单模态和多模态理解和生成任务，利用大规模自由文本语料库和图像集合来提高视觉和文本理解的能力，并使用跨模态对比学习来将文本和视觉信息对齐到图像 - 文本对的统一语义空间。实验结果表明，UNIMO 显著改善了几个单模态和多模态下游任务的性能。

    Dec, 2020

  • InstructUIE: 统一信息抽取的多任务指令调整

    该论文提出了基于指令调整的统一信息提取框架 InstructUIE，它可以统一地建模各种信息提取任务并捕获任务间的依赖关系。在零样本设置下，该方法显著优于现有的大型语言模型和 gpt3.5。

    Apr, 2023

  • UniRQR: 一个统一的模型用于互联网基础知识对话系统中的检索决策、查询和回复生成

    知识对话系统与互联网检索近年来吸引了研究人员的广泛关注。通过使用统一的模型实现检索决策、查询生成和回复生成的三个任务，我们的工作不仅解决了使用外部知识的必要性问题，还节约了多模型部署的复杂性和成本。在 Wizint 和 Dusinc 数据集上的实验证明了我们的统一模型在各个任务上的卓越性能，以及与针对每个任务单独部署的 SOTA 系统相比具有可比性的结果。

    Jan, 2024