本文介绍了一个多任务学习的神经检索模型，该模型在少样本、领域内外多种问题下表现良好，能够有效地检索到相关上下文信息，并且在多个基准测试中实现了与或优于目前的最新技术结果。

Jan, 2021

本文介绍了一种新的嵌入模型 M3-Embedding，其以其多语、多功能和多粒度的通用性而脱颖而出。它支持 100 多种工作语言，展示了在多语言和跨语言检索任务上的最新性能，同时能够同时执行三种常见检索功能：密集检索、多向量检索和稀疏检索，为现实世界的信息检索应用提供了统一的模型基础。该模型能够处理不同粒度的输入，从短句到最长 8192 个标记的长文档。我们提出了一种新颖的自知识蒸馏方法，通过集成来自不同检索功能的相关性得分作为教师信号来增强训练质量，并优化了批处理策略，以确保嵌入的区分性。据我们所知，M3-Embedding 是第一个实现如此强大通用性的嵌入模型。该模型和代码将公开在指定的 URL 链接中。

Feb, 2024

我们提出了一种简单而高效的多跳密集检索方法来回答复杂的开放域问题，该方法在两个多跳数据集 HotpotQA 和多证据 FEVER 上实现了最先进的性能。与以前的工作相反，我们的方法不需要访问任何特定于语料库的信息（如文档间超链接或人工注释实体标记），可以应用于任何非结构化文本语料库。与已发布的 HotpotQA 的最佳准确度相匹配，同时在推理时间上快 10 倍，我们的系统也可以产生更好的效率 - 准确性权衡。

Sep, 2020

本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

Dec, 2021

通过引入多层级的知识检索器 MAKER 及一种新的蒸馏目标和监督信号，对话系统中的知识检索与响应生成解耦，从而有效地检索大规模的知识库。

May, 2023

我们提出了一种基于自回归公式的检索和重新排序方法，该方法用自然逻辑为基础，使用证明系统动态终止检索过程，同时使用比竞争系统少 5 到 10 倍的记忆，对 FEVER、HoVer 和 FEVEROUS-S 等数据集具有与当前最先进方法相当的性能。

Dec, 2022

本文提出一个多对多多模态摘要（M$^3$S）任务，该任务旨在以任何语言为输入，生成任何语言摘要，并包括相应的图像序列，进一步提出了一种双重知识蒸馏和面向目标视觉建模的框架，以在 M$^3$S 任务中实现目标导向的视觉特征。最后还贡献了一个 M$^3$Sum 数据集。

May, 2023

本论文介绍一种划时代的多模态、多任务、多教师关节粒度知识蒸馏模型，用于视觉丰富型表单文件的理解。该模型旨在通过促进标记和实体表示之间微妙的相关性，从细粒度和粗粒度层面的洞察中获取 in design，从而解决表单文件中的复杂性问题。此外，我们引入了新的相互粒度损失函数和交叉粒度损失函数，以进一步优化多教师知识蒸馏的传递过程，呈现出分布差异和对表单文件的协调理解。通过全面评估公开可用的表单文件理解数据集，我们提出的模型始终优于现有基准线，在处理视觉复杂表单文件的复杂结构和内容方面展示其功效。

Feb, 2024

提出一种新的框架 M3，通过多轮阅读理解的方式处理短文本中的实体链接问题，借助其上下文生成查询并使用选项选择模块识别黄金实体，同时考虑候选实体的差异性和历史线索。实验结果表明，M3 框架在现实世界短文本实体链接的五个中英文数据集上取得了最好的性能。

Jan, 2021

本文提出了一种方法，用于在大量知识库之中检索多个支持段落，以回答所提出的问题。该方法使用联合向量表示形式，并考虑知识源中段落的上下文句子表示形式。该技术在 SQuAD-Open 和 HotpotQA 的数据集上实现了开放域问答的最新成果。

Jun, 2019