本研究旨在将神经网络模型运用到信息检索模型中，引入了一种名为 TAS-Balanced 的高效查询和平衡边缘抽样技术，结合了成对和批内负面教师，实现了单 GPU 训练的 6 层 DR 模型，以及在 TREC 深度学习基准赛中，取得了领先于其他方法的最佳检索成果和召回率表现。

Apr, 2021

本研究展示了如何使用密集向量表示实现开放领域的问答，通过一个简单的双编码框架，通过从一小部分问题和段落中学习嵌入来实现检索，并在多个开放域 QA 基准测试中超越了传统的基于 TF-IDF 或 BM25 的方法，为终端 QA 系统的最新性能奠定了基础。

Apr, 2020

通过对 SDE 和 ADE 的探究与对比实验，我们发现共享参数可以有效提高 ADE 在 QA 检索任务中的性能，甚至超过 SDE，并进一步提出了三种不同的 ADE 改进版本。

Apr, 2022

本文提出了一种名为 MASTER 的多任务预训练模型，以在压缩语义信息的同时，统一和整合多种具有不同学习目标的预训练任务，实现了语义信息与关系在稠密向量中的集成，该方法在多个大规模的文本检索数据集上都表现出优异的性能。

Dec, 2022

本文主要研究使用 Wikidata 数据构造的 entity-rich questions 在密集检索模型中表现不佳的问题，并探讨了两种解决方案：第一种解决方法是数据扩充无法解决广义化问题，第二种解决方法是更加强大的 passage encoder 有助于使用专门化的问题编码器来更好地适应问题。

Sep, 2021

本研究提出了一种基于 transformer 架构的内部逐层注意力机制，将知识库搜索模型和重排模型整合为统一的模型，并进行端到端训练，以实现高效利用模型容量并提高梯度流量。该模型可以在固定参数预算内显著优于现有模型，达到 1.0 和 0.7 的精准匹配得分。

Dec, 2021

本文通过对双编码器进行多阶段训练，并在保持瓶颈嵌入大小不变的同时扩大了双编码器模型的规模，挑战了一种广为流传的观念，即双编码器在一个域上训练后，往往无法推广到其他域的检索任务中。结果表明，我们的双编码器模型 ——GTR，尤其是在域外泛化方面，取得了显著的检索性能提高，并且在 BEIR 数据集上明显优于现有的稀疏和密集的检索模型。最出乎意料的是，我们的消融研究发现，GTR 在数据效率方面非常高效，只需要 MS Marco 10％的监督数据即可实现最佳的跨域检索性能。

Dec, 2021

ART 是一种新的语料库自动编码方法，用于训练密集检索模型，通过未标注的输入和输出实现了高效的无监督学习，且在不需要标记数据和任务特定的损失的情况下，在多个 QA 检索基准测试中获得了最先进的结果。

Jun, 2022

该研究探讨了双编码器的检索能力，并将其与稀疏词袋模型和注意力神经网络进行了比较。研究发现固定长度编码的能力存在限制，具体表现为编码维数，金标和排名较低文件之间的边际，以及文档长度。在此基础上，该研究提出了一种结合了双编码器的高效性和注意力结构的表达能力的简单神经模型，并探索了稀疏 - 密集混合模型以提高检索精度，这些模型在大规模检索中胜过强有力的替代方案。

May, 2020

本研究旨在探讨如何在不同语言中使用基于转换器的双编码器设计实现单语检索，包括使用多语言变压器的交叉语言一般化能力，在多场景下使用最佳实践指南解决单语检索问题，从而为构建低资源语言的搜索应用提供指南和基础。

Apr, 2022