本文介绍了一个基于查询的段落重排的BERT的简单重新实现，该系统在TREC-CAR数据集上处于技术先进地位，是MS MARCO段落检索任务排行榜中的前列，优于以前的技术领先27%（相对于MRR @ 10）。

Jan, 2019

该研究旨在探究如何利用预训练的上下文化语言模型（ELMo和BERT）进行即席文档排名，并提出了一种联合方法，称为CEDR（用于文档排名的上下文化嵌入），证明它优于现有的排名基线。

Apr, 2019

通过对MS MARCO段落重新排序数据集的实证研究，分析fine-tuned BERT模型的结果，探讨BERT在检索方面成功和失败的潜在原因及其性能中 成功的细节

May, 2019

利用BERT模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在MS MARCO和TREC CAR数据集上提供了与现有技术相当或更好的结果。

Oct, 2019

通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于BERT等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

Mar, 2020

本文研究了如何通过蒸馏将BERT中的搜索知识传递到更小的排名器中，实验表明，使用适当的蒸馏过程可以实现最高9倍速度提升，同时保持最先进的性能。

Jul, 2020

本文主要阐述了如何将transformers和self-supervised pretraining技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行reranking的transformer模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

Oct, 2020

本研究分析了基于BERT的交叉编码器与传统BM25排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。

Apr, 2022

研究发现，通过改变输入的顺序和位置信息，掩码语言模型的性能并不会受到影响；相比于句法方面，跨句子关注和更丰富的嵌入捕捉上下文的词义是BERT的优势所在。

Jul, 2022

本研究解决了大型语言模型（LLMs）在商业搜索系统中因高成本而无法直接应用的问题。通过将LLMs的排名知识转移到更小的模型BERT上，采用持续预训练和排名损失的创新方法，研究提出了一种有效的模型训练策略。该方法已在商业网页搜索引擎中成功应用，展现出显著的效能提升。

Nov, 2024