该研究旨在探究如何利用预训练的上下文化语言模型（ELMo和BERT）进行即席文档排名，并提出了一种联合方法，称为CEDR（用于文档排名的上下文化嵌入），证明它优于现有的排名基线。

Apr, 2019

本文研究了预先训练的BERT在排名任务中的表现和行为，探索了在两种排名任务中优化BERT的几种不同方法，并实验证明了BERT在问题回答焦点的段落排名任务中的强有效性，以及BERT作为强交互式序列到序列匹配模型的事实。

Apr, 2019

通过对MS MARCO段落重新排序数据集的实证研究，分析fine-tuned BERT模型的结果，探讨BERT在检索方面成功和失败的潜在原因及其性能中 成功的细节

May, 2019

利用BERT模型，在多阶段排名结构中将文档排序问题分别转化为点和对分类的两个变量来解决，这是一种终端到终端的用于搜索的系统设计，可以通过控制每个管道阶段的候选人数量来权衡质量和延迟，并在MS MARCO和TREC CAR数据集上提供了与现有技术相当或更好的结果。

Oct, 2019

通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于BERT等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

Mar, 2020

本文主要阐述了如何将transformers和self-supervised pretraining技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行reranking的transformer模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

Oct, 2020

此研究发现，BERT等自然语言处理模型在进行自然语言理解任务时，即使输入词的顺序被随机打乱，其对下游任务的影响几乎不会改变，因为这些模型主要利用表面特征（如情感分析中的关键词情感或自然语言推断中序列对输入的逐词相似性）进行正确的决策。研究结果表明，许多自然语言处理任务不能真正挑战机器对句子含义的理解能力。

Dec, 2020

本研究分析了基于BERT的交叉编码器与传统BM25排名在段落检索任务中的效果，发现它们在相关性概念上存在重要的差异，旨在鼓励未来改进研究。

Apr, 2022

本文提出RankT5，通过两种基于T5的排名模型结构来直接输出每个查询文档对的排名分数，并通过'成对'或'列表'排列损失进行微调以优化排名表现。实验表明，利用排名损失的所提出的模型可以在不同的公共文本排名数据集上取得实质性的排名表现提高，并且当与分类损失精细调整后，模型在域外数据集上出现更好的零售排名表现。

Oct, 2022

本研究解决了大型语言模型（LLMs）在商业搜索系统中因高成本而无法直接应用的问题。通过将LLMs的排名知识转移到更小的模型BERT上，采用持续预训练和排名损失的创新方法，研究提出了一种有效的模型训练策略。该方法已在商业网页搜索引擎中成功应用，展现出显著的效能提升。

Nov, 2024