该研究旨在探究如何利用预训练的上下文化语言模型（ELMo和BERT）进行即席文档排名，并提出了一种联合方法，称为CEDR（用于文档排名的上下文化嵌入），证明它优于现有的排名基线。

Apr, 2019

本文研究了预先训练的BERT在排名任务中的表现和行为，探索了在两种排名任务中优化BERT的几种不同方法，并实验证明了BERT在问题回答焦点的段落排名任务中的强有效性，以及BERT作为强交互式序列到序列匹配模型的事实。

Apr, 2019

本研究使用BERT进行文档分类，并展示出其在四个流行数据集上的最新成果。为了解决BERT推理的计算开销，研究者提出使用知识蒸馏技术，将BERT的知识转移到小型双向LSTM中，并使用30倍更少的参数达到了BERT-base相当的性能。该研究的主要贡献在于提高了基线水平，为未来的工作提供了基础。

Apr, 2019

TwinBERT模型可用于低延时IR系统中进行有效且高效的召回，通过将查询和文档的嵌入交叉组合来生成相似性分数，并且可以预先计算文档嵌入并将其缓存在内存中，从而显着提高了处理效率。

Feb, 2020

通过对预训练序列到序列模型进行新的调整，使其能够用于文档排名任务，相比较于BERT等仅采用编码器预训练变压器架构的基于分类的排名方法，我们的方法在实验中展现出了更好的性能，并发现我们的方法在数据较少的情况下更能胜任。

Mar, 2020

本文主要阐述了如何将transformers和self-supervised pretraining技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行reranking的transformer模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

Oct, 2020

研究发现，通过改变输入的顺序和位置信息，掩码语言模型的性能并不会受到影响；相比于句法方面，跨句子关注和更丰富的嵌入捕捉上下文的词义是BERT的优势所在。

Jul, 2022

本文提出RankT5，通过两种基于T5的排名模型结构来直接输出每个查询文档对的排名分数，并通过'成对'或'列表'排列损失进行微调以优化排名表现。实验表明，利用排名损失的所提出的模型可以在不同的公共文本排名数据集上取得实质性的排名表现提高，并且当与分类损失精细调整后，模型在域外数据集上出现更好的零售排名表现。

Oct, 2022

近年来，深度学习在解决各种自然语言处理问题上得到了大量应用。本文回顾了以BERT为代表的预训练模型在信息检索领域的方法，涵盖了长文档处理、语义信息整合、平衡效果与效率、术语权重预测、查询扩展和文档扩展等六个高级类别，并与基于解码器的生成式大型语言模型进行了比较，结果表明在特定任务上，经过调优的BERT编码器仍然具有更好的性能和更低的部署成本。最后，总结了调查的全面结果，并提出了未来研究的方向。

Feb, 2024

本研究解决了大型语言模型（LLMs）在商业搜索系统中因高成本而无法直接应用的问题。通过将LLMs的排名知识转移到更小的模型BERT上，采用持续预训练和排名损失的创新方法，研究提出了一种有效的模型训练策略。该方法已在商业网页搜索引擎中成功应用，展现出显著的效能提升。

Nov, 2024