本文旨在通过引入上下文稀疏表示（Sparc）来改善每个短语嵌入的质量，借助修正的自注意力间接地学习 N-gram 词汇空间中的稀疏向量，通过将前一短语检索模型（Seo 等人，2019）与 Sparc 相结合，我们在 CuratedTREC 和 SQuAD-Open 中展示了 4% 以上的改进，其中我们的 CuratedTREC 得分甚至优于已知的检索和阅读模型，而推理速度至少快 45 倍。

Nov, 2019

本文探讨了对话式检索中多轮段落检索的关键挑战，提出了一种基于双向 Transformer 的神经查询解决模型，即 QuReTeC，该模型可用于解决当前转换查询的任务，并演示了其在 TREC CAsT 数据集上的有效性。

May, 2020

本文介绍了使用 Transformer-Kernel 模型进行文档重排序的方法，并通过 TREC 2019 深度学习赛道的评价来表明其有效性。

Dec, 2019

采用 Transformer-based re-ranking 方法，以全局描述为确定因素，实现了轻量化和有效的 Loop Closure Detection，与另外两种方法相比，在 KITTI Odometry 数据集上表现出更好的鲁棒性和效率。

May, 2023

通过使用广播查询编码器引入了一种高效的标题重排技术，比传统的段落重排器快 20 倍至 40 倍。该论文介绍了使用 Sigmoid 技巧解决稳定性问题，提高了重排的效果，并在 kilt 知识基准测试中实现了四个最新成果。

Dec, 2023

本文提出了 TURL 框架，该框架利用预训练 / 微调方法，在无监督的情况下学习关系表的深度上下文化表示，并应用于各种任务中。通过结构感知的 Transformer 编码器建模关系表的行列结构，并引入了一种新的 Masked Entity Recovery 目标进行预训练。在 6 个不同的关系表理解任务中，TURL 广泛适用且相对于现有方法具有更好的表现。

Jun, 2020

探究了不同的查询表示方法结合不同的检索模型对检索性能的影响，同时提出了一种基于关键词提取方法的检索模型，并通过实验表明，该方法结合传统或基于决策论的相关性模型，可以显著提高查询效果。

Jul, 2022

PreTTR 算法广泛应用在各种排名任务中的预训练 transformer 网络，能够消除实践中计算昂贵的限制，提高实时排名的速度，通过训练压缩层来匹配注意力分数，可以有效地减少存储需求，而排名性能不会受到重大影响。

Apr, 2020

提出了一种名为 TK（Transformer-Kernel）的神经再排序模型，利用一种高效的上下文化机制来进行广告搜索。在最大每次查询 200 毫秒的实际时间限制下，TK 比 BERT 和其他排序模型实现了最高的有效性，通过对 TK 的结果进行聚类查询分析，突出了它在具有不同信息需求类型的查询中的优势和劣势，并展示了通过比较两个文档的内部分数来解释排名差异的原因。

Feb, 2020

本研究探讨了基于伪相关反馈的多重嵌入密集检索方法的潜力。通过从第一遍密集检索中确定的伪相关文件集中提取代表性反馈嵌入，然后将其添加到查询表示中，证明了这些附加反馈嵌入不仅能够提高重新排序的有效性，还能提高附加密集检索操作的效率。

Jun, 2021