May, 2022

HLATR：混合列表感知的 Transformer 重排序加强多阶段文本检索

PDF
TL;DR本文提出 HLATR 作为一个轻量级的后续 reranking 模块，将检索和 reranking 阶段的特征结合起来，可以有效提高现有的多阶段文本检索方法的排名性能。
deep pre-trained language modelstext retrievalreranking architectureoptimizationhlatr
发现论文，激发创造
  • 多阶段检索管道中 BERT 重新排序器的训练思考

    本文提出了一种名为局部对比估计的方法，用于训练基于深度先前训练的语言模型的重排器，以实现更好的文本检索性能，实验证明本方法显著优于现有的基于深度两阶段模型。

    Jan, 2021

  • 自检索的长距离语言建模

    本文中，我们提出了一种用于从头开始联合训练检索增强语言模型的架构和训练流程，名为 Retrieval-Pretrained Transformer（RPT），并使用四个长程语言建模任务进行了评估，横跨图书、代码和数学写作，证明了与强基线相比，RPT 改善了整体的检索质量和困惑度。

    Jun, 2023

  • 基于大型语言模型的零样本列表式文档重排序

    在 TREC 网络搜索数据集和 MIRACL 跨语言数据集上，使用无需特定任务训练数据的 Listwise Reranker with a Large Language Model (LRL) 可以作为第一阶段和最终阶段的重新排序方法，在多层文本排序任务中取得了强大的效果。

    May, 2023

  • TREC 2022 深度学习赛道上的混合检索和多阶段文本排名解决方案

    该论文介绍了基于大规模文本检索技术在实际商业场景中的应用，以及在 TREC 2022 深度学习竞赛中所采用的混合文本检索和多阶段文本排序方法，结果表明我们提出的方法有效。

    Aug, 2023

  • 基于大型语言模型的排序列表截断

    我们从新的 “检索 - 然后重新排名” 的角度研究了排名列表截取（RLT），通过对检索列表进行截断（即修剪重新排名的候选项），我们优化了重新排名。我们通过复现现有的 RLT 方法来填补这个研究空白，特别是基于大型语言模型（LLM）的重新排名。我们从三个角度考察了在 “检索 - 然后重新排名” 设置下针对 LLM 重新排名的 RLT 方法，分别是评估 LLM 基于词汇的第一阶段检索下的 RLT 方法、研究不同类型的第一阶段检索器对 RLT 方法的影响以及研究不同类型的重新排名器对 RLT 方法的影响。我们在 TREC 2019 和 2020 深度学习环节上进行实验，研究 8 种 RLT 方法在涉及 3 个检索器和 2 个重新排名器的流水线上的表现，并对 RLT 方法在重新排名的背景下得出了新的见解。

    Apr, 2024

  • 搜索和检索增强生成的列表感知重排序 - 截断联合模型

    我们提出了一个联合模型（GenRT），通过生成式编码 - 解码结构将重新排序和截断这两个任务同时进行，从而解决了信息检索中重新排序和截断任务之间的问题。实验证明，我们的方法在网络搜索和检索增强的大语言模型上的重新排序和截断任务均达到了最佳表现。

    Feb, 2024

  • 基于创新的 Bert 重新排序语言模型在语音识别中的应用

    本文利用 BERT 模型重新排序自动语音识别中的 N 个最优假设，同时融合了任务特定的全局主题信息。实验表明，相较于循环神经网络和利用 BERT 计算伪对数似然分数的方法，本方法在 AMI 基准语料库上的有效性和可行性得到了证实。

    Apr, 2021

  • 预训练变形金刚模型用于文本排名：BERT 及其它

    本文主要阐述了如何将 transformers 和 self-supervised pretraining 技术应用于文本排名问题，组成了两个高级别的现代技术，即在多阶段架构中进行 reranking 的 transformer 模型和直接进行排名的密集检索技术，并对处理长文档和处理效率和效果之间的平衡这两个主题进行了分析，同时也展望了研究的未来方向。

    Oct, 2020

  • 使用 TF-Ranking 中的 BERT 进行排序学习

    该论文提出了一种利用 BERT 表示和 learning-to-rank 模型进行文档排序的机器学习算法。在公共基准测试中，采用这种方法可以取得更好的表现。最新的实验使用 RoBERTa 和 ELECTRA 模型，取得了较之其它方法更好的排名成绩。

    Apr, 2020

  • 检索增强大型语言模型的查询重写

    该研究介绍了一个新的 Rewrite-Retrieve-Read 框架，该框架从查询重写的角度改进了检索增强方法，并通过强化学习调整该框架的策略模型，通过开放域 QA 等下游任务进行了验证。

    May, 2023