Nov, 2023

回归基础：提升密集编码器领域外检索的简单方法

PDF
TL;DR通过改进训练过程，使用参数高效的方法和适当的负样本，可以提高密集编码器在训练时的泛化能力，从而在单一数据集上训练时实现有效的泛化。
dense retrieverszero-shot generalizationtraining proceduresgeneralization capabilitiesdense retrieval model
发现论文，激发创造
  • 大型双编码器是可推广的检索器

    本文通过对双编码器进行多阶段训练，并在保持瓶颈嵌入大小不变的同时扩大了双编码器模型的规模，挑战了一种广为流传的观念，即双编码器在一个域上训练后，往往无法推广到其他域的检索任务中。结果表明，我们的双编码器模型 ——GTR，尤其是在域外泛化方面，取得了显著的检索性能提高，并且在 BEIR 数据集上明显优于现有的稀疏和密集的检索模型。最出乎意料的是，我们的消融研究发现，GTR 在数据效率方面非常高效，只需要 MS Marco 10％的监督数据即可实现最佳的跨域检索性能。

    Dec, 2021

  • InPars: 使用大型语言模型的信息检索数据增强

    利用大型预训练语言模型作为综合数据生成器，对于信息检索任务的未监督数据的微调，可以使检索器在零样本学习和有监督学习的任务中获得更好的表现

    Feb, 2022

  • 领域匹配的密集检索预训练任务

    通过在 65 百万个合成问题和 2 亿个来自 Reddit 对话的帖子对大型 bi-encoder 模型进行适当的预训练，可以在信息检索和对话检索基准测试中实现比监督基准线显着更好的表现。

    Jul, 2021

  • 利用合成预训练构建稳健的神经检索模型

    研究表明，机器阅读理解数据集可以用于训练高性能的神经信息检索系统，利用序列到序列生成器生成的合成样本的预训练可以提高神经信息检索系统的鲁棒性和检索表现。

    Apr, 2021

  • 快速稠密检索器消耗 KALE：针对非对称双编码器的嵌入后 Kullback Leibler 对齐

    本文讨论了引入结构压缩和编码器大小不对称性来改善基于语言模型的密集检索系统的推理延迟问题，并引入了 Kullback Leibler 嵌入对齐（KALE）方法以提高密集检索方法的推理效率。使用 KALE 和不对称训练，我们可以生成优于 DistilBERT 且推理速度快 3 倍的模型。

    Mar, 2023

  • 噪声自训练与合成查询的密集检索

    使用新颖的带有合成查询的嘈杂自我训练框架，证明了神经检索器可以在没有依赖任何外部模型的情况下以自我进化的方式得到改进，实验证明我们的方法在常见领域（如 MS-MARCO）和领域外（即 BEIR）的检索基准上持续改进。进一步扩展该框架来进行 reranker 训练表明所提出的方法是通用的，在各个领域的任务上都能产生额外的收益。

    Nov, 2023

  • 如何训练你的龙：向通用密集检索的多样化增强

    通过数据增强、对比学习等方法，本研究提出了一种新的稠密检索算法 DRAGON，使其在有监督检索和零样本检索方面均达到了最新水平，并与复杂的后期交互模型竞争。

    Feb, 2023

  • 神经信息检索的无监督领域自适应

    比较了使用大型语言模型生成查询和基于规则的方法进行合成注释来进行神经信息检索，结果表明大型语言模型在所有情景中的性能优于基于规则的方法，而无监督领域适应相对于零样本方式应用监督信息检索系统是有效的。

    Oct, 2023

  • 简约胜于繁华：利用弱解码器对强文本编码器进行预训练以进行密集检索

    本文提出一种基于自学习方法的预训练自编码语言模型，该模型通过训练编码器输出高质量的文本序列嵌入来解决解码器可能利用语言模式的问题，实验结果表明该模型能够显著提高稠密检索模型的效果和少样本学习能力。

    Feb, 2021

  • 大语言模型中上下文案例检索学习

    本文提出了一种新的框架，通过训练密集检索器来识别高质量的上下文示例，进而提高大型语言模型（LLMs）的上下文学习表现。实验证明了该框架可以显著地提高在各种任务上的性能，而且具有良好的泛化能力。

    Jul, 2023