EMNLPOct, 2022

COCO-DR: 针对零样本稠密检索中的分布偏移问题，采用对比学习和分布鲁棒学习

PDF
TL;DR提出了一种新的零样本稠密检索方法 COCO-DR，通过对抗源训练任务和目标场景之间的分布转移来提高稠密检索的泛化能力，使用连续对比学习在目标文本上对语言模型进行预训练以适应目标分布，通过基于分布的鲁棒优化重要样本，在未见过的目标查询上优化模型，COCO-DR 在零样本检索基准 BEIR 上获得了优异表现，其代码和模型可以在指定的网址找到。
zero-shot dense retrievaldistribution shiftslanguage modelfine-tuningmodel robustness
发现论文，激发创造
  • 零样本稠密检索的全面探讨

    本文通过第一次全面细致的研究，发现了与源数据集相关的关键因素、目标数据集的潜在偏差和现有零样本 DR 模型，从而提供了关于零样本 DR 模型的更好的理解和发展的重要证据。

    Apr, 2022

  • 如何训练你的龙：向通用密集检索的多样化增强

    通过数据增强、对比学习等方法，本研究提出了一种新的稠密检索算法 DRAGON，使其在有监督检索和零样本检索方面均达到了最新水平，并与复杂的后期交互模型竞争。

    Feb, 2023

  • 重新思考稠密检索的少样本能力

    本文提出 FewDR 数据集和统一评估基准，并消除了现有方法中出现的一些问题。经实证结果表明，当前最先进的 DR 模型仍然在标准 few-shot 场景中面临挑战。

    Apr, 2023

  • 少样本对话密集检索

    本文提出了 ConvDR，一个用于多轮对话的稠密检索系统，它通过学习上下文化嵌入，仅使用嵌入点积来检索文档，并使用教师 - 学生框架赋予 ConvDR 少样本学习能力。在 TREC CAsT 和 OR-QuAC 上的实验表明，ConvDR 在少样本和完全监督的情况下表现优于之前的系统，并且比较高效。

    May, 2021

  • 零样本稠密检索与动量对抗领域不变表示

    提出了一种使用 Momentun 动态学习率的对抗方法在零样本的情况下，通过训练一个区分源域和目标域的域分类器并更新密集检索编码器来学习域不变表示的方法，该方法在 10+ 个 BEIR 基准排名数据集上表现出了显著的增益。

    Oct, 2021

  • DR Loss: 通过分布式排序提高目标检测精度

    本篇论文提出了分布式排名（DR）损失，以在单一阶段识别前景物体时处理前景和背景类别的数量不平衡和背景候选难度的不平衡。本方法不仅缓解了背景候选的内类别不平衡问题，而且提高了排名算法的效率。将 DR 损失应用于 RetinaNet 中，应用 ResNet-101 作为主干网络，单尺度测试的 mAP 即可从 39.1% 提高到 41.7%，证明了所提出的损失函数的有效性。

    Jul, 2019

  • COCO-O：自然分布偏移情况下的目标检测器基准测试

    通过引入基于 COCO 的 COCO-O 测试数据集，研究了 100 多种现代目标检测器的鲁棒性效果，并发现了各种架构设计、数据增强和预训练技术对鲁棒性的影响。

    Jul, 2023

  • 域和相关性分离建模用于可适应的密集检索

    提出一种名为 Disentangled Dense Retrieval（DDR）的新型 Dense Retrieval 框架来支持 DR 模型的有效和灵活的领域自适应，该框架包括一个 Relevance Estimation Module（REM）和几个 Domain Adaption Modules（DAMs），通过使 REM 和 DAMs 分离，DDR 实现了一种灵活的训练范式，在不同的领域和语言中都表现出比强大的 DR 基线更好的排名性能。

    Aug, 2022

  • LaPraDoR：无监督的预训练密集型检索器用于零样例文本检索

    本文提出了 LaPraDoR，这是一种经过预训练的双塔密集检索器，不需要任何监督数据进行训练。我们使用迭代对比学习 (ICoL) 以及词库增强的密集检索 (LEDR) 提高检索准确性，并且在 BEIR 基准测试中取得了最新的最优表现。

    Mar, 2022

  • 选择用于零样本搜索的密集检索器

    选择在没有标签可用的新收集中搜索时使用的密集检索模型是一个重要而困难的问题，因为不同的密集检索模型在不同数据集上的搜索效果差异很大。我们建议信息检索社区考虑这个问题，并提供在无需标签进行评估的零样本设置中选择高效密集检索模型的可靠方法。

    Sep, 2023