Jun, 2021

关于 DeepImpact、COIL 和信息检索技术的概念框架的简要注释

PDF
TL;DR该论文使用一个概念框架将信息检索中的代表性学习的最新进展进行了组织，包括稀疏和密集表示、无监督和学习表示等四个维度。通过分析发现，COIL 和 DPR、ANCE、DeepCT、DeepImpact 之间的关系以及现有技术的不足之处，论文提出一种名为 uniCOIL 的新技术，并在 MS MARCO 排名数据集上取得了最先进的结果，具有可操作性。
representational learningsparse vs. dense representationsunsupervised vs. learned representationstechniquesunicoil
发现论文，激发创造
  • 一种针对信息检索的表征性方法的概念框架

    本文提出了一个概念框架来理解信息检索和自然语言处理中的最新发展，该框架试图将稠密和稀疏检索方法整合起来，并将文本检索问题分成逻辑评分模型和物理检索模型。作者提出度量器和比较函数，将查询和文档映射到表征空间，并计算查询 - 文档分数，同时分析了密集与稀疏表征和监督与无监督方法的影响。最后，作者提供了一个研究路线图，使得该框架更加清晰且提供未来工作的方向。

    Oct, 2021

  • 从蒸馏到硬负采样：使稀疏神经 IR 模型更加有效

    本文研究基于稀疏表达的 SPLADE 检索器的训练提升方法，结合蒸馏、硬负例挖掘以及预训练语言模型初始化，证明其在效率和效果方面同样具有优势，能够在领域内和零样本情况下实现最先进的结果。

    May, 2022

  • 无监督对比学习密集信息检索

    本文介绍一种无监督训练的密集感知器，使用对比学习 (contrastive learning) 的方法，提高了信息检索的性能，并在多语言检索中表现出强大的跨语言转移能力。

    Dec, 2021

  • 产品问答中高效易于解释的异构数据信息检索

    通过最小化词汇匹配问题，扩展增强的稀疏词汇表示改善了信息检索，并通过联合学习密集语义表示并将其与词汇表示结合来对候选信息进行排序的潜力进行了探讨。我们提出了一种混合信息检索机制，通过最大化词汇和语义匹配来最小化它们的缺点。我们的架构由独立编码查询和信息元素的双重混合编码器组成。每个编码器通过对应文本的可对比学习的术语扩展来联合学习密集语义表示和稀疏词汇表示。我们在包含在线产品页面上可用的典型异构信息的基准产品问答数据集上展示了我们模型的有效性。我们的评估表明，我们的混合方法在 MRR@5 分数上比独立训练的检索器提高了 10.95%（稀疏）和 2.7%（密集）。此外，我们的模型在减少响应时间（延迟）30% 和减少计算负载（FLOPs）约 38% 的同时，提供了更好的可解释性，并且表现与最先进的交叉编码器相当。

    May, 2024

  • SPLADE: 用于第一阶段排序的稀疏词汇和扩展模型

    本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

    Jul, 2021

  • 学习反向索引的检索影响

    本论文提出了一种名为 DeepImpact 的新文档术语加权方案，通过使用 DocT5Query 来丰富文档集合并引入上下文化语言模型，直接估算文档中标记的语义重要性，在效率上提升高达 5.1 倍，与现有方法相比，在文档检索的效果指标上高达 17%。

    Apr, 2021

  • 二值化稀疏表示实现高效文本检索的超高维度方法

    本文提出了一种超高维度的表示方案，结合了符号和潜在形式的稀疏表示和神经模型的密集表示，具有直接可控的稀疏度，可以用于高效存储和搜索，并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。

    Apr, 2021

  • 信息检索的稀疏词法和扩展模型 SPLADE v2

    本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

    Sep, 2021

  • SPRINT：零射懿蜷神经稀疏检索的统一工具包

    SPRINT 是一个基于 Pyserini 和 Lucene 的统一 Python 工具包，支持评估神经稀疏检索。通过在 BEIR 上建立强大且可复现的零样本稀疏检索基线，我们的结果表明 SPLADEv2 在所有神经稀疏检索器中取得了最佳的平均 0.470 nDCG@10 分数。

    Jul, 2023

  • 面向语料库的无监督语言模型预训练用于密集文本检索

    本文提出了 coCondenser 方法，将 Condenser 预训练架构与无监督语料级对比损失相结合，减轻了密集检索器对大规模训练数据和数据工程的依赖，并通过实验表明，该方法具有与 RocketQA 相当的性能。

    Aug, 2021