SIGIRMay, 2023

基于已学稀疏检索的长文档适应性

PDF
TL;DR本研究探讨了通过使用近似评分适应长文档的已有聚合方法、并给出了将顺序依赖模型（SDM）应用于学习到的稀疏检索（LSR）的两种改进方法：ExactSDM 和 SoftSDM。结果表明，这些改进方法优于现有的 LSR 聚合方法，并且 SoftSDM 对 ExactSDM 并没有提供任何性能优势。这表明，软接近匹配在 LSR 中不是建模词语依赖性的必要条件。
发现论文，激发创造
  • 多模态学习稀疏检索与概率扩展控制

    通过利用 Bernoulli 随机变量控制查询扩展，我们提出的训练算法能够有效减少高维共同激活和语义偏差，并在多模态设置中训练了一种有效的 LSR (learned sparse retrieval) 检索模型，该模型在训练时间和 GPU 内存需求方面优于现有的文本 - 图像 LSR 模型。

    Feb, 2024

  • SPLADE: 用于第一阶段排序的稀疏词汇和扩展模型

    本文介绍了基于显式稀疏正则化和对术语权重的对数饱和效应的首位排序器，具有高度稀疏的表示，与最先进的密集和稀疏方法相比取得了有竞争力的结果，并探讨了效率和效果之间的平衡。

    Jul, 2021

  • 词汇加速的密集检索

    LADR 是一种简单而有效的方法，通过利用词法检索技术来提高现有的密集检索模型的效率，同时不影响检索效果，建立了一种新的近似 k 最近邻技术的密集检索效率 - 效果 Pareto 边界。

    Jul, 2023

  • 信息检索的稀疏词法和扩展模型 SPLADE v2

    本文通过对 SPLADE 模型的改进，在效率和效果上都有了提升，其中包括修改 pooling 机制、基于文档扩展的模型、引入蒸馏训练，最终取得了在 BEIR 测试上最新的最优结果。

    Sep, 2021

  • 通过语境化语言模型和分层推断进行自监督文档相似性排名

    提出了一种自我监督方法 SDR，可以用于任意长度的文档相似度计算，评估结果显示，SDR 在所有指标上显著优于其它方法。

    Jun, 2021

  • SeDR: 面向长文档的片段表示学习与密集检索

    通过提出基于区间表征的密集检索技术（SeDR），采用区间交互 Transformer 编码超长的文档，并提出延迟缓存负样本的方法，提高了文档的表征质量和检索性能。在 MS MARCO 和 TREC-DL 数据集上的实验证明了该方法在长文档检索中的优越性。

    Nov, 2022

  • 弥合差距：有效映射 PubMed 查询与文档的语义相似度度量

    提出了一种基于 Word Mover's Distance 计算单词间距离的查询 - 文档相似度测量方法，利用神经词嵌入在检索无直接匹配的情况下发现相关词，并将其与 BM25 相结合，结果在 TREC Genomics 数据上平均精度平均提高 12％，在来自 PubMed 搜索日志的真实数据集上，结合学习排序的方法，正确率提高了 25％，表明该方法与 BM25 的结合可以产生更出色的性能。

    Aug, 2016

  • 密集稀疏检索：使用稀疏语言模型进行推理高效密集检索

    研究使用稀疏语言模型替代矢量检索系统来提高推理效率，实验结果表明使用 MSMARCO 数据集，精确度几乎没下降，推理速度最多提高了 4.3 倍。

    Mar, 2023

  • UDAPDR：基于 LLM 加速的无监督域自适应及 Reranker 蒸馏方法

    通过使用大型语言模型 (LLMs) 生成大量合成的查询，可以在不使用大量标记的数据的情况下，有效地优化实现信息检索任务，同时消除因为领域的转变而导致真实世界应用效力降低的问题。

    Mar, 2023

  • 利用长短时记忆进行信息检索的语义建模

    我们使用长短时记忆（LSTM）来捕捉上下文依赖关系，以解决信息检索中的词汇不匹配和长期上下文建模问题，从而显着优于现有的网络文档检索方法。

    Dec, 2014