May, 2024

基于二进制符号索引的半参数检索

PDF
TL;DR信息检索的研究领域逐渐扩大，从搜索服务发展为各种高级应用的关键组成部分。为了提高检索效率、成本效益和实时性，本文介绍了一种名为 Semi-parametric Vocabulary Disentangled Retrieval（SVDR）的新型半参数化检索框架。在三个开放域问答基准测试中，使用整个维基百科语料库进行评估，SVDR 始终显示出卓越性能。它使用基于嵌入的索引在 top-1 检索准确率上比基于嵌入的检索方法 DPR 高出 3％，使用基于二进制令牌的索引在 top-1 准确率上比 BM25 高出 9％。采用二进制令牌索引的方式将索引准备时间从 30 个 GPU 小时减少到仅需 2 个 CPU 小时，存储空间从 31 GB 减少到 2 GB，实现了 90％的降低，相较于基于嵌入的索引。
information retrievalsemi-parametric vocabulary disentangled retrievalembedding-based indexbinary token indexopen-domain question answering
发现论文，激发创造
  • 腾讯的基于二进制编码的检索

    提出了一种基于二进制嵌入的检索引擎，利用轻量级的转换模型和残差多层感知器 (MLP) 块将完整精度的查询和文档嵌入压缩成多个二进制向量的组合，并使用嵌入到嵌入的策略来实现无需任务的高效训练。对离线基准和在线 A/B 测试进行了广泛的实验，证明了该方法的效率和有效性，在几乎不损失系统准确性的情况下，显著节省了 30%~50% 的索引成本。

    Feb, 2023

  • 基于远程监督的检索式解耦

    本文提出了一种基于语言远程监督的检索式分离框架，称为 Vocabulary Disentanglement Retrieval~(VDR)，其依赖于生物编码器架构并具有解缠头，经过与其他基线方法的比较，VDR 在大多数任务中都表现优异，并提高了可解释性和效率。

    Dec, 2022

  • 面向可扩展嵌入式检索的逐步优化的双粒度文档表示

    通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。

    Jan, 2022

  • 二值化稀疏表示实现高效文本检索的超高维度方法

    本文提出了一种超高维度的表示方案，结合了符号和潜在形式的稀疏表示和神经模型的密集表示，具有直接可控的稀疏度，可以用于高效存储和搜索，并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。

    Apr, 2021

  • 适用于内存高效密集检索的领域适应

    本文探讨了二进制文档向量的性能及传统压缩技术的局限性，并提出了一个基于 GPL 的领域自适应策略，可在不需要标注训练数据的情况下，将 BPR 和 JPQ 调整适应任何语料库，提高了 nDCG@10 平均 11.6 - 19.3 分，并且仍保持了 32 倍的内存效率。

    May, 2022

  • 是否已经到达目的地？一种替换基于词项检索的密集检索系统的决策框架

    本论文提出具有一套标准的框架来比较两种检索系统，该框架以除了简单效果措施之外的标准来衡量，旨在评估一个系统取代另一个系统的准备情况。在 Web 排名方案中，最先进的 DR 模型不仅在平均性能方面表现出色，而且通过广泛的保护装置测试，在不同的查询特征，词汇匹配，一般化和回归数量方面展现了稳健性。

    Jun, 2022

  • BTR: 用于高效检索的二进制标记表示增强语言模型

    使用二进制标记表示，结合离线和运行时压缩，减少计算量和存储占用，在保持任务性能超过 95% 的同时，加速了最先进的推理速度达到 4 倍，并减少了 100 倍的存储空间。

    Oct, 2023

  • 一种对称双编码密集检索框架用于知识密集型视觉问答

    本研究提出一种将检索器和阅读器相结合的新 KI-VQA 流程，并通过 DEDR 和 MM-FiD 两种方法进行知识密集型视觉问答 (KI-VQA) 任务，在两个著名的 KI-VQA 数据集 OK-VQA 和 FVQA 上进行了广泛评估，证明了该方法在准确率上优于现有技术。

    Apr, 2023

  • 可微搜索指针的 Transformer 内存

    本文提出可使用单个 Transformer 完成信息检索，通过 DifferentiableSearch Index 实现将文本的所有信息编码于模型参数中，使得检索过程大为简化，实验结果显示该方法明显优于双编码器模型以及 BM25 基线方法。

    Feb, 2022

  • 生成式密集检索：内存可能成为负担

    提出了生成检索（GR）和生成稠密检索（GDR）两种机制，通过克服记忆机制的精度、记忆混淆和记忆更新成本等问题，在小规模语料库中实现了较好的检索性能和可扩展性。

    Jan, 2024