WWWJan, 2022

面向可扩展嵌入式检索的逐步优化的双粒度文档表示

PDF
TL;DR通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。
embedding-based retrievalbi-granular document representationprogressive optimizationcontrastive quantizationlocality-centric sampling
发现论文，激发创造
  • 腾讯的基于二进制编码的检索

    提出了一种基于二进制嵌入的检索引擎，利用轻量级的转换模型和残差多层感知器 (MLP) 块将完整精度的查询和文档嵌入压缩成多个二进制向量的组合，并使用嵌入到嵌入的策略来实现无需任务的高效训练。对离线基准和在线 A/B 测试进行了广泛的实验，证明了该方法的效率和有效性，在几乎不损失系统准确性的情况下，显著节省了 30%~50% 的索引成本。

    Feb, 2023

  • Uni-Retriever: 在 Bing 赞助搜索中学习统一嵌入式检索器

    本文提出了一种新的框架 Uni-Retriever，通过知识蒸馏和对比学习的方式，联合进行高相关性和高 CTR 检索的多目标学习过程，以生成嵌入式向量进行嵌入式检索，该检索方式可以实现广告检索的两个目标。经多项测试验证，该方法显著提高了 Bing 检索系统的检索效果。

    Feb, 2022

  • 通过生成伪查询嵌入以改善密集检索的文档表示

    本论文提出了一种基于聚类的检索模型，通过迭代聚类过程来模拟查询，并将文档表示为多个伪查询，通过两步得分计算程序优化匹配函数，实现了高效的近似最近邻搜索，达到了最先进的结果。

    May, 2021

  • 二值化稀疏表示实现高效文本检索的超高维度方法

    本文提出了一种超高维度的表示方案，结合了符号和潜在形式的稀疏表示和神经模型的密集表示，具有直接可控的稀疏度，可以用于高效存储和搜索，并且在 MS MARCO 和 TREC CAR 数据集上得到了比其他稀疏模型更好的性能。

    Apr, 2021

  • 适用于 GPU 的循环二元嵌入在十亿级语义向量中进行全面检索

    利用深度学习及 GPU 硬件快速检索亿级信息的新机会，本文提出了基于循环二进制嵌入模型的实时检索算法，该模型具有逐渐添加二进制残差向量以满足所需准确性的特点，并配合由作者提出的近乎无损的 k-NN 选择算法，实现了针对超过十亿候选项的实时检索和排名。实验证明 RBE 模型大幅优于二进制表示模型和基于全精度语义嵌入模型的现有模型，在生产检索系统上的表现也有所提升。

    Feb, 2018

  • 实时搜索中的事件增强检索

    提出了一种名为 EER 的新方法，该方法通过改进传统 EBR 的双编码器模型、引入对比学习和生成式事件三元组提取方案，以及相关学习实现事件关联查询编码器优化，提高了实时检索性能，有望为信息检索领域带来新的视角。

    Apr, 2024

  • Facebook 搜索中基于嵌入的检索

    本研究探讨如何将基于嵌入式检索的技术应用于 Facebook 搜索系统，介绍了用于建模语义嵌入的统一嵌入框架和在基于倒排索引的典型搜索系统中提供嵌入式检索的系统，以及整个系统的端到端优化技巧和经验。该方法可显著改善 Facebook 搜索垂直领域的度量标准。

    Jun, 2020

  • 适用于内存高效密集检索的领域适应

    本文探讨了二进制文档向量的性能及传统压缩技术的局限性，并提出了一个基于 GPL 的领域自适应策略，可在不需要标注训练数据的情况下，将 BPR 和 JPQ 调整适应任何语料库，提高了 nDCG@10 平均 11.6 - 19.3 分，并且仍保持了 32 倍的内存效率。

    May, 2022

  • 基于嵌入式技术的淘宝搜索商品检索

    本文探讨了电子商务平台中产品检索服务的质量问题。针对嵌入式检索系统中存在的问题，提出了一种新的多粒度深层语义产品检索模型。改进的算法通过平滑噪声数据和生成硬负样本来提高相关性，并在淘宝搜索上进行了线下和在线实验，证明了其有效性，并成功应用于现有的多通道检索系统中。

    Jun, 2021

  • 增强嵌入用于定制检索

    信息检索中的全面检索方法被应用于大型语言模型的前提学习中，这些检索方法早期用于经典应用，但近期多用于异构且严格的应用，需要改进小 K 值的检索。我们提出了一种改进的密集检索方法，通过学习预训练嵌入的低秩残差适应来实现任务特定、异构且严格的检索，并在实验证明我们的方法相比于基于通用嵌入的基线有所改进。

    Oct, 2023