Feb, 2023

腾讯的基于二进制编码的检索

PDF
TL;DR提出了一种基于二进制嵌入的检索引擎，利用轻量级的转换模型和残差多层感知器 (MLP) 块将完整精度的查询和文档嵌入压缩成多个二进制向量的组合，并使用嵌入到嵌入的策略来实现无需任务的高效训练。对离线基准和在线 A/B 测试进行了广泛的实验，证明了该方法的效率和有效性，在几乎不损失系统准确性的情况下，显著节省了 30%~50% 的索引成本。
embedding-based retrievalbinary embedding-based retrievalbinarization algorithmrecurrent binarizationsymmetric distance calculation
发现论文，激发创造
  • 适用于 GPU 的循环二元嵌入在十亿级语义向量中进行全面检索

    利用深度学习及 GPU 硬件快速检索亿级信息的新机会，本文提出了基于循环二进制嵌入模型的实时检索算法，该模型具有逐渐添加二进制残差向量以满足所需准确性的特点，并配合由作者提出的近乎无损的 k-NN 选择算法，实现了针对超过十亿候选项的实时检索和排名。实验证明 RBE 模型大幅优于二进制表示模型和基于全精度语义嵌入模型的现有模型，在生产检索系统上的表现也有所提升。

    Feb, 2018

  • 面向可扩展嵌入式检索的逐步优化的双粒度文档表示

    通过生物粒度文档表示法、稀疏嵌入与压缩感知量化等技术，采用基于深度学习的文档表示和 ANN 搜索技术，设计 Progressive Optimization 框架，实现了大规模的 EB 检索，并在百万级和百亿级的数据集上分别实现了高达 +4.3% 到 +17.5% 的提高检出率，同时在一个搜索平台上实现了较大的回报、回忆和 CTR 这些度量方面的提升。

    Jan, 2022

  • Uni-Retriever: 在 Bing 赞助搜索中学习统一嵌入式检索器

    本文提出了一种新的框架 Uni-Retriever，通过知识蒸馏和对比学习的方式，联合进行高相关性和高 CTR 检索的多目标学习过程，以生成嵌入式向量进行嵌入式检索，该检索方式可以实现广告检索的两个目标。经多项测试验证，该方法显著提高了 Bing 检索系统的检索效果。

    Feb, 2022

  • Facebook 搜索中基于嵌入的检索

    本研究探讨如何将基于嵌入式检索的技术应用于 Facebook 搜索系统，介绍了用于建模语义嵌入的统一嵌入框架和在基于倒排索引的典型搜索系统中提供嵌入式检索的系统，以及整个系统的端到端优化技巧和经验。该方法可显著改善 Facebook 搜索垂直领域的度量标准。

    Jun, 2020

  • 实时搜索中的事件增强检索

    提出了一种名为 EER 的新方法，该方法通过改进传统 EBR 的双编码器模型、引入对比学习和生成式事件三元组提取方案，以及相关学习实现事件关联查询编码器优化，提高了实时检索性能，有望为信息检索领域带来新的视角。

    Apr, 2024

  • 基于嵌入式技术的淘宝搜索商品检索

    本文探讨了电子商务平台中产品检索服务的质量问题。针对嵌入式检索系统中存在的问题，提出了一种新的多粒度深层语义产品检索模型。改进的算法通过平滑噪声数据和生成硬负样本来提高相关性，并在淘宝搜索上进行了线下和在线实验，证明了其有效性，并成功应用于现有的多通道检索系统中。

    Jun, 2021

  • 适用于内存高效密集检索的领域适应

    本文探讨了二进制文档向量的性能及传统压缩技术的局限性，并提出了一个基于 GPL 的领域自适应策略，可在不需要标注训练数据的情况下，将 BPR 和 JPQ 调整适应任何语料库，提高了 nDCG@10 平均 11.6 - 19.3 分，并且仍保持了 32 倍的内存效率。

    May, 2022

  • 基于二进制符号索引的半参数检索

    信息检索的研究领域逐渐扩大，从搜索服务发展为各种高级应用的关键组成部分。为了提高检索效率、成本效益和实时性，本文介绍了一种名为 Semi-parametric Vocabulary Disentangled Retrieval（SVDR）的新型半参数化检索框架。在三个开放域问答基准测试中，使用整个维基百科语料库进行评估，SVDR 始终显示出卓越性能。它使用基于嵌入的索引在 top-1 检索准确率上比基于嵌入的检索方法 DPR 高出 3％，使用基于二进制令牌的索引在 top-1 准确率上比 BM25 高出 9％。采用二进制令牌索引的方式将索引准备时间从 30 个 GPU 小时减少到仅需 2 个 CPU 小时，存储空间从 31 GB 减少到 2 GB，实现了 90％的降低，相较于基于嵌入的索引。

    May, 2024

  • Que2Engage: Facebook Marketplace 相关和吸引人的产品检索基于嵌入技术

    本文介绍了一种基于嵌入式检索的电子商务搜索技术，提出了一种多模态、多任务的搜索嵌入式检索系统，称为 Que2Engage，旨在缩小检索与排名之间的差距以及在平衡不同商业目标的同时提供更好的搜索体验。该方案在 Facebook Marketplace Search 上实施后，两周内的 A/B 测试结果表明，搜索器的参与度有了显著性的提升。

    Feb, 2023

  • 图的伯努利嵌入

    通过将图表数据的嵌入视为不同偏置下的独立硬币翻转，应用持续优化技术来获得二元向量的简单且有效模型，得出了优于谱图嵌入和各种学习实值嵌入的量化结果，可以显著降低图表数据检索的延迟。

    Mar, 2018