Jul, 2024
LiNR: 在领英上基于模型的神经检索
LiNR: Model Based Neural Retrieval on GPUs at LinkedIn
TL;DR该论文介绍了LinkedIn的大规模基于GPU的检索系统LiNR,该系统支持在GPU模型上进行十亿级索引。我们讨论了使用TensorFlow和PyTorch在生产规模上创建可扩展的可区分搜索索引的经验和挑战。LiNR将项目和模型权重集成到模型二进制文件中,并将索引构建视为一种模型训练形式,描述了如何扩展我们的系统以支持大规模索引,包括全扫描和高效过滤。重点是实现基于属性的预过滤以用于详尽的GPU搜索,并解决通常降低系统质量的KNN搜索中的后过滤常见挑战。我们还提供了多嵌入检索算法和策略来解决检索中的冷启动问题。我们还讨论了通过量化来支持更大索引的先进技术。我们相信LiNR是业界首个基于模型的实时更新检索索引之一。在LinkedIn Feed的网络外推荐中应用LiNR使专业日活跃用户增加了3%。我们预期LiNR是将检索和排序集成为单个GPU模型的一步,简化复杂的基础设施并通过梯度下降实现整个可区分基础设施的端到端优化。