EMNLPOct, 2022

矩阵分解在跨编码器模型最近邻搜索中的高效应用

PDF
TL;DR本文提出了一种仅依赖于交叉编码器的检索方法，并使用 CUR 分解使得此方法在可接受的计算成本内提供了比基于双编码器或 TF-IDF 的现有方法更好的检索结果，尤其是针对超过 10 个邻居搜索的情况。
k-nearest neighbor searchneural similarity modelscross-encodercur decompositiontest-time recall
发现论文，激发创造
  • 基于交叉编码器的自适应检索与可扩展索引的 k-NN 搜索

    通过稀疏矩阵因子分解方法，我们的研究提出了一种高效计算潜在查询和项目嵌入以近似 CE 分数的方法，并通过近似 CE 相似性执行 k-NN 搜索。我们的方法在提高检索召回率的同时，实现了 CUR-based 和 DE-based 方法的 100 倍和 5 倍的速度提升。

    May, 2024

  • 基于 CUR 的 k-NN 搜索与交叉编码器的自适应锚定项选择

    本研究提出了一种针对实际中 k-NN 查询困难的问题，采用近似矩阵分解技术的方法进行高效向量检索，该方法可以自适应地选择锚定项，以最小化检索近似误差。研究实验证明，该方法相对于使用 BM25 或双编码器的传统检索方法和 ANNCUR 方法，能够提高 k-NN 检索率。

    May, 2023

  • 跨编码器重新排序中基于多维相关性语句的文档增强

    该论文提出了一种新颖的方法来考虑跨编码器重新排序中除主题外的多个相关性维度，并实验结果表明该方法在已公开数据集上的表现优于基于聚合和跨编码器的重新排序方法。

    Jun, 2023

  • 矩阵分解的高效混合维度嵌入

    本文提出了两种采用混合维度嵌入的矩阵分解模型，可以采用交替最小二乘法以大规模并行的方式进行优化，并针对用户和项目的流行度偏斜实现了是用稀疏，混合维度或共享嵌入降低参数数量和过度拟合的研究。

    May, 2022

  • 邻居应用连带多个候选项的比较：实现高效和有效的检索

    通过对比多个候选嵌入，CMC 框架提供上下文化的表示，并且能够同时处理多个比较，从而作为轻量级的重新排序器和加强的检索器。

    May, 2024

  • 为实体检索学习密集表示

    使用双编码器模型，在相同的密集向量空间中对实体和提及进行编码，并通过近似最近邻搜索检索候选实体，从而实现实体链接。通过使用维基百科中的锚文本链接训练双编码器，该方法优于离散别名表和 BM25 基线，并且与标准 TACKBP-2010 数据集中最佳结果相当，还可以快速检索候选者，并可以很好地推广到从 Wikinews 推导出的新数据集。在建模方面，我们演示了无监督的负采矿算法在这一任务中的重要作用。

    Sep, 2019

  • 具有共享用户嵌入的交叉属性矩阵分解模型

    通过将深度学习技术应用于推荐系统，本文提出了一种改良的跨属性矩阵因子分解模型，该模型不仅考虑了用户与物品之间的交互，还跨越了相关属性，有效解决了冷启动问题。实验证明，在高数据稀疏性的情况下，该模型在 Movielens 和 Pinterest 数据集上表现优越。

    Aug, 2023

  • 低延迟检索的浅交叉编码器

    我们展示了在低延迟情境下，基于较浅的变形器模型（即具有有限层数的变形器）的交叉编码器实际上比全规模模型表现更好，因为它们可以在相同的时间预算内估计更多文档的相关性。我们进一步展示，较浅的变形器模型可能受益于目前成功应用于推荐任务的广义二进制交叉熵 (gBCE) 训练方案。我们在 TREC 深度学习通过排序查询集上的实验中，展示了低延迟环境下较浅和全规模模型的显着改进。

    Mar, 2024

  • 信息检索的多元表示学习

    本文提出了一种新颖的表示学习框架，用于密集检索模型，框架采用多元分布作为表示，使用负多元 KL 散度计算相似性，在现有的最近邻算法中无缝集成，实验结果表明，较竞争的密集检索模型有显著的改进。

    Apr, 2023

  • k - 相似编码重新排序的人物再识别

    本研究提出一种基于 k-reciprocal 编码和 Jaccard 距离的自动化重新排名方法，在人员再识别方面取得了好的效果，并且可以适用于大规模数据集。

    Jan, 2017