Jun, 2024

一种用于快速相似搜索的双指标框架

PDF
TL;DR我们提出了一种新的 “双度量” 框架，用于设计最近邻数据结构。我们的框架基于两个不相似性函数：一个准确但计算代价高的基准度量，和一个廉价但不太准确的代理度量。我们在理论和实践中展示了如何仅使用代理度量构建数据结构，使查询过程达到基准度量的准确性，同时只使用有限次对两个度量的调用。我们的理论结果在两个最流行的最近邻搜索算法（DiskANN 和 Cover Tree）中实例化了该框架。对于任意一个这两个算法，只要用于构建数据结构的代理度量相对于基准度量有界因子的近似，我们的数据结构都能在基准度量方面获得任意好的近似保证。在实证方面，我们将该框架应用于具有计算代价差异的两个机器学习模型评估的文本检索问题。我们观察到，在 MTEB 基准测试中，对于几乎所有的数据集，我们的方法能够在准确度和效率之间获得相比其他方法（如重新排序）更好的平衡。
bi-metricnearest neighbor data structuresproxy metricapproximation guaranteestext retrieval problem
发现论文，激发创造
  • 两阶段度量学习

    本文提出了一个新的两阶段度量学习算法，首先通过计算到一组固定锚点的相似度将每个学习实例映射到概率分布，然后在关联的统计流形上定义输入数据空间上的 Fisher 信息距离，这在输入数据空间中引入了一组具有独特特性的距离度量，不像核化度量学习，我们不需要要求相似度度量是半正定的，而且也可以被解释为具有良好定义的距离逼近的局部度量学习算法。我们在多个数据集上评估了其性能，它明显优于其他度量学习方法和支持向量机（SVM）。

    May, 2014

  • 使用代理实现无需繁琐的距离度量学习

    使用 proxy 点的三元组损失函数能够更快速地优化距离度量学习，提高零样本学习数据集的精度至多 15％，且比其他三元组损失函数的收敛速度块 3 倍。

    Mar, 2017

  • 基于神经相似性度量的大规模推荐系统近似最近邻搜索

    本研究中，我们提出了一种新的方法来扩展近似最近邻搜索到任意匹配函数（例如深度神经网络），并使用可插拔的对抗性训练任务来保证搜索结果的准确性；通过在开源和工业数据集上的实验证明了我们方法的有效性，并在淘宝展示广告平台上进行了全面部署，带来了相当可观的广告收入增长。

    Feb, 2022

  • 线性成本下的度量和非度量近似变换

    本文提出了一种将大规模非度量差异矩阵转换为近似正半定核矩阵的有效而准确的技术，该技术结合了 Nystroem 逼近、潜在双中心化和特征值修正，并在几个大规模差异数据集上进行了实验。

    Nov, 2014

  • 具有泛化保证的监督度量学习

    本篇论文提出一种新的核函数以及一种新的编辑相似性模型，可以更好地优化距离和相似度函数，提高 k 近邻算法的性能，并在学习相似性时考虑到泛化能力与算法的稳定性， 解决了当前度量学习方法的局限性，为特征向量和结构化对象（如字符串或树）的度量学习提供了新方法。

    Jul, 2013

  • 基于设施位置法的深度度量学习

    该研究利用深度网络以端到端的方式学习表示和相似度度量，在全局测度学习的基础上优化深度测度嵌入，进而获得在分类和检索任务上的最先进表现。

    Dec, 2016

  • 自适应度量学习的研究

    本文提出了一种新的自适应度量学习框架，其通过基于 ANN 的度量学习来自适应地学习模型复杂度，并且通过自适应约束的流来进行学习，并通过 Adaptive-Bound Triplet Loss（ABTL）利用输入的约束，通过 Adaptive Hedge 更新（AHU）方法在线更新模型参数，我们在真实世界的图像分类，面部验证和图像检索等各种应用中验证了我们框架的有效性和功效。

    Apr, 2021

  • BAMBOO 中的 Weisfeiler-Leman：新型 AMR 图度量及 AMR 图相似性基准

    本文提出了新型的 Weisfeiler-Leman AMR 相似度度量方法，可以匹配上下文相关子结构，并在节点之间引入 n:m 对齐，同时提出了用于基于图形 MR 相似度测量的 BAMBOO 基准测试，并通过对之前的度量方法和本研究中的度量方法进行分析，结果表明我们提出的新型指标可能成为未来工作的强大基准线。

    Aug, 2021

  • 在线自适应马氏距离估计

    本文介绍了在 Mahalanobis 距离中应用草图技术加速算法的研究，提供了适用于 Mahalanobis 距离的数据结构，可处理自适应查询和在线更新，并与在线学习 Mahalanobis 度量的先前算法相结合。

    Sep, 2023

  • 学习非度量视觉相似度用于图像检索

    本文提出通过神经网络建立非度量相似度函数，从而学习图像的相似度度量与提高基于实例的图像检索表现，实验结果表明该方法在一些标准的图像检索数据集上表现出色。

    Sep, 2017