学习 Mahalanobis 距离度量的样本复杂度
本文提出一种快速且可扩展的机器学习算法,用于学习马氏距离指标,并利用凸优化原理和梯度下降方法解决距离度量问题,实现在计算复杂性方面的显著提高,达到与现有方法相当的分类准确度。
Mar, 2010
本文系统地综述了度量学习的前沿研究进展,着重分析了 Mahalanobis 距离度量学习、非线性度量学习、局部度量学习等新近涌现的强大替代方法,讨论了对于结构化数据的度量学习中仍存在的挑战,旨在给出度量学习近年来的发展方向。
Jun, 2013
本文提出了一种基于连续凸损失优化的简单优雅方法,用于线性距离度量学习,并针对不同的噪声模型推导了相应的损失函数。研究结果表明,即使数据存在噪声,只要样本充足就可以学习到地面事实线性度量,并提供相应的样本复杂度限制。此外,我们还提出了一种有效地将学习模型截断为低秩模型的方法,该方法可证明在损失函数和参数方面都能保持准确性,这是该领域首次出现这种结果。实验结果表明了理论结果的正确性。
Jun, 2023
本篇论文提出一种新的核函数以及一种新的编辑相似性模型,可以更好地优化距离和相似度函数,提高 k 近邻算法的性能,并在学习相似性时考虑到泛化能力与算法的稳定性, 解决了当前度量学习方法的局限性,为特征向量和结构化对象(如字符串或树)的度量学习提供了新方法。
Jul, 2013
研究在线非参数回归算法,可以学习回归函数平滑的方向;基于回归函数梯度外积矩阵 G,学习 Mahalanobis 度量(可以自适应 G 矩阵的有效秩),同时考虑到 G 的频谱,限制在相同数据序列上的遗憾;作为分析的初步步骤,将 Hazan 和 Megiddo 的非参数在线学习算法扩展,使其能够竞争相对于任意 Mahalanobis 度量计量 Lipschitzness 的函数。
May, 2017
在高维背景下,本文通过对数据的随机压缩版本进行训练和全秩度量,在距离度量学习的错误方面提供了理论保证,这不依赖于环境维度,同时假定数据来自有界支持并自动在存在良好几何结构时收缩。合成和真实数据集的实验结果支持我们在高维背景下的理论发现。
Sep, 2023
本文利用 U 统计和 Rademacher 复杂性分析方法,针对度量学习和相似度学习,推导出了一种新的泛化边界方法,证明了 L1 范数正则化的稀疏度量学习和相似度学习可能比 Frobenius 范数正则化的模型具有更好的边界效果。
Jul, 2012
本文提出了一个新的两阶段度量学习算法,首先通过计算到一组固定锚点的相似度将每个学习实例映射到概率分布,然后在关联的统计流形上定义输入数据空间上的 Fisher 信息距离,这在输入数据空间中引入了一组具有独特特性的距离度量,不像核化度量学习,我们不需要要求相似度度量是半正定的,而且也可以被解释为具有良好定义的距离逼近的局部度量学习算法。我们在多个数据集上评估了其性能,它明显优于其他度量学习方法和支持向量机(SVM)。
May, 2014
本文介绍了在 Mahalanobis 距离中应用草图技术加速算法的研究,提供了适用于 Mahalanobis 距离的数据结构,可处理自适应查询和在线更新,并与在线学习 Mahalanobis 度量的先前算法相结合。
Sep, 2023