内在维度对于压缩下度量学习的影响
本文提出了一种基于连续凸损失优化的简单优雅方法,用于线性距离度量学习,并针对不同的噪声模型推导了相应的损失函数。研究结果表明,即使数据存在噪声,只要样本充足就可以学习到地面事实线性度量,并提供相应的样本复杂度限制。此外,我们还提出了一种有效地将学习模型截断为低秩模型的方法,该方法可证明在损失函数和参数方面都能保持准确性,这是该领域首次出现这种结果。实验结果表明了理论结果的正确性。
Jun, 2023
该研究提出了一种自我监督的生成辅助排序框架,以半监督视角获得典型监督深度度量学习的类内方差学习方案,该方法通过样本合成以模拟类内样本的复杂变换,并设计了自我监督学习思想下的类内排名损失函数来捕获微妙的类内变异性,从而增强了下游任务的有效性。实验表明,这种方法优于现有最先进的方法。
Apr, 2023
提出了一种学习跨多个不同领域数据集应用的传输度量的框架,在使用基于嵌入空间的指定聚类的情况下,在少量训练集和浅层网络的情况下,我们在多个变量复杂度的数据集上实现与最新技术水平相当的结果。
Feb, 2023
这项工作提供了基于 PAC 风格的样本复杂度给监督式度量学习,并通过使用数据分布的结构,展示了适用于特定隐含复杂的例子的适当匹配的速率。实验也表明,规范化度量学习优化准则可以帮助适应数据集的固有复杂性,从而提高泛化性能。
May, 2015
该研究提出了一种使用参数化相似性度量的方法,将其作为具有特定稀疏结构的秩一矩阵的线性组合,此方法可以高效地处理高维稀疏数据,并通过近似的 Frank-Wolfe 过程优化参数以满足训练数据上的相对相似性约束,实验结果表明该方法具有分类、降维和数据探索的潜力。
Nov, 2014
高维数据具有令人惊讶的特性:仅使用简单的线性分类器就可以高概率地将数据点配对分开,甚至从任意子集中分离出来。我们引入了数据分布的内在维度的新概念,精确地捕捉了数据的可分离性质。对于这个内在维度,以上的经验法则成为一条规律:高内在维度保证了数据的高可分离性。我们将这个概念扩展为两个数据分布的相对内在维度,并证明它提供了成功学习和推广二元分类问题的概率的上下界。
Oct, 2023
本文提出了一种新的度量学习方法,将其框架构建为学习一种稀疏组合的本地判别度量,这种度量可以从训练数据中生成,从而可以自然地推导出全局、多任务和本地的度量学习公式。通过数理分析和实验验证,本方法比现有方法具有更少的参数和更好的可扩展性,从而提高了分类性能。
Apr, 2014
本文提出了确定内在维度函数的计算方法,通过将数学测量集中现象公理地与内在维度联系起来,我们证明了其计算的可行性,并在模型中体现了复杂数据的几何特性,特别地,我们提出了一种将邻域信息纳入内在维度的主要方式,使得对常见图学习过程的新洞察成为可能。
Oct, 2022
用低秩方法从数据中学习马氏度量,该方法受到几何平均度量学习算法的启发,可以联合学习低维子空间和适合数据的马氏度量,结果显示在更低的秩下可以有效地与几何平均度量学习算法竞争。
Jun, 2018