度量学习中的泛化问题:嵌入层是否应该是嵌入层?
本文研究了深度神经网络中图像对的相似性函数的学习方法,通过利用嵌入集合中的独立性来提高嵌入的鲁棒性,并借助在线梯度提升问题来划分深度网络的最后嵌入层。通过提出两个损失函数来增加集合的多样性,可用于权重初始化过程或训练期间,对图像检索任务的评估表明,我们的度量学习方法在多个数据集上均取得了比业界领先方法更好的表现。
Jan, 2018
本文提出了一种新颖、可推广和快速的方法,定义了一组嵌入函数集合,并通过随机挑选小的标签子集来学习每个嵌入函数。实验证明,这些嵌入集合可创建有效的嵌入函数,这些函数用于图像检索,并在 CUB-200-2011、Cars-196、In-Shop Clothes 检索以及 VehicleID 上提高了最先进的性能。
Aug, 2018
本文提出了一种新的基于 Energy Confused Adversarial Metric Learning(ECAML) 框架的深度度量学习方法,该方法通过引入混淆因子,实现优化强鲁棒度量学习。该方法不仅重视判别性,更强调了泛化能力对零样本图像检索和聚类任务的作用,实验结果显示在 CUB、CARS、Stanford Online Products 和 In-Shop 等数据集上达到了最先进的水平。
Jan, 2019
本文提出了一种深度度量学习的新方法,通过将数据和嵌入空间分割为K个子问题,并在网络的嵌入层中定义的不重叠的子空间中分别学习K个不同的距离度量方式,从而能够更高效地利用嵌入空间,并且相较于之前的方法有更快的收敛速度和更好的泛化效果。实验结果表明,该方法在 CUB200-2011、CARS196、Stanford Online Products、In-shop Clothes 和 PKU VehicleID 数据集的检索、聚类和重新识别任务中的表现显著优于最先进技术。
Jun, 2019
本文通过对深度度量学习算法的客观比较研究,发现了深度度量学习算法饱和度高于文献中表明的水平,并揭示了嵌入空间密度与模型泛化性能之间的相关性,并提出了一种简单有效的训练正则化方法来提高基于排名的深度度量学习模型的性能。
Feb, 2020
本文提出了一种在嵌入空间中进行度量学习损失的数据增强方法,即嵌入式数据增强方法,该方法结合检索扩展和数据库增强的思想,通过生成合成点来获得增强的信息。此方法与现有的度量学习损失相适应,且不影响模型大小、训练速度或优化难度,其与代表性度量学习损失相结合,在图像检索和聚类任务中优于现有的损失和样本生成方法。
Mar, 2020
本论文旨在探究在不需要额外注释或训练数据的情况下,如何学习图像相似性的特征。通过构建一种新的三元组采样策略,实验结果表明,该方法可以显著提高深度度量学习的性能,并在各种标准基准数据集上实现了新的最优结果。
Apr, 2020
本文介绍了一种用于深度度量学习的新型基于距离的正则化方法,即多级距离正则化,可以使嵌入向量之间的成对距离受到多个级别的限制,并对训练过程进行了详细描述以及性能分析。
Feb, 2021
本篇论文研究了机器学习模型中过拟合和泛化的概念,发现Recall@K指标受到数据集中类数目的限制,提出了一种新的检索性能度量方法来估计泛化性能,应用于图像检索方法中,并对深度度量学习的泛化性能提供了新的见解。
Jun, 2023
通过深度度学习,优化深度神经网络的目标函数在创建输入数据的增强特征表示中起着至关重要的作用。然而,基于交叉熵的损失函数对于具有大的类内差异和低的类间差异的输入数据分布来说往往不够充分。深度度量学习旨在通过学习将数据样本映射到代表性嵌入空间的表示函数,以度量数据样本之间的相似性。它利用精心设计的采样策略和损失函数,帮助优化产生具有低类间和高类内方差的区分性嵌入空间的生成。在本章中,我们将概述该领域最新的进展,并讨论最先进的深度度量学习方法。
Dec, 2023