Jan, 2022

使用梯度手术探究不同损失函数的影响

PDF
TL;DR利用 pair-wise loss 进行度量学习可以通过梯度分解来统一当前的损失函数，并明确构建配对梯度更新，以最大程度地提高对图像数据集的检索精度。
pair-wise lossmetric learningsemantic embeddinggradient decompositionimage retrieval
发现论文，激发创造
  • Circle Loss：一种统一的对偶相似性优化视角

    本文提供了一个对深度特征学习进行相似性优化的观点，介绍了一种更灵活的 Circle 损失函数，并且在人脸识别、人员重新识别以及一些细粒度图像检索数据集上展示了 Circle 损失的卓越性能。

    Feb, 2020

  • 提高多标签图像分类的成对排名

    本研究提出两种技术来改进基于成对排名的多标签图像分类：（1）我们提出了一种新的损失函数，平滑且容易优化；（2）我们将标签决策模块纳入模型，估算每个视觉概念的最优置信阈值。我们在三个大规模数据集（VOC2007、NUS-WIDE 和 MS-COCO）上展示了我们方法的有效性，并取得了文献中报道的最佳结果。

    Apr, 2017

  • 深度度量学习的通用配对加权多相似性损失

    本文提出了一种基于对比度计算的新的损失函数，并建立了通用对权重（GPW）框架，将深度度量学习的采样问题转化为对加权问题。通过对三个相似度的归一化，提出了一种新的多相似度损失（MS 损失）来收集和加权信息对，得到了较好的性能表现。

    Apr, 2019

  • 基于配对损失函数的在线学习

    本文研究了在线学习算法中带有成对损失函数的泛化性能，并提出了一种数据依赖性较小的界限来衡量在线学习算法的平均风险产生的序列的模型偏差，同时针对常见的机器学习问题，如基于排名和监督度量学习提出了实际应用案例。

    Jan, 2013

  • 深度度量学习的代理锚定损失

    该研究提出了一种新的代理损失方法，它结合了基于对和代理的方法的优点并克服了它们的局限性，同时具有更快的收敛速度和对嘈杂标签和离群值的鲁棒性，能充分利用数据之间的关系，其中该方法在四个公共基准测试中表现出最先进的性能和最快的收敛速度。

    Mar, 2020

  • 使用 Hinge 对比距离损失和正交表示的单类别推荐系统

    本研究提出了一种利用类似集合训练模型的方法，通过添加基于 hinge 和正交约束的两个新项到目标函数中，避免了训练过程中出现的收缩、部分收缩和崩溃问题，并在公共和真实数据集上的实验表明，在只使用类似对的情况下，该方法优于采用大量非类似对的最先进的方法。

    Aug, 2022

  • 深层度量学习的群体损失

    本文提出了 Group Loss 损失函数，基于可微的标签传播方法实现了嵌入在奇异样本中的相似性、不同群组间的低密度特征，得到了用于聚类和图像检索的先进结果。

    Dec, 2019

  • 面向内容的图像检索的类锚点裕量损失函数

    本文中，我们提出了一种新的损失函数，它能够直接优化 L2 度量，而无需生成成对数据，从而提高了内容图像检索任务中神经网络的性能。我们使用 CIFAR-100、食品 - 101、SVHN 和 Tiny ImageNet 这四个数据集进行了实验评估，结果表明，与现有的目标函数相比，我们提出的目标函数产生了更好的结果。

    Jun, 2023

  • 关于在线学习算法在成对损失函数中的泛化能力

    本文研究了基于在线学习的随机方法的泛化特性，提出了一种通用的解耦技术，可以提供基于 Rademacher 复杂度的泛化误差界限，并进一步分析了一类内存效率的在线学习算法。

    May, 2013

  • 梯度反演重建质量的预测：优化视角

    通过使用自适应的损失函数，本研究提出了一种用于梯度逆转攻击的敏感性代理指标，该指标能够更准确地捕捉样本的脆弱性，并为以后在联邦学习中应对多种潜在损失函数的安全问题提供了解决方案。

    Dec, 2023