AAAIOct, 2022

利用等距逼近定理对硬负样本挖掘的数学证明

PDF
TL;DR本文讨论了利用等距逼近理论解决深度度量学习中 Triplet Loss 网络崩塌问题以及 Hard Negative Mining 的理论依据，并提出了未来避免网络崩塌的 Hard Negative Mining 方法。此理论还可拓展至其他基于欧几里得空间的度量学习方法。
deep metric learningtriplet losshard negative miningisometric approximationnetwork collapse
发现论文，激发创造
  • 难负例虽难，但有用

    本文主要研究了三元组损失的应用，通过对三元组的空间特征进行特征分析，发现选择最难的负样本会导致失败的训练行为。为此，提出了简单的修复方法来优化损失函数，展示了使用硬负样本进行优化会产生更具可推广性的特征，从而在高内类差异数据集的图像检索结果中胜过现有技术成果。

    Jul, 2020

  • 深度度量学习的智能挖掘

    本文提出了一种新颖的深度度量学习方法，该方法将三元组模型和嵌入空间的全局结构相结合，依赖于智能挖掘过程以在低计算成本下产生有效的训练样本，通过自适应控制器来加快训练过程的收敛速度，并在实验证明相比其他竞争挖掘方法，我们的方法可以更快地进行更准确的三元组 ConvNets 训练，同时在 CUB-200-2011 和 Cars196 数据集上实现了最新的嵌入结果。

    Apr, 2017

  • 度量学习的经验适用于图像字幕检索吗？

    在基于图像标题检索的任务中，三元组损失与半硬负例已成为从头开始优化的方法的事实选择。最近度量学习的进展已经产生了比三元组损失在图像检索和特征表示等任务上效果更好的损失函数。本文通过比较两种基于图像标题检索方法上的三种损失函数来回答这个问题，结论是否定的：在基于图像标题检索的任务中，三元组损失与半硬负例仍然优于度量学习中新近引入的损失函数。我们使用一种计数方法来进行分析来获得更好的理解这些结果。

    Feb, 2022

  • 基于度量学习的零样本分类的难负样本挖掘

    本文基于 Bucher 等人的工作，引入了一种新颖的度量学习目标函数，该函数可与图像和属性之间的相似度一起学习属性的最佳嵌入。本文通过提出若干控制生成负对的方案来扩展这种方法，在三个具有挑战性的零样本分类数据集上，获得了显着的性能提高，达到了最高水平的结果。

    Aug, 2016

  • 理论上完整的三元组损失上界，以提高深度距离度量学习的效率

    本文提出了一种新的线性损失函数来优化深度距离度量学习中的三元组损失函数，无需使用类别中心点最优化步骤，并有了实际运行时间复杂度为线性的算法。该方法在基准数据集上达到了竞争性的检索准确性结果。

    Apr, 2019

  • 层次化三元组损失的深层度量学习

    本研究提出了一种新的分层三元组损失（HTL），通过编码全局上下文信息的定义的分层树自动收集有用的训练样本（三元组），以解决深度度量学习中的集束采样的主要限制。

    Oct, 2018

  • 利用易于处理的正样本三元组挖掘改进嵌入

    该文章提出一种称之为 “Easy Positive” mining 的松散的嵌入策略，并利用实验和可视化方法证明了这种方法可以获得更灵活、泛化性更好的嵌入，可能为图像检索领域带来新的进展。

    Apr, 2019

  • NPT-Loss：一种具有内隐挖掘功能的度量损失用于人脸识别

    本文提出了一种基于 triplet loss 和 proxy 的新型损失函数来实现各个身份特征之间的最小可分性，该函数简单易实现且在高分辨率和低分辨率人脸识别任务中均可达到 SOTA 的性能表现。

    Mar, 2021

  • 距离感知归纳偏好：符合三角不等式的神经网络

    本研究介绍了保证满足三角不等式的新型深度度量学习架构，能够更好地对图距离进行建模，并在多目标强化学习中具有更好的约束条件。

    Feb, 2020

  • 通过困难负例采样理解双曲度量学习

    最近几年，将双曲几何方法融入计算机视觉领域的趋势日益增长。本研究调查了将双曲空间整合到度量学习中的效果，特别是在使用对比损失进行训练时。我们通过深入研究评估了使用混合目标函数的视觉变换器 (ViTs) 结果来解决现有文献中关于对比损失温度影响的问题，并提供了观察到的性能改进的理论分析。我们还揭示了双曲度量学习与困难负样本抽样的密切关系，为未来的工作提供了思路。我们的代码可在线获取。

    Apr, 2024