Jul, 2023

考虑校准的边际损失：推动深度度量学习准确性和校准性平衡前沿

PDF
TL;DR使用相同的距离阈值将不同的测试类别 / 分布应用于商业图像检索系统的能力是非常可取的；然而，最先进的深度度量学习损失常常导致高度变化的类内和类间嵌入结构，使得阈值校准在实践中成为一个非常复杂的过程。本文提出了一种名为操作点不一致性分数（OPIS）的新度量，用于衡量目标校准范围内不同类别之间操作特性的方差，并且证明度量学习嵌入模型的高准确性不能保证对已见和未见类别的校准一致性。我们发现，在高准确性区域存在一条帕累托前沿，在提高准确性的同时牺牲校准一致性。为了解决这个问题，我们开发了一种名为校准感知边界（CAM）损失的新型正则化方法，以在训练过程中鼓励类别间表示结构的一致性。大量实验证明了 CAM 在提升校准一致性的同时保持甚至提高准确性方面的有效性，并且优于最先进的深度度量学习方法。
distance thresholddeep metric learningoperating-point-inconsistency-score (opis)calibration-aware margin (cam) losscalibration-consistency
发现论文，激发创造
  • 边缘的恶魔：基于边缘的标签平滑方法用于网络校准

    本文研究了深度神经网络在预测时存在过度自信的问题，并提出了一种基于不等式约束的优化方法，以达到最佳判别性能和预测校准性能的折中。

    Nov, 2021

  • 深度学习中的校准度量

    本文探讨了机器学习分类器中出现的过度置信和欠置信问题，介绍了衡量分类器置信度的度量标准 —— 准确率校准度，以及该度量标准不足的缺点；进而进行了一项全面的实证研究，并开源了一种度量方法的库。实证研究发现，不同的度量标准对于分类器校准度的优化与评价可能会带来截然不同的结论。

    Apr, 2019

  • 惩罚式逆概率度量在符合性分类中的应用

    通过引入 Penalized Inverse Probability (PIP) 和其正则化版本 RePIP 的非共形评分方式，该研究提出了一种可以同时优化效率和信息性的算法，通过农业机器人中作物和杂草图像分类任务的玩具示例和实证结果，展示了 PIP-based 共形分类器与其他非共形评分方式相比所表现出的预期行为，并在信息性和效率之间找到了良好的平衡。

    Jun, 2024

  • 基于激光雷达的语义分割中不确定性估计的校准

    我们提出了一种测量语义分割模型对各个类别的置信度校准质量的度量标准，并使用该标准评估不平衡类别的不确定性估计方法的置信度校准情况。此外，我们还建议该方法可以自动发现标签问题，改善手工或自动注释数据集的质量。

    Aug, 2023

  • 通过两个新的基于距离的损失函数，强制执行度量学习中的类别可分性，实现少样本图像分类：SuSana Distance 就是你所需要的

    提出了两种不同的损失函数 ——Proto-Triplet Loss 和 ICNN loss，其中考虑了嵌入向量的重要性，并评估了训练后网络获得的嵌入的质量。在实验中，相比其他度量法，这些损失函数在 miniImagenNet 基准测试中将准确率显著提高了 2％，表明这些损失函数有能力使网络更好地推广到以前未见过的类别。

    May, 2023

  • 计算机视觉中的深度度量学习概述

    通过深度度学习，优化深度神经网络的目标函数在创建输入数据的增强特征表示中起着至关重要的作用。然而，基于交叉熵的损失函数对于具有大的类内差异和低的类间差异的输入数据分布来说往往不够充分。深度度量学习旨在通过学习将数据样本映射到代表性嵌入空间的表示函数，以度量数据样本之间的相似性。它利用精心设计的采样策略和损失函数，帮助优化产生具有低类间和高类内方差的区分性嵌入空间的生成。在本章中，我们将概述该领域最新的进展，并讨论最先进的深度度量学习方法。

    Dec, 2023

  • 基于点距学习的弱监督场景解析

    本文提出一种基于点的距离度量学习（PDML）方法，通过鼓励标注点之间的特征保持一致来引导训练过程，使用限定的标注点代替密集标注 mask 进行语义场景解析，最终在 PASCAL-Context 和 ADE 20K 数据集上实验验证结果表明 PDML 方法有效性较高。

    Nov, 2018

  • 基于正交概率损失的无监督深度度量学习

    本文提出了一种无监督方法，使用基于图的聚类方法获取数据的伪标签，并使用三元组来引导度量学习，使用概率损失来最小化违反角度约束的几率，从而实现无需使用类标签的度量学习。研究表明，该方法具有竞争力，并对该方法的不同组成部分进行了全面研究。

    Aug, 2020

  • 促进正交性的距离度量学习：凸松弛和理论分析

    本文通过采用凸放松方法解决原始问题中的非凸问题，提供关于促进平衡性的 OPR 能力的正式分析，以及直接揭示 OPR 与泛化性能之间关系的理论分析，解决了 DML 中的三个问题。

    Feb, 2018

  • 文本 - 图像匹配的强大且稳健的基准线

    本文提出在文本图像匹配中使用新的训练和推导技术，首先通过实验证明了 sum loss 和 max-margin loss 存在的限制，提出了一种新的 kNN-margin loss。其次，在推导时提出一种 Inverted Softmax 和 Cross-modal Local Scaling 的技术，以减轻高维嵌入空间中的 hubness 问题，有效提升了所有指标的表现和得分。

    Jun, 2019