ECCVMar, 2020

度量学习的统一互信息视角：交叉熵 vs. 两两损失

PDF
TL;DR通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。
发现论文，激发创造
  • 互信息学习的分类器：从信息理论的角度训练深度学习分类系统

    本文用互信息作为代替条件熵来训练深度神经网络分类器，并且在多个基准数据集上进行了实验证明，相对于现有交叉熵损失函数训练的模型，提出的互信息模型 (MILCs) 性能更好，总体测试准确率提升超过 10%。

    Oct, 2022

  • 深度度量学习的实例交叉熵

    提出了一种称为 Instance Cross Entropy（ICE）的新的深度度量学习方法，通过 mini-batch 迭代学习并扩展到无限训练数据，同时利用样本权重调整来控制训练中样例的差异度，实验证明其具有简单性，直观性，易于解释性和超越传统方法的性能.

    Nov, 2019

  • 神经网络分类器作为互信息评估器

    本文提出了一种使用交叉熵和 softmax 作为互信息评估器的神经网络分类器的新视角，并且在数据集不平衡时，开发了一种新的 softmax 形式，该形式可以将分类器转换为互信息评估器。实验结果表明，该形式可以提高分类准确性，特别是对于不平衡的数据集。

    Jun, 2021

  • 重新思考 Softmax：神经网络分类器作为互信息估计器的角色

    本文提出了一种信息论方法：通过用 softmax 交叉熵优化分类神经网络的参数，来最大化假设数据平衡下输入和标签之间的互信息，并通过在基于差异信息的 informativeness class activation map 中突出显示输入图像中与给定标签相关性最高的区域来帮助定位目标对象，并通过使用两个真实世界数据集上半监督目标定位任务的实验来评估我们信息理论方法的有效性。

    Nov, 2019

  • 计算机视觉中的深度度量学习概述

    通过深度度学习，优化深度神经网络的目标函数在创建输入数据的增强特征表示中起着至关重要的作用。然而，基于交叉熵的损失函数对于具有大的类内差异和低的类间差异的输入数据分布来说往往不够充分。深度度量学习旨在通过学习将数据样本映射到代表性嵌入空间的表示函数，以度量数据样本之间的相似性。它利用精心设计的采样策略和损失函数，帮助优化产生具有低类间和高类内方差的区分性嵌入空间的生成。在本章中，我们将概述该领域最新的进展，并讨论最先进的深度度量学习方法。

    Dec, 2023

  • 深度神经网络模型中的熵和互信息

    本文介绍了一类采用可计算的信息理论模型的深度学习模型，探讨了该模型从启发式的统计物理方法中导出熵和互信息的方法，在该方法的基础上，设计了一种实验框架用于对生成模型进行训练，并对该模型进行验证，同时研究了本模型在学习过程中的行为，得出结论：在所提出的情况下，压缩和泛化之间的关系仍然不明确。

    May, 2018

  • 现实世界中基于权重的交叉熵损失函数：建模错标的成本

    该研究提出了一种新的度量分类器拟合度的度量标准 —— 实际成本函数，该函数结合了有关实际问题的信息，例如财务影响，以及用户更易于解释的特性。为了优化这个度量标准，作者介绍了基于实际成本函数的损失函数，并比较了损失函数的设计和已有的损失函数，通过 MNIST 数据集的模拟情境对其效果进行了实证研究。

    Jan, 2020

  • 深度神经网络分类的负对数似然比损失函数

    本文提出了一种判别损失函数，与生成式训练标准不同，该函数使用正确和竞争类之间的负对数似然比，极大地提高了在 CIFAR-10 图像分类任务中的性能。

    Apr, 2018

  • 对比学习中互信息的严谨分析

    对比学习通过互信息分析的深入研究，引入了三种新方法和一些相关定理，以增强互信息分析的严谨性，并通过重新评估对比学习分析的三个实例，展示了它们在加深理解或纠正误解方面的能力。

    Aug, 2023

  • 重新思考用于立体匹配网络的交叉熵损失

    本文提出了一种新的自适应多模交叉熵损失函数，以促进网络为边缘和非边缘像素生成不同的分布模式，并优化推理阶段的视差估计器来减轻边缘处的伪影和对齐偏差，提高了经典立体匹配模型的性能。其中 GANet 在 KITTI 2015 和 2012 基准上排名第一，并且在四个流行的真实世界数据集上展现出优秀的跨域泛化能力。

    Jun, 2023