Nov, 2019

深度度量学习的实例交叉熵

PDF
TL;DR提出了一种称为 Instance Cross Entropy（ICE）的新的深度度量学习方法，通过 mini-batch 迭代学习并扩展到无限训练数据，同时利用样本权重调整来控制训练中样例的差异度，实验证明其具有简单性，直观性，易于解释性和超越传统方法的性能.
deep metric learningloss functionsinstance cross entropystructured similarity informationsample reweighting
发现论文，激发创造
  • 度量学习的统一互信息视角：交叉熵 vs. 两两损失

    通过理论分析，该研究证明了交叉熵与多个已知的成对损失之间的关系，并提出将交叉熵最小化作为近似边界优化算法，从而避免了成对样本采集等复杂的优化技巧。研究通过在四个标准的深度度量学习基准测试中获得最新的结果，超越了最近和复杂的 DML 方法。

    Mar, 2020

  • 计算机视觉中的深度度量学习概述

    通过深度度学习，优化深度神经网络的目标函数在创建输入数据的增强特征表示中起着至关重要的作用。然而，基于交叉熵的损失函数对于具有大的类内差异和低的类间差异的输入数据分布来说往往不够充分。深度度量学习旨在通过学习将数据样本映射到代表性嵌入空间的表示函数，以度量数据样本之间的相似性。它利用精心设计的采样策略和损失函数，帮助优化产生具有低类间和高类内方差的区分性嵌入空间的生成。在本章中，我们将概述该领域最新的进展，并讨论最先进的深度度量学习方法。

    Dec, 2023

  • 交叉熵、Dice 和焦点损失在海冰类型分割中的比较

    使用卷积神经网络（CNN）模型预测海洋冰类型，评估三种不同的损失函数对其性能的影响，结果表明交叉熵在物理上更一致。

    Oct, 2023

  • 数据失衡的 NLP 任务的 Dice Loss

    本研究提出了一种新的 dice loss 网络训练目标替代 cross-entropy 目标，以解决 NLP 任务中数据失衡的问题，并且在多项任务中均取得了显著的性能提升。

    Nov, 2019

  • SimCE：简化协同过滤中的交叉熵损失

    学习目标对协同过滤系统至关重要，贝叶斯个性化排名（BPR）损失广泛用于学习信息丰富的骨干。然而，BPR 往往收敛较慢且局部最优解不理想，部分原因是因为它仅考虑每个正样本一个负样本，忽视了其他未观察到项目的潜在影响。为了解决这个问题，最近提出的采样 Softmax 交叉熵（SSM）将一个正样本与多个负样本进行比较，从而提高了性能。我们的综合实验证实，推荐系统在训练过程中始终受益于多个负样本。此外，我们引入了一种简化的采样 Softmax 交叉熵损失（SimCE），该损失使用其上界简化了 SSM。我们在 12 个基准数据集上进行验证，使用 MF 和 LightGCN 骨干，结果显示 SimCE 在性能上明显优于 BPR 和 SSM。

    Jun, 2024

  • 重新思考用于立体匹配网络的交叉熵损失

    本文提出了一种新的自适应多模交叉熵损失函数，以促进网络为边缘和非边缘像素生成不同的分布模式，并优化推理阶段的视差估计器来减轻边缘处的伪影和对齐偏差，提高了经典立体匹配模型的性能。其中 GANet 在 KITTI 2015 和 2012 基准上排名第一，并且在四个流行的真实世界数据集上展现出优秀的跨域泛化能力。

    Jun, 2023

  • 医学图像分割的优化：在评估 Dice 分数或 Jaccard 指数时的理论和实践

    本文探讨了利用度量敏感损失函数训练卷积神经网络在分割任务中优于基于交叉熵损失函数的效果，特别是在关注分割性能度量指标如 Dice 分数和 Jaccard 指数时，採用度量敏感损失函数效果更好的结论。

    Oct, 2020

  • 使用累计交叉熵损失的序列推荐有效高效训练

    本文提出了一种基于序列的 Cumulative Cross-Entropy (CCE) 损失函数，在不使用负采样的情况下有效地训练了三种最先进的推荐模型，针对序列推荐系统中存在的缺陷，重点解决了序列信息利用率低的问题，并在五个基准数据集上进行了广泛的实验。

    Jan, 2023

  • 带有噪声标签的鲁棒学习的对称交叉熵

    本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

    Aug, 2019

  • 集合交叉熵：概率分布的基于似然的置换不变性损失函数

    本文提出了一种置换不变损失函数，用于神经网络对元素集合进行重建，而不考虑其向量表示中的顺序。 提出的方法 Set 交叉熵具有自然的信息理论解释，并与集合的度量相关。我们将其应用于两个对象重建任务和一个规则学习任务。

    Dec, 2018