ICCVAug, 2019

带有噪声标签的鲁棒学习的对称交叉熵

PDF
TL;DR本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。
发现论文，激发创造
  • 对比学习提高模型在标签噪声下的鲁棒性

    本论文讨论如何提高基于深度神经网络分类器在训练数据中鲁棒性以解决标签噪声问题，通过代替分类交叉熵损失为适应标签噪声的损失函数，或者改变训练样本的权重来缓解标签噪声的影响，并介绍一种基于对比学习技术来初始化有监督鲁棒方法以解决高标签噪声下的图像分类问题的方法。

    Apr, 2021

  • 无噪声标签训练深度神经网络的广义交叉熵损失

    本文提出一些理论上支持的噪声稳健损失函数，包括平均绝对误差以及交叉熵损失函数，并已在 CIFAR-10，CIFAR-100 与 FASHION-MNIST 数据集及人工产生的噪声标签上进行了实验，结果表明这些损失函数能够有效应对各种噪声标签情况。

    May, 2018

  • 控制交叉熵损失

    本论文介绍了 Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用 ResNet 架构在人工污染的四个图像数据集上进行评估，证明了 TCE 损失在所有测试场景中优于 CE 损失，并且不需要改变训练方案与 CE 损失相同。

    Oct, 2018

  • 对抗标签噪声的鲁棒学习中的逻辑回归剪辑

    本文提出 LogitClip 方法，在 logit 级别上进行损失约束，从而提高 CE 损失的鲁棒性，并减轻对带噪标签的样本过拟合问题，通过理论分析证明了 LogitClip 方法的噪声容忍能力和对通用鲁棒性的提升，实验结果表明，LogitClip 不仅在 CE 损失的噪声鲁棒性方面有显著改进，还广泛提高了流行的鲁棒性损失的泛化性能。

    Dec, 2022

  • 通过稀疏正则化进行有噪标签学习

    本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。

    Jul, 2021

  • 对于多样化任务和模型规模的鲁棒学习的对称强化学习损失

    通过从有噪声数据中借鉴逆交叉熵（RCE）的方法将其适应于强化学习，定义了一种对称的 RL 损失，从而提高了 RL 训练的稳定性。在离散动作任务（Atari 游戏）和连续动作空间任务（MuJoCo 基准和 Box2D）中进行了实验，并通过改进 RLHF 任务的性能来验证对于大型语言模型使用 SPPO 的对称 RL 损失的好处，如 IMDB 正面情感和 TL;DR 摘要任务。

    May, 2024

  • U-CE: 语义分割的不确定性感知交叉熵

    利用动态预测不确定性的像素权重加权 U-CE（Uncertainty-aware Cross-Entropy loss）训练方法在两个基准数据集上优于传统 CE（cross-entropy loss）训练方法，提高了安全关键应用中更稳健可靠的分割模型的性能和可信度。

    Jul, 2023

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023

  • 利用带噪标签训练的深度神经网络及其应用

    本文针对网络训练时噪声标签的问题，提出了一种基于交叉验证和合作训练策略的解决方法，成功提高了深度神经网络在合成和实际噪音数据集下的泛化性能。

    May, 2019

  • 众包标签深度学习：交叉熵最小化、可识别性和正则化

    本文提出了一种基于深度学习的端到端系统，利用嘈杂的众包标签，通过多个注释器特定的 label confusion 层和参数耦合的方式，与神经分类器同时学习标签纠正机制，并提出了 CCEM 的正则化变种，以增强目标模型参数的可识别性。

    Jun, 2023