Dec, 2022

对抗标签噪声的鲁棒学习中的逻辑回归剪辑

PDF
TL;DR本文提出 LogitClip 方法，在 logit 级别上进行损失约束，从而提高 CE 损失的鲁棒性，并减轻对带噪标签的样本过拟合问题，通过理论分析证明了 LogitClip 方法的噪声容忍能力和对通用鲁棒性的提升，实验结果表明，LogitClip 不仅在 CE 损失的噪声鲁棒性方面有显著改进，还广泛提高了流行的鲁棒性损失的泛化性能。
发现论文，激发创造
  • 带有噪声标签的鲁棒学习的对称交叉熵

    本文提出了一种名为 Symmetric cross entropy Learning 的深度神经网络学习方法，通过将 Cross Entropy 与 Reverse Cross Entropy 相结合，解决了在标签噪声存在下 CE 的过拟合与欠拟合问题，并在多个基准数据集和真实世界数据集实验中表现出优于其他现有方法的效果。

    Aug, 2019

  • 深度学习模型中重新评估损失函数：增强对标签噪声的鲁棒性

    本文提出了一种针对大型数据集中的标注错误而设计的噪声鲁棒性损失函数，并研究了该损失函数的应用及如何选择适当的损失函数，在 cifar-100 数据集上表现出色，此外还提出了一种新的 Bounded Cross Entropy 损失函数。

    Jun, 2023

  • 利用逻辑归一化缓解神经网络过度自信

    本文提出 Logit Normalization 方法，通过约束神经网络输出的 logits 向量的范数，以减少 out-of-distribution 数据的高置信度问题，并在常见基准测试中取得高度可分辨的置信度分数。

    May, 2022

  • 通过概率紧凑的损失函数和对数限制来提高对抗鲁棒性

    本研究提出了一种基于概率紧凑性的损失函数，称为 Probabilistically Compact (PC) 损失函数，采用 logit 限制来提高卷积神经网络对抗攻击的鲁棒性，减少误分的风险。该方法在大规模数据集上进行了白盒和黑盒攻击的实验，证明了该方法的有效性。

    Dec, 2020

  • 通过稀疏正则化进行有噪标签学习

    本文提出一种基于限制网络输出在固定向量置换集合上的稀疏正则化策略，旨在解决标签噪声存在时常用精度损失函数容易过拟合或欠拟合的问题，结果表明该方法在存在噪声标签和类不平衡情况下能够显著提高精度和优于现有方法。

    Jul, 2021

  • 深度学习中带有噪声标签的标准化损失函数

    本文研究如何在存在噪声标签的情况下训练精确的深度神经网络。我们提出了一种名为 Active Passive Loss（APL）的框架来构建稳健损失函数，其结合了两种互相促进的稳健损失函数。实验表明，我们的新的损失函数家族可以在大噪声率下始终优于现有方法。

    Jun, 2020

  • 通过逻辑调整实现长尾学习

    本文介绍了两种简单的技术对抗现实场景中数据标签分布的不平衡性，包括采用标签频率进行 logistic 校准 以及在训练过程中强制实施其中之一或两种技术能够鼓励罕见标签与支配标签之间拥有一个相对较大的罕见标签较大的标签在一些学习情况中具有更好的表现。

    Jul, 2020

  • 深度神经网络及对数损失的分类

    使用逻辑损失训练的深度神经网络（DNN）在各种二元分类任务中取得了令人印象深刻的进展，然而，关于 DNN 和逻辑损失的二元分类的泛化分析仍然很少。本文旨在通过建立一种新颖而优雅的 oracle-type 不等式，并利用它推导全连接的 ReLU DNN 分类器在逻辑损失下的尖锐收敛速率，以填补这一空白。此结果解释了为什么 DNN 分类器在实际高维分类问题中表现良好。

    Jul, 2023

  • 深度神经网络中对标签噪声鲁棒的损失函数

    本文介绍了一种寻找对标签噪声具有内在容忍性的损失函数的方法，并提供了一些在多类分类问题中让该损失函数在风险最小化时具有内在容忍标签噪声的充分条件，同时通过实验验证了基于平均误差值的损失函数是内在鲁棒的，并且标准反向传播足以学习出真正的分类器。

    Dec, 2017

  • 控制交叉熵损失

    本论文介绍了 Tamed Cross Entropy（TCE）损失函数，它是深度学习中用于分类任务的标准交叉熵（CE）损失的一个鲁棒派生物。通过使用 ResNet 架构在人工污染的四个图像数据集上进行评估，证明了 TCE 损失在所有测试场景中优于 CE 损失，并且不需要改变训练方案与 CE 损失相同。

    Oct, 2018