Aug, 2022

DiscrimLoss: 一种用于困难样本和错误识别样本的通用损失函数

PDF
TL;DR本文提出了针对有标签噪声（即不正确的数据）的深度神经网络训练方法，通过引入一个新增的损失函数 DiscrimLoss 可以增强模型对易样本和难样本（包括困难和错误样本）的学习程度，并且能够动态自适应地模拟课程学习的主要原则，多种实验结果证明本文方法在存在不同的噪声级别时具有多样性和有效性。
label noisedeep neural networkscurriculum learningdiscrimlossmodel generalization
发现论文，激发创造
  • 强化区分度的损失函数以提高表示学习

    通过引入 Gini impurity 所启发的新损失项和最小化两个高级特征分布之间的 Kullback-Leibler 散度，我们在两个图像分类数据集上进行了实验，并得出结论，将我们的新损失项集成到训练目标中始终优于仅使用交叉熵训练的模型，在不增加推理时间的情况下。

    Feb, 2022

  • CurricularFace: 用于深度人脸识别的自适应课程学习损失

    本文提出了一种新的适应性课程学习损失（CurricularFace），通过将课程学习的思想嵌入到损失函数中来实现深度人脸识别的新型训练策略，旨在解决早期训练阶段的简单样本和后期的困难样本。该方法根据样本的难易程度自适应地调整简单和困难样本的相对重要性，在各个阶段分配不同的样本，实验结果表明该方法优于现有竞争对手。

    Apr, 2020

  • 训练深度判别神经网络对抗标签噪声的鲁棒性

    该论文提出了一种基于无标签干扰数据集训练深度卷积神经网络的新型框架，并使用一个无向图模型来描述干净和嘈杂标签之间的关系，在监督学习过程中学习这个模型。该模型在图像标注问题上应用，并在 CIFAR-10 和 MS COCO 数据集上展示出有效的标注效果和在训练中实现了减少标签噪声的效果。

    May, 2017

  • 使深度神经网络对标签噪声具有鲁棒性：一种损失修正方法

    该论文提出了一种基于理论的方法来训练深度神经网络，包括循环网络，使其适用于存在类别相关标签噪声的情况，并提出两种提高模型噪声稳健性的损失函数矫正方法和一种端到端的噪声估计框架并进行了大量实验证明了这个方法的实用性和有效性。

    Sep, 2016

  • 噪声鲁棒图像分类的协同网络学习和标签纠正

    提出了一个深度学习神经网络的标签检查和修正方法，该方法结合了小损失选择和噪声校正的思想，采用两个不同的网络来通过小损失选择方法训练，并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度，在真实和人工数据集上测试表明该方法优于基准方法。

    Feb, 2022

  • 曲率损失函数视角下的记忆化

    本文提出通过损失函数对训练样本曲率的测量来对神经网络的记忆化能力进行研究和分析。通过对 popular image datasets 的样本进行测量、可视化和排序，研究展示了神经网络在长尾数据、错误标签和冲突样本方面的记忆化失效，并发现了 CIFAR100 数据集中存在的重复标签问题。实验结果表明，通过曲率排序可以有效地找到疑似错误标签的样本。

    Jul, 2023

  • 具有损失不确定性的样本选择及其在带噪声标签学习中的应用

    本研究提出了一种无标签学习的新方法，将区间估计引入了样本选择过程，以更好地探索未被充分选择的正确标注但看似贴错标签的较大损失数据和代表性差的数据，提高了误标噪声下的学习鲁棒性。

    Jun, 2021

  • 分类的大边缘判别损失

    这篇论文介绍了一种在深度学习背景下具有较大边界的新型判别性损失函数，通过提高神经网络的判别能力，即类内紧凑性和类间可分性，来优化特征空间，同时通过数学分析关系、设计策略和研究泛化误差，提高模型的测试准确性。

    May, 2024

  • 使用柔性课程学习有噪标签和未编辑的无标签数据的条件 GAN

    该研究介绍了一种新的条件图像生成框架，该框架在训练过程中接受带有噪声标签和未经筛选的无标签数据，采用软课程学习来对付标签噪声和无标签数据，经实验证明该方法在量化和定性性能方面优于现有的半监督和标签噪声鲁棒方法。

    Jul, 2023

  • 减轻样本选择中的记忆化对于带有噪声标签的学习

    本研究提出了一种基于类别惩罚标签的强有力标准，通过平均预测置信度我们得到了适当的惩罚标签，在各个观察到的标签中达到高值，以强化对数量噪声标记的惩罚。在各种场景中，使用这些标准进行样本选择，相比现有方法，网络的学习过程对噪声标签变得更加稳健。

    Jul, 2021