ICLROct, 2019

带有集合共识的鲁棒训练

PDF
TL;DR研究通过一种名为 Learning with Ensemble Consensus (LEC) 的新训练方法解决了深度神经网络在存在标签噪声时过拟合的问题，该方法通过对众多神经网络的一定扰动下的结果进行共识，剔除出噪声样本，其中一个提出的 LEC，即 LTEC 在 MNIST，CIFAR-10，和 CIFAR-100 数据集上表现出更高的分类准确率，且效率较高。
发现论文，激发创造
  • 深度网络中共识的动态及噪声标签的识别

    利用深度神经网络记忆清晰样本更早的现象，发展一种统计学方法，根据集成学习动态数据中干净和嘈杂数据的差异，改善了噪声标记估计，噪声过滤和指导分类的方法。

    Oct, 2022

  • SELC: 自集成标签校正改进噪声标签学习

    为了解决深度神经网络容易过度拟合噪声标签从而导致通用性能不佳的问题，本文提出了一种名为自我集成标签校正（SELC）的新方法，利用指数移动平均的集成预测来更新原始的噪声标签，逐渐减少对噪声标签的监督，增加对集成预测的监督，相比现有很多最先进的方法，SELC 取得了更有前途和更稳定的结果。

    May, 2022

  • 共同教学：针对极度嘈杂标签的深度神经网络的强健训练

    本文提出了一种新的深度学习范式 Co-Teaching，它通过同时运用两个神经网络，自我纠正，相互辅助学习，从而提高了模型在嘈杂标签下的稳健性。

    Apr, 2018

  • 噪声鲁棒图像分类的协同网络学习和标签纠正

    提出了一个深度学习神经网络的标签检查和修正方法，该方法结合了小损失选择和噪声校正的思想，采用两个不同的网络来通过小损失选择方法训练，并根据两网络的分类误差和同意误差的评估来度量训练数据的置信度，在真实和人工数据集上测试表明该方法优于基准方法。

    Feb, 2022

  • 众志成城：使用集成模型的逐轮一致性来抵御过拟合

    通过理论分析和经验验证，在深度神经网络中，过拟合发生时，分类器之间的差异性增加。受此结果的指导，我们提出了一种新的基于集成的预测方法，以对抗过拟合。该方法通过选择训练过程中最一致的预测结果来确定最终预测，有效消除了过拟合对模型泛化性能的不利影响，甚至在性能上超过了早停止方法。这种易于实现、可与任何训练方案和架构集成的方法，不需要额外的先验知识，因此是克服过拟合问题的实用和有用工具。

    Oct, 2023

  • 自信的多选学习

    本研究提出一种针对深度神经网络的新型集成学习方法，名为自信多选学习（CMCL），通过解决其过度自信的问题来提高模型的性能，CMCL 比独立集成方法在图像分类和前景 - 背景分割等任务中提高了显著的准确率。

    Jun, 2017

  • 利用邻域一致性进行含噪标签学习

    该研究介绍了一种利用特征空间中训练样例的相似性，鼓励每个样例预测与其最近邻居相似的学习方法，用于从带有噪声标签的数据中学习，并且在多个数据集上展现出良好的分类精度。

    Feb, 2022

  • 使用集成网络和噪声层实现鲁棒深度学习

    本篇论文提出了一种深度学习方法，可以在图像分类类型的网络中保护并提高其鲁棒性，同时实现了准确性和鲁棒性的平衡，通过实验验证了该方法的有效性和鲁棒性保障。

    Jul, 2020

  • 从含有噪声标签的数据中学习如何学习

    本文提出一种噪声容忍的训练算法，其中在传统梯度更新之前进行元学习更新来模拟实际训练。通过生成合成噪声标签进行训练，该元学习方法训练模型，以便在使用每个设置的合成噪声标签进行一次梯度更新后，模型不会过度拟合特定的噪声，从而提高深度神经网络的性能。

    Dec, 2018

  • 半监督学习的时间集成

    本文提出了一种用于在小部分标记的情况下训练深度神经网络的简单高效方法，采用自我模拟方案的集成预测来提高标签的未知性，从而使得在两个标准半监督学习基准测试中加快速度并实现更好的性能。

    Oct, 2016