AAAIOct, 2021

深度神经网络分类中低估了分类良好的样本

PDF
TL;DR该研究论文探究了在深度分类模型学习中忽略分类正确但离决策边界较远的数据样本对于表示学习、能量优化和边距增长等问题的影响，并提出了奖励分类正确的这些样本的方法以解决这些问题。该研究通过在图像分类、图分类和机器翻译等任务中进行实证验证，证明了该方法可以显著提高性能并解决不平衡分类、OOD 检测和对抗攻击等复杂场景下的问题。
deep classification modelsrepresentation learningenergy optimizationmargin growthwell-classified examples
发现论文，激发创造
  • 通过反事实例和梯度监督学习区分重要因素

    使用对照例子作为监督信号，改进深度学习的训练方法，提高神经网络的泛化能力及性能。

    Apr, 2020

  • 调整决策边界用于类别不平衡学习

    本论文中，我们提出了一种新方法来解决神经网络训练中出现的类不平衡问题，这种方法旨在画出更好的决策边界并缩放权重向量，从而实现优秀的性能结果。

    Dec, 2019

  • 利用深度网络的类层次结构改进失误

    本篇论文提出了使用图距离和交叉熵损失的两种简单方法来解决深度神经网络中错误严重性的问题，并在两个大型具有复杂类层次结构的数据集（tieredImageNet 和 iNaturalist'19）上优于先前的方法。

    Dec, 2019

  • 通过内省检测神经网络中的对抗样本和其他分类错误

    通过在预训练的神经网络的 logits 上再训练一个简单的 3 层神经网络，我们能够竞争性地检测出分类错误，从而解决现代神经网络无法提供可靠置信值的问题（也就是所谓的敌对样本问题和过度自信问题）的局限性。

    May, 2019

  • 高置信度预测对抗样本

    本文研究深度学习中的对抗样本问题，认为过度自信的模型更容易受到对抗样本的攻击，通过将鲁棒性与非校准模型置信度结合， 提供一种不需要数据增强的前进路径，探究对抗样本现象的成因并阐述了测试准确度与真实泛化性能之间的区别以及过拟合与随机效应的关系。

    Feb, 2018

  • 类别不平衡下神经网络的过拟合：分割任务的分析和改进

    本文研究深度学习中的过拟合现象，并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务，提出了针对少量数据样本的正则化模型，模仿少量数据情况下在测试集中出现的数据分布，用于减轻这种分布对模型性能的影响，实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。

    Jul, 2019

  • 学习为鲁棒的深度学习调整例子的权重

    该研究提出了一种基于元学习和梯度下降的新算法，来对训练样本进行权重分配，从而达到解决深度神经网络在训练集偏差和标签噪声方面的过度拟合问题，而不需要额外的超参数调整，并在少量有干净核准数据的情况下，实现了在类别不平衡和标签污染问题上的出色性能。

    Mar, 2018

  • 对抗样本的有趣特性

    论文研究了神经网络模型的不确定性对于对抗样本的产生具有决定性作用，与体系结构、数据集和训练协议无关，表现为对抗误差具有与对抗扰动大小呈幂律的普适性，通过减小预测熵来提高对抗鲁棒性，在 CIFAR10 上使用神经架构搜索找到更鲁棒的架构。

    Nov, 2017

  • 反例引导的数据增强

    提出一种新的基于反例的机器学习数据集增强框架，使用反例数据生成器和错误表等关键组件改进模型的分类性能，在深度神经网络的自动驾驶目标检测案例研究中表现出较高效果。

    May, 2018

  • 不平衡深度学习的普洛克鲁斯特训练

    本文提出了一个新的学习策略，来有效地解决在使用类不平衡数据时神经网络容易出现欠拟合和过拟合问题的困扰，该策略在小批量中混合了主类数据和其它数据的特征，旨在削弱主类数据的特征以防止神经网络优先拟合主类数据的情况，从而实现了类之间的训练过程平衡，并得到了在难度较大的数据集中的最新成果。

    Apr, 2021