Jul, 2019

类别不平衡下神经网络的过拟合：分割任务的分析和改进

PDF
TL;DR本文研究深度学习中的过拟合现象，并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务，提出了针对少量数据样本的正则化模型，模仿少量数据情况下在测试集中出现的数据分布，用于减轻这种分布对模型性能的影响，实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。
发现论文，激发创造
  • 卷积神经网络中类别不平衡问题的系统研究

    本研究系统地研究了类别不平衡对卷积神经网络分类性能的影响，并比较了几种解决该问题的常用方法。在使用三个基准数据集进行实验的过程中，研究者发现类别不平衡对分类性能有不利影响，而通过过采样的方法可以提高分类性能。同时，该研究还发现阈值补偿在一定场景下也能够提高分类性能。

    Oct, 2017

  • 不平衡深度学习的普洛克鲁斯特训练

    本文提出了一个新的学习策略，来有效地解决在使用类不平衡数据时神经网络容易出现欠拟合和过拟合问题的困扰，该策略在小批量中混合了主类数据和其它数据的特征，旨在削弱主类数据的特征以防止神经网络优先拟合主类数据的情况，从而实现了类之间的训练过程平衡，并得到了在难度较大的数据集中的最新成果。

    Apr, 2021

  • 调整决策边界用于类别不平衡学习

    本论文中，我们提出了一种新方法来解决神经网络训练中出现的类不平衡问题，这种方法旨在画出更好的决策边界并缩放权重向量，从而实现优秀的性能结果。

    Dec, 2019

  • 类别不平衡下神经网络训练简化

    现实世界的数据集通常存在严重的类别不平衡问题，通过调整标准深度学习流程的现有组件，如批次大小、数据增强、优化器和标签平滑等，可以实现无需专门的类别不平衡方法即可达到最先进的性能，并提供了关于训练类别不平衡的关键建议和考虑因素，以及关于为什么类别不平衡方法成功或失败的理解。

    Dec, 2023

  • 恢复平衡：基于原则的数据欠采样 / 过采样用于最佳分类

    在这项研究中，我们确定了线性分类器（支持向量机）在高维度情况下的泛化曲线的确切分析表达式，并对于数据的类别不平衡性、数据的第一和第二时刻以及所考虑的性能指标的影响给出了锐利的预测。我们表明，涉及数据的欠采样和过采样的混合策略会提高性能。通过数值实验，我们展示了我们理论预测在真实数据集、更深层次的架构和基于无监督概率模型的采样策略上的相关性。

    May, 2024

  • ImageNet 模型中的偏见能解释泛化吗？

    基于大规模研究，通过对 48 个由不同训练方法得到的 ImageNet 模型进行测试，我们发现传统认为的偏见，包括形状偏见、频谱偏见和临界频带，无法准确预测模型整体的泛化能力。

    Apr, 2024

  • 超解释揭示图像分类模型的病态

    该研究发现，高得分的卷积神经网络在流行的基准测试中显示出令人担忧的病理现象，使它们即使在缺乏语义明显特征的情况下也能显示高准确度，这被称为过度解释其输入。研究提出了一种新的方法来发现复杂数据集的足够输入子集，并使用该方法显示 ImageNet 中边缘像素的足够性进行训练和测试，结果表明集成学习和输入 dropout 可以缓解过度解释现象。

    Mar, 2020

  • 约束优化训练神经网络以处理关键且低频类别

    本文提出用 Augmented Lagrangian Method 来解决在临床应用中，由于类别不平衡所引起的深度神经网络二分类器可持续错分少量样本的问题。作者认为，可以通过将分类问题看做约束优化问题并引入一种新的约束条件，即将假阳性率降至最低，同时保证真阳性率较高，从而提高模型精度。本文在医学影像的二分类和多分类以及其他数据集上进行了实验，证明了该方法能够有效提高模型准确率。

    Feb, 2021

  • 重拾被遗忘的知识：关于遗忘、过拟合和无需训练的深度神经网络集成

    在深度神经网络中，我们引入一种新的评分方法来衡量过拟合，该方法通过监测验证数据上的模型遗忘率，从而揭示了即使总体上泛化能力得到改善，仍存在数据空间中某些区域泛化能力退化的情况。基于这些观察，我们构建了一种新的集成方法，该方法仅基于单个网络的训练历史，在不增加额外训练时间的情况下显著提高了性能。在现代深度模型上进行的广泛实证评估显示了该方法在多个数据集、神经网络架构和训练方案中的实用性，无论是从头开始训练还是在迁移学习中使用预训练网络。值得注意的是，我们的方法在实现和使用上更加简单，并在 Imagenet 上改进了具有竞争力的网络 1% 的性能。

    Oct, 2023

  • 针对长尾语义分割的对数变化平衡

    通过引入类别相关的变化，提出了一种在训练阶段使实例不再被投影到特征点而是小范围内的方法，从而在不同类别的特征区域之间实现平衡，提高语义分割的性能和可适用性。

    Jun, 2023