约束优化训练神经网络以处理关键且低频类别

Feb, 2021

约束优化训练神经网络以处理关键且低频类别

Constrained Optimization to Train Neural Networks on Critical and Under-Represented Classes

Sara Sangalli, Ertunc Erdil, Andreas Hoetker, Olivio Donati, Ender Konukoglu

TL;DR本文提出用 Augmented Lagrangian Method 来解决在临床应用中，由于类别不平衡所引起的深度神经网络二分类器可持续错分少量样本的问题。作者认为，可以通过将分类问题看做约束优化问题并引入一种新的约束条件，即将假阳性率降至最低，同时保证真阳性率较高，从而提高模型精度。本文在医学影像的二分类和多分类以及其他数据集上进行了实验，证明了该方法能够有效提高模型准确率。

Abstract

Deep neural networks (DNNs) are notorious for making more mistakes for the classes that have substantially fewer samples than the others during training. Such class imbalance is ubiquitous in clinical applications and very crucial to handle because the classes with fewer samples most o

deep neural network class imbalance binary classification false positive rates augmented lagrangian method

发现论文，激发创造

通过分位数实现的受限分类和排名

本文提出了一种基于约束学习的新框架，可以通过在训练数据的子集上预测正 / 负例率来解决二分类器中的类不平衡问题，并避免了复杂的约束优化问题。该方法与模型无关且仅支出少量计算代价。在各种基准测试上的实验显示了与现有基准相比具有具有竞争性的性能。

Feb, 2018

卷积神经网络中类别不平衡问题的系统研究

本研究系统地研究了类别不平衡对卷积神经网络分类性能的影响，并比较了几种解决该问题的常用方法。在使用三个基准数据集进行实验的过程中，研究者发现类别不平衡对分类性能有不利影响，而通过过采样的方法可以提高分类性能。同时，该研究还发现阈值补偿在一定场景下也能够提高分类性能。

Oct, 2017

通过训练一系列损失函数在类别不平衡数据上优化 ROC 曲线

通过使用一系列的损失函数进行训练，而不是单一的损失函数，我们提出了 Loss Conditional Training (LCT) 方法来解决高度不平衡的分类问题，实验结果表明该方法提高了模型性能并对超参数选择更具鲁棒性。

Feb, 2024

不平衡深度学习的普洛克鲁斯特训练

本文提出了一个新的学习策略，来有效地解决在使用类不平衡数据时神经网络容易出现欠拟合和过拟合问题的困扰，该策略在小批量中混合了主类数据和其它数据的特征，旨在削弱主类数据的特征以防止神经网络优先拟合主类数据的情况，从而实现了类之间的训练过程平衡，并得到了在难度较大的数据集中的最新成果。

Apr, 2021

基于数据驱动的 Bayes 二元分类器假阳性率估计与软标签

本文提出了一种用于估计贝叶斯分类器中的假阳性率的估计器，并对其进行了广泛的理论分析，包括一致性、无偏性、收敛速度和方差。此外，还通过利用去噪技术和 Nadaraya-Watson 估计器，开发了一种用于估计有噪声标签情况下的假阳性率的有效估计器。由于问题的对称性，我们的结果还能被直接应用于估计贝叶斯分类器的假阴性率。

Jan, 2024

类别不平衡下神经网络的过拟合：分割任务的分析和改进

本文研究深度学习中的过拟合现象，并通过分析来自训练数据集和测试数据集的逻辑回归分布之间的变化来解释其在神经网络上的影响。作者针对深度学习中的图像分割任务，提出了针对少量数据样本的正则化模型，模仿少量数据情况下在测试集中出现的数据分布，用于减轻这种分布对模型性能的影响，实验结果证明该方法显著提高了模型在二进制分割图像任务中的性能。

Jul, 2019

利用不确定性估计来提高分类器性能

模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

Nov, 2023

通过神经网络实现公平性的 FNNC

提出了一种基于神经网络的框架，使用拉格朗日乘数将公平性约束条件引入到损失函数中，以实现分类中的公平性，同时保持高精度。

Nov, 2018

存在类条件标签噪声的欺诈检测中的 FPR 估计

在存在有错误标签（标签噪声）的验证集的情况下，我们考虑对二分类模型的伪阳性率（FPR）和真阳性率（TPR）进行估计的问题。我们的动机应用是防欺诈，其中准确估计 FPR 对于保护好顾客的经验至关重要，并且标签噪声是高度不对称的。现有方法旨在最小化清理过程中的总误差 - 以避免清理非噪声的示例，并确保清理噪声示例。这是一个重要的准确性度量，但不足以确保模型的真实 FPR 或 TPR 的良好估计，我们证明了即使总误差较低，使用模型直接清理其自身的验证数据也会导致低估。这表明研究人员需要追求不仅降低总误差，而且寻求将清理误差与模型评分去相关化的方法。

Aug, 2023

受限经验风险最小化：理论与实践

提出了一种框架，允许在广泛使用的深度神经网络中严格执行约束条件，其中约束通过限制 DNN 参数的子流形来确切满足。该框架的一个示例是将卷积神经网络（CNN）的滤波器限制为小波，并将这些小波网络应用于医学领域的轮廓预测任务。

Feb, 2023