Jan, 2024

二元分类性能中的内在数据约束和上限

PDF
TL;DR数据组织结构对机器学习算法的有效性有巨大影响，特别是对于二元分类任务。本研究提供了一个理论框架，表明给定数据集上二元分类器的最大潜力主要受到数据固有特性的限制。通过理论推理和实证检验，我们得出两个主要结论：首先，我们展示了在实际数据集上二元分类的性能的理论上界是可以被理论上达到的；这个上界代表了学习损失和评估指标之间的可计算平衡。其次，我们计算了三个常用评估指标的精确上界，揭示了与我们的总体论点的基本一致性：上界与数据集的特征紧密联系，与所使用的分类器无关。此外，我们的后续分析揭示了性能上限与二元分类数据中类别重叠水平之间的详细关系，这对于确定在特征工程中使用的最有效的特征子集至关重要。
发现论文，激发创造
  • 利用不确定性估计来提高分类器性能

    模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。

    Nov, 2023

  • 通过分位数实现的受限分类和排名

    本文提出了一种基于约束学习的新框架， 可以通过在训练数据的子集上预测正 / 负例率来解决二分类器中的类不平衡问题，并避免了复杂的约束优化问题。该方法与模型无关且仅支出少量计算代价。在各种基准测试上的实验显示了与现有基准相比具有具有竞争性的性能。

    Feb, 2018

  • 基于数据驱动的误差估计：无技术债务的多重错误上界

    通过数据驱动的方法，我们提出了一个完全基于数据的途径来估计最大误差的上界，解决了构建多个同时有效置信区间的问题，并拓展了估计过程的应用领域。

    May, 2024

  • 算法性能无假设测试的限制

    对于限定的数据量，我们研究了算法评估与比较的理论极限，发现在黑盒测试下无法客观评价算法性能，除非可用数据点数远大于样本量。在评估特定训练模型性能方面则较为简单，只需要保留一组验证数据即可。同样地，我们探讨了算法稳定性假设是否足以解决问题，结果发现只有在高稳定性范围内，模型才能基本无差别。最后，我们还针对多个算法的比较问题也得出了类似的理论困难。

    Feb, 2024

  • 约束优化训练神经网络以处理关键且低频类别

    本文提出用 Augmented Lagrangian Method 来解决在临床应用中，由于类别不平衡所引起的深度神经网络二分类器可持续错分少量样本的问题。作者认为，可以通过将分类问题看做约束优化问题并引入一种新的约束条件，即将假阳性率降至最低，同时保证真阳性率较高，从而提高模型精度。本文在医学影像的二分类和多分类以及其他数据集上进行了实验，证明了该方法能够有效提高模型准确率。

    Feb, 2021

  • 统计学习和估计的在线与分布式算法的基本极限

    本文探讨了机器学习中的信息约束，包括内存、通信、数据部分读取等约束对算法性能的影响，并得出针对不同情形，在特定限制下，算法表现将不如无限制情形的结论。

    Nov, 2013

  • 使用二元数值的层次分类

    本文通过在二元数据上进行简单分类，以有效分类分层数据。在某些场景下，尤其是一些类别比其他类别容易辨别时，具有计算和准确性优势。

    Jul, 2018

  • 基于铰链损失训练的深度学习二元分类器的基本限制

    通过暴露使用铰链损失训练的基于深度修正线性单元（ReLU）前馈神经网络（FNN）或深度 ReLU 和 Tanh 激活的 FNN 的二元分类器的基本测试性能限制，本文导出了它们各自的新颖渐近测试性能限制，并通过大量的计算机实验验证了这些导出的测试性能限制。

    Sep, 2023

  • 深度网络的性能太好以至于不可信吗？一个直接估计二元分类贝叶斯误差的方法

    本研究提出了一种简单直接的贝叶斯误差估计方法，可用于评估分类器和检测测试集过拟合。我们的方法灵活且无模型和实例需求，甚至适用于弱监督数据。实验结果表明，最近提出的深度网络，如 Vision Transformer 等，已经或即将达到基准数据集的贝叶斯误差。最后，我们还讨论了如何通过估计 ICLR 论文的贝叶斯误差来研究科学文章的接受 / 拒绝决策的困难程度。

    Feb, 2022

  • 测试二元分类问题的性能得分的一致性

    在本文中，我们引入了一种数值技术来评估报告的性能分数和假设的实验设置的一致性，通过三个与医学相关的应用程序，我们展示了这种方法如何有效地检测不一致性，从而保护研究领域的完整性。

    Oct, 2023