Nov, 2023

利用不确定性估计来提高分类器性能

PDF
TL;DR模型得分和不确定性对决策边界的选择有关，该研究提供了理论分析和经验证据来证明模型得分估计偏差依赖于不确定性和得分本身，通过动态规划和保序回归算法提出的方案在三个真实数据集上比传统的只使用模型得分方法，在高精确度边界下获得了 25％-40％的召回率提升，凸显了利用不确定性的好处。
发现论文，激发创造
  • 从不确定性到精确性：通过校准提升二元分类器性能

    我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

    Feb, 2024

  • 通过分位数实现的受限分类和排名

    本文提出了一种基于约束学习的新框架， 可以通过在训练数据的子集上预测正 / 负例率来解决二分类器中的类不平衡问题，并避免了复杂的约束优化问题。该方法与模型无关且仅支出少量计算代价。在各种基准测试上的实验显示了与现有基准相比具有具有竞争性的性能。

    Feb, 2018

  • 不确定性中寻求合适的平衡

    利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

    Jan, 2019

  • 基于规则模型的不确定性量化

    本篇研究提出了一种基于元模型的不确定性量化框架，可用于任何具备二元分类器的黑盒模型，并探讨了这一框架的实用性及其在不同场景下的性能

    Nov, 2022

  • 文件分类中的不确定性缓解

    本篇论文提出了一种基于神经网络和新型 dropout - 熵测量方法的模型以及基于特征表示的度量学习方法，可以更精确地预测，提高分类器的预测准确性，尤其在医学诊断等需要确定不确定预测的领域有广泛的应用。

    Jul, 2019

  • 深度神经分类器的偏差减少不确定性估计

    本研究提出了一种基于模型历史快照的算法，用于在非贝叶斯深度神经分类中，有选择地估计高度自信点的不确定性，这解决了从已训练网络中提取不确定信号的已知方法所带来的偏差估计问题，研究表明所提出的算法比所有已知方法的不确定性估计结果更加准确。

    May, 2018

  • 使用平衡不确定性识别不正确的分类

    本文提出了分布不平衡方法和 Balance True Class Probability 框架（BTCP），通过 Distributional Focal Loss (DFL) 目标函数学习不确定性估计来解决现有模型在不平衡分类数据上的预测过度自信问题。实验结果表明，在多个数据集上 BTCP 表现优异，尤其是在纠正错误分类方面。

    Oct, 2021

  • 基于数据驱动的 Bayes 二元分类器假阳性率估计与软标签

    本文提出了一种用于估计贝叶斯分类器中的假阳性率的估计器，并对其进行了广泛的理论分析，包括一致性、无偏性、收敛速度和方差。此外，还通过利用去噪技术和 Nadaraya-Watson 估计器，开发了一种用于估计有噪声标签情况下的假阳性率的有效估计器。由于问题的对称性，我们的结果还能被直接应用于估计贝叶斯分类器的假阴性率。

    Jan, 2024

  • 基于神经网络输出层分布的分类置信度估计

    本文提出了一种基于 logit 值分布的神经网络分类模型的不确定性预测和置信水平估计方法，可用于知识提取过程中的预测筛选，并在关系提取、命名实体识别和图像分类等任务中获得显著的提高。

    Oct, 2022

  • 基于正置信数据的二元分类

    研究如何利用正向数据进行二分类器学习，提出了一种基于正向置信度的分类器，命名为正向置信度（Pconf）分类，提供了一个基于经验风险最小化的框架，理论上证明了其一致性和估计误差界，并通过实验表明了其对训练深度神经网络的有效性。

    Oct, 2017