Jul, 2023

通过个体校准实现对图上稀有类别的可靠分析

PDF
TL;DR在高度不平衡的数据分布中，研究了罕见类别分析（Rare Category Analysis）的不确定性量化、误校正和个体校准等问题，并提出了一种名为 CALIRARE 的新型个体校准框架来实现可靠的罕见类别分析。
rare category analysisuncertainty quantificationmiscalibrationindividual calibrationhighly-imbalanced data distribution
发现论文，激发创造
  • 随机预测个体校准

    通过使用随机化的置信区间实现对每个样本测量的分配，并提高数据子组的校准度和预测效果。

    Jun, 2020

  • 富组分分析

    本文介绍了一个名为 RCA 的模型框架，它可以用于分析多个数据集中的不同潜在组件，通过累积量提取算法，该模型可以明确地学习每个组件而无需构建其他组件，进而与随机梯度下降方法组合实现通用模型的无监督学习，从而在多个真实数据集上证明了其准确性的优势。

    Jul, 2015

  • 基于类别和降维的校准方法

    该研究提出了两种技术，一种是简化校准方法，将原问题转化为更简单的问题，并使用非参数重新校准方法进行解决，另一种是基于神经崩溃现象和大多数精确分类器可以被认为是 K 个不同函数的组合的观察来提出针对每个类别独立重新校准的方法。将这两种方法应用在一起可以减少预测和每个类别的校准误差。

    Oct, 2022

  • 通过神经模型逼近条件覆盖率和校准性

    通过基于 Transformer 网络的 KNN 近似来构建数据驱动的分区，再通过 Inductive Venn 预测器进行校准，从而实现对不确定性的量化和计算机分类模型预测集的标记，进而实现最终任务的目标。

    May, 2022

  • 不确定性中寻求合适的平衡

    利用贝叶斯不确定性估计解决类别不平衡学习的问题，并且成功改进了面部验证、属性预测、数字 / 物体识别、皮肤病检测等六个基准数据集上的分类性能。

    Jan, 2019

  • 如何评估分类器的校准性：在特定上下文可靠性定义下的分类器校准性评估

    本文针对分类器标定的问题，提出以正确描述其应用背景为目的，开发更准确反映标定误差的更具表达力的度量标准；其中，基于期望标定误差的推广，提出了几种不同的度量标准，分别反映了针对不同的可靠性定义的标定误差；此外，基于这些不同的度量标准，作者对常用的神经网络结构和标定技术进行了广泛的实证评估，发现许多常用的标定技术在这些不同可靠性定义的标定误差上并未有统一的改善.

    May, 2022

  • NetRCA: 一种有效的网络故障原因定位算法

    本文提出了一种名为 NetRCA 的算法来解决网络错误本源的准确定位问题，该算法从原始数据中提取有效的派生特征，采用多元时间序列相似性和标签传播来增加数据，最后采用合奏模型来提高性能，并在 ICASSP 2022 AIOps Challenge 数据集上进行实验验证。

    Feb, 2022

  • Field-aware Calibration：可靠概率预测的简单有效方法

    本文提出了一种新的评估指标，称为 “field-level calibration error”，用于衡量决策者关注的敏感输入领域中预测偏差，提出了一种名为神经校准的后续校准方法，使用验证集中的领域感知信息进行校准，并通过实验证明其对常见度量（如负对数似然、布里尔分数和 AUC）以及所提出的 “field-level calibration error” 指标的校准性能得到了显著提高。

    May, 2019

  • 从不确定性到精确性：通过校准提升二元分类器性能

    我们分析了各种校准度量对分数失真的敏感性，并引入了一种精确的度量标准，即本地校准分数，比较了校准方法，提倡使用局部回归，强调其作为有效校准工具和更平滑可视化的双重作用。我们在真实世界情景中应用这些发现，使用随机森林分类器和回归器预测信用违约，并在性能优化过程中同时测量校准度。

    Feb, 2024

  • 基于置信度类别关系感知回归的自动评估

    本文提出了一种基于置信度和类别关系感知的回归方法，称为 $C^2R^2$，通过利用局部和全局表现建立分类模型和测试数据之间的关联，以实现对已训练模型进行自动评估。

    Apr, 2023