超越 RMSE 和 MAE：引入 EAUC 揭示二元回归模型中的隐藏偏见和不公平

Jan, 2024

超越 RMSE 和 MAE：引入 EAUC 揭示二元回归模型中的隐藏偏见和不公平

Beyond RMSE and MAE: Introducing EAUC to unmask hidden bias and unfairness in dyadic regression models

Jorge Paz-Ruza, Amparo Alonso-Betanzos, Bertha Guijarro-Berdiñas, Brais Cancela, Carlos Eiras-Franco

TL;DR本研究介绍了对双元回归模型的偏差感知评估以避免在关键现实应用中潜在的不公平和风险，证明了使用 Eccentricity-Area Under the Curve 作为补充指标可以量化被称为偏心偏差的现象。

Abstract

dyadic regression models, which predict real-valued outcomes for pairs of entities, are fundamental in many domains (e.g. predicting the rating of a user to a product in Recommender Systems) and promising and under exploration in many others (e.g. approximating the adequate dosage of a

dyadic regression models non-uniformity predicted biases eccentricity-area under the curve bias-aware evaluation

发现论文，激发创造

基于误差驱动的不确定性感知训练

神经网络误差驱动不确定性感知训练（EUAT）技术提供了更高质量的不确定性估计，优于现有的不确定性估计方法，并能在构建可信的二分类器和分布数据转换时产生更可靠的结果。

May, 2024

公平中心技术简报：AUC 差距

衡量偏见，我们鼓励团队使用 AUC Gap：子组的最高和最低测试 AUC 之间的绝对差异（例如，性别，种族，SES，先前知识）。它对所使用的 AI/ML 算法不加偏好，并捕捉了模型在任意数量的子组中的性能差异，从而实现了关于交叉身份群体的公正评估。LEVI 团队利用各种 AI/ML 模型，追求在低收入中学中将数学成就增加一倍的共同目标。确保这些模型在训练集在许多不同环境中收集所得的情况下不引入或放大偏见对于实现 LEVI 目标至关重要。为了为所有 LEVI 团队创建一个共同的基准和分析依据，我们在这里提供了一种通用且易于计算的模型偏见度量，以及分享哪些策略适用于不同团队的分析基础。

Sep, 2023

回归模型中的平均绝对百分比误差

本文研究了使用平均绝对百分比误差（MAPE）作为回归模型质量度量的后果。我们证明了最佳 MAPE 模型的存在，并展示了基于 MAPE 的经验风险最小化的普适一致性。我们还表明，在 MAPE 下找到最佳模型等价于进行加权平均绝对误差（MAE）回归，并将此加权策略应用于核回归。作者还展示了 MAPE 核回归在模拟数据上的行为。

May, 2016

增强地球观测数据预测置信度的潜在空间度量

通过利用变分自编码器架构，本研究提出了一种衡量机器学习模型预测置信度的新方法，特别针对利用地球观测数据进行回归任务，以蚊子数量估计为重点。这种方法通过观测数据的潜在空间表示来派生置信度度量，建立了潜在表示的欧式距离与单个蚊子数量预测的绝对误差之间的相关性。我们的研究着重于意大利威尼托地区和德国上莱茵河流域的地球观测数据集，重点关注蚊子数量较为显著的地区。一个关键发现是蚊子数量预测的绝对误差与所提出置信度度量之间的相关性达到 0.46，这一相关性意味着一种稳健的新指标，用于量化人工智能模型在地球观测数据分析和蚊子数量研究中预测的可靠性和可信度的提升。

Jan, 2024

深度回归的不确定性量化指标

在部署机器人或其他物理系统上的深度神经网络时，可靠地量化预测不确定性以允许下游模块对其行为的安全性进行推理至关重要。本文研究了评估这种不确定性的度量标准，具体关注回归任务，并调查了 Sparsification Error 下面积 (AUSE)、校准误差、Spearman 排名相关性和负对数似然度量。通过使用合成回归数据集，我们研究了这些度量标准在四种典型的不确定性下的行为方式，以及它们对测试集大小的稳定性，并揭示了它们的优势和劣势。结果表明，校准误差是最稳定和可解释性的度量标准，但是 AUSE 和负对数似然度量也有各自的适用场景。我们不建议使用 Spearman 排名相关性来评估不确定性，建议用 AUSE 替代。

May, 2024

评估生存模型的一种有效有意义的方法

本文探讨了一些方法来评估生存数据集的 MAE，并介绍了一个生成逼真半合成生存数据集来帮助评估性能的新方法。我们的发现表明，我们提出的伪观察值方法可以准确地根据其性能排名模型，并且通常与真实的 MAE 接近 - 特别是优于几种替代方法。

Jun, 2023

神经网络校准度的解耦

当前大量的工作专注于保护自主驾驶系统，这些系统在计算机视觉方面严重依赖于深度神经网络。我们研究了不同神经网络校准度量的耦合，重点关注稀疏化误差曲线下的面积（AUSE）指标。我们详述了确定最佳校准度使用期望校准误差（ECE）时存在的众所周知的一致性问题，并且我们还展示了 AUSE、不确定性校准分数（UCS）以及不确定性校准误差（UCE）也存在类似问题。我们得出结论，目前的方法留下了一定的自由度，这使得无法为安全关键功能的鉴定提供独特的模型校准。此外，我们提出 AUSE 作为间接度量残余不确定性的方法，而这种不确定性对于固定的网络架构是不可减少的，这是由于底层数据生成过程中的随机性贡献以及假设空间限制所驱动的。

Jun, 2024

模型选择和模型估计中更好的相对预测准确度度量

该论文探讨了预测准确性测量中最广泛使用的均方误差绝对百分比（MAPE）存在的偏差，并提出了使用相对精度度量时的优越性，特别是在存在异方差性的数据中。该方法可避免 MAPE 的偏见，并可用于模型选择和参数拟合。

May, 2021

使用深度证据回归估计情感属性的不确定性

本文提出了一种贝叶斯方法，使用深度证据情感回归 (DEER) 估计情绪属性的不确定性，得到最新的 MSP-Podcast 和 IEMOCAP 数据集上情感自动识别的最佳结果。

Jun, 2023

（可预测的）无监督异常检测中的性能偏差

本研究评估了数据集构成对多个保护变量上的无监督异常检测模型性能造成的影响，并引入了新的子组 - AUROC 度量方法，结果显示数据集构成对 UAD 模型的不公平性性能有显著影响。

Sep, 2023