Nov, 2022

面部识别中性能和公平指标的评估 - Bootstrap 方法

PDF
TL;DR本研究介绍了针对人脸识别中 ROC 曲线的统计版本与偏差问题，基于经验 ROC 分析，因相似度评分的 True/False Acceptance Rates 呈 U - 统计学形式，导致朴素的自助法方法不适用，需采用专门的重新校准技术，以此计算准确的 ROC 曲线。本研究采用数张人脸图像为实验数据，分析了多种基于 ROC 的公平性指标。
roc curvesimilarity scoring functiontrue/false acceptance ratesbootstrap approachfairness metrics
发现论文，激发创造
  • 相对于种族特征的人脸识别准确性变异的特征描述

    该研究对 MORPH 数据集中的非裔美国人和白人图像组之间的面部识别准确性差异进行了系统调查，发现四个匹配器的假冒者和真实分布在组之间存在显着差异，使用 ICAO 合规性作为图像质量标准，结果发现初始图像组具有不均等的合格图像比率，并表明该 ResNet 匹配器的效果更好。

    Apr, 2019

  • 多类别 ROC

    我们提供了一种基于二元矩阵因子分解模型的评估指标，通过一维向量表示来总结多类别分类的对比真阳性率和假阳性率，从而提供了多类别情况下的 ROC 曲线，并通过对这些分解向量的积分得出了对分类器性能的二元 AUC 等效总结。

    Apr, 2024

  • 公平性审计的统计推断

    通过多重假设检验，在统计保证的前提下，使用自助法在子人群的集合中同时限制性能差异，从而识别受模型性能不足影响的子人群并验证模型在某些子人群中的适用性。此外，该方法还兼容超丰富甚至无限的子人群集合，并支持评估在某些分布变化下的性能。

    May, 2023

  • 测试集 AUROC 的奇特案例

    ML 模型的尺寸和复杂性在过去十年中迅速增长，但评估其性能的方法未能跟上步伐。然而，我们认为仅考虑来自测试 ROC 曲线的得分只能对模型的性能和泛化能力提供有限的见解。

    Dec, 2023

  • 最近人脸对齐方法的实证研究

    本论文提出了一种新的面部对齐评估指标 AUC, 并且在更实用的面部检测下扩充了 300W 数据库，进行了面部对齐灵敏度分析，得出了新的结论。

    Nov, 2015

  • 公平 SA：面部识别中公平性的敏感性分析

    本文提出了一种基于 Visual Psychophysics Sensitivity Analysis 扩展的新型公平性评估框架，该框架可分析模型在不同被干扰亚组群中表现得是否公平，并通过 AUC 矩阵来紧凑可视化模型的公平性分析。作者分析了常见人脸识别模型的表现，实证发现当图像受到扰动时，某些亚组群处于不利地位，揭示了在无干扰的子群体上模型表现不明显的趋势。

    Feb, 2022

  • 更公平、更准确，但为谁而做？

    该论文介绍了一种比较不同风险评估模型公平性的框架，特别关注与种族和性别的不平等问题，以预测再犯率和贷款为例进行实验。

    Jun, 2017

  • ECCV 2020 的 FairFace Challenge：分析人脸识别中的偏见

    本文总结了 2020 年 ChaLearn Looking at People Fair Face Recognition and Analysis Challenge 的评测结果和优胜解决方案，并提供了对结果的分析。这个比赛的目的是评估提交算法在其他混淆因素存在时的准确性和性别和肤色方面的偏见。参赛者使用一个不平衡的数据集进行了评估，这模拟了 AI 模型在不平衡数据上训练和评估的真实世界情况。最终该比赛吸引了 151 个参与者，36 个团队进入了最后一轮。其中 10 个团队在实现非常低的偏见指标的同时，超过了 0.999 的 AUC-ROC。参赛者们常用的策略包括面部预处理、数据分布的同质化、使用有偏向性的损失函数和集成模型。前 10 名团队的分析还表明，对于肤色较暗的女性，虚假阳性率较高，同时，佩戴眼镜和年龄较小也会增加虚假阳性率。

    Sep, 2020

  • 公平度指标：比较分析

    该研究利用一个数学框架描述了公平性评估中一些常用的指标，探讨了它们之间的关系，为算法开发者和用户提供指导。

    Jan, 2020

  • 膝盖或 ROC

    基于 CIFAR-10 图像创建的多类图像检测数据集讨论了使用自注意力变换器对图像分类中的多类输入图像进行准确性计算的 ROC 曲线和 Knee 方法阈值的结果。

    Jan, 2024