May, 2024

面部识别训练 / 测试数据中的身份重叠:导致准确性测量中的乐观偏差

TL;DR模式识别的基本原则之一是训练和测试集之间的重叠会导致对准确性的乐观估计,在人脸识别中,由于训练集中的标识进行 N 路分类,通常将准确性估计为来自测试集(如 LFW、CALFW、CPLFW、CFP-FP 和 AgeDB-30 等)图像对的平均 10 折分类准确性。我们的实验揭示了 LFW 测试集系列与 MS1MV2 训练集之间的身份和图像重叠程度。我们还发现 MS1MV2 中存在身份标签噪声。通过将与 LFW 不重叠和与 LFW 重叠的相同大小 MS1MV2 子集的准确性进行比较,以揭示乐观偏差的大小。使用来自 LFW 测试集系列的更具挑战性的测试集,我们发现更具挑战性的测试集的乐观偏差更大。我们的结果突出了人脸识别研究中缺乏身份不重叠的训练和测试方法的问题和需求。