无标记数据下多分类器准确率的估计

Jul, 2014

无标记数据下多分类器准确率的估计

Estimating the Accuracies of Multiple Classifiers Without Labeled Data

Ariel Jaffe, Boaz Nadler, Yuval Kluger

TL;DR本研究通过谱方法，针对二元情况下的多个分类器预测结果，提出了一种无监督方法来估计分类器的准确性，同时构建了更准确的无监督集成分类器，并通过人工和真实数据集的实验表明了该算法的竞争性能。

Abstract

In various situations one is given only the predictions of multiple classifiers over a large unlabeled test data. This scenario raises the following questions: Without any labeled data and without any a-priori knowledge about the reliability of these different classifiers, is it possible to consistently and computationally efficiently estimate their accuraci

unsupervised ensemble classifier binary case spectral approach accuracy estimation classifier independence assumptions

发现论文，激发创造

在没有标签数据的情况下对多个预测器进行排名和组合

本文介绍了一种基于谱方法的元学习器，可以在只有多个分类器的推荐或预测的情况下，可靠地排名它们，并构建一个比大多数组合中的分类器更准确的元分类器。该方法假设分类器之间具有条件独立性，并通过计算其协方差矩阵和特征向量进行排名，并进一步引入谱元学习器作为组合加权分类器。该方法在模拟和真实数据上达到了比大多数分类器更高的准确性。

Mar, 2013

从无标签数据估算准确性：一种概率逻辑方法

我们提出了一种基于逻辑约束的多类别分类器准确度无标签估计方法，尝试使用基于分类器之间一致性的逻辑关系的猜想，从而得出准确估计值，实验证明了此方法在四个真实数据集上的有效性。

May, 2017

集合准确性的实用估计

本文提出一种实用的方法来估计多个分类器的联合能力，与现有方法不同的是它不依赖于标签，从而使得在大型无监督数据集中进行工作成为可能。该方法通过组合误差的组合边界实现，能够高效地搜索可能产生更高联合准确性的分类器组合。此外，该方法适用于无标签数据，使其在现代的无监督学习场景中既准确又实用。通过在流行的大规模人脸识别数据集上进行实验证明了该方法的有效性，这些数据集为使用嘈杂数据进行细粒度分类任务提供了一个有用的测试平台。该方法与无监督学习的趋势性实践相吻合，通过衡量一组分类器的内在独立性，而不依赖于其他分类器或标记数据。

Nov, 2023

基于依赖分类器的无监督集成学习

本文主要探讨如何在无监督学习中，检测强违反条件独立性的分类器依赖关系，提高分类器准确性估计以及构造更合适的元学习器的方法，旨在提高集成学习算法的性能表现。

Oct, 2015

基于数据流的无标注数据噪声评估法官的二元分类算法

本文提出两个完全基于代数的评估算法来处理嘈杂的二元分类器的未标记数据流，第一个基于多数投票，第二个是本文主要贡献，保证正确性。

Jun, 2023

使用自训练集成方法检测未标记数据上的错误并估计准确性

本文提出了一个结合了模型集成学习和自训练的框架，用于解决深度学习模型在实际部署中遭遇训练数据分布不同的测试数据导致性能下降的问题，同时解决无监督准确度估计和错误检测两个挑战性任务，并在 59 项任务中取得了最优结果。

Jun, 2021

使用未标记数据最优地组合分类器

该研究开发了一种针对二进制分类的分类器集成的最坏情况分析方法，通过一种叫做极小极大解的方法可以找出在一个已知的未标记数据集上，一个加权组合的分类器可以比任何单个分类器的表现要好得多。

Mar, 2015

从正样本和未标记数据中交替估算分类器和类先验

本文提出了一种新的 PU 学习方法，可同时估计类先验和训练分类器，简单易行且计算效率高，并通过实验验证了该方法的实用性。

Sep, 2018

从含有噪声的正样本和未标记的数据中估计类别先验和后验

发展一种分类算法，可从正未标记数据中估计后验分布，对正标记上的噪声具有鲁棒性，对高维数据有效。

Jun, 2016

使用未标注数据的置信度估计

通过检查训练过程中的预测一致性，我们提出了一种自信度评估方法，用于半监督学习场景下在大部分训练标签不可用的情况下合理地估计模型对未标记样本的自信度。我们使用训练一致性作为替代函数，并提出了一种一致性排序损失函数用于自信度评估。在图像分类和分割任务中，我们的方法实现了自信度评估的最新性能。此外，我们通过一个下游主动学习任务展示了所提方法的好处。

Jul, 2023