在主动学习中减轻采样偏差并提高鲁棒性

ICMLSep, 2021

在主动学习中减轻采样偏差并提高鲁棒性

Mitigating Sampling Bias and Improving Robustness in Active Learning

Ranganath Krishnan, Alok Sinha, Nilesh Ahuja, Mahesh Subedar, Omesh Tickoo...

TL;DR该论文提出了简单而高效的方法来减轻主动学习中的采样偏差，同时实现最先进的精度和模型鲁棒性。通过引入有监督对比主动学习和选择具有多样的特性表示的信息性数据样本的无偏查询策略，我们的方法：SCAL 和 DFM，实验表明，所提出的方法降低了采样偏差，在主动学习设置中，查询计算速度比基于贝叶斯的对抗式学习快 26 倍，比 CoreSet 快 11 倍。所提出的 SCAL 方法在对抗性数据集转移和预测真实分布方面具有显着的优势。

Abstract

This paper presents simple and efficient methods to mitigate sampling bias in active learning while achieving state-of-the-art accuracy and model

sampling bias active learning supervised contrastive active learning model robustness dataset shift

发现论文，激发创造

低数据环境下公正主动学习

在数据稀缺环境中，通过结合后验采样和公平分类子程序的创新主动学习框架，我们有效地提高了模型准确性并满足公平约束，证明了该方法在最大限度利用少量标注数据时的有效性，并对已有方法进行了改进。

Dec, 2023

克服自信心以实现主动学习

该研究提出了两种新颖的方法来解决主动学习场景中出现的过度自信问题，一种是名为 Cross-Mix-and-Mix（CMaM）的数据扩增策略，旨在通过扩展有限的训练分布来校准模型；另一种是名为 Ranked Margin Sampling（RankedMS）的数据选择策略，以防止选择导致过度自信预测的数据。通过各种实验和分析，我们能够证明我们的提议通过缓解过度自信，促进了有效的数据选择。

Aug, 2023

BAL：平衡多样性和新颖性的主动学习

通过自监督学习获取特征，利用聚类距离差异度量标识多样的数据，进而构建自适应子集来平衡多样和不确定的数据，该方法相对于已有的主流主动学习方法在广泛认可的基准测试上提高了 1.20% 的性能，同时在更大和更小的标注预算下也验证了该方法的有效性

Dec, 2023

具备对现实数据池进行对比学习的深度主动学习

本研究提出了一种新的主动学习方法，通过对比学习在特征空间中选择集群的样本，从标记和未标记的数据池中获取信息，以获取优先的显着内部分布样本，并证明该方法相对于现有的主动学习方法需要更少的标注预算才能达到相同的准确性水平。

Mar, 2023

考虑主动和被动获取数据的差异：基于支持向量机的不平衡数据主动学习案例

探索了主动学习与被动学习过程中不同推理程序的应用，针对不平衡数据和 HLT 任务中用成本加权的 SVM 进行了研究，提出了一种基于总体不平衡性估计而非标记的训练数据的方法来解决数据不平衡的问题。

Sep, 2014

D-CALM：基于动态聚类的主动学习方法降低偏差

本文提出了一种新颖的自适应基于聚类的主动学习算法 D-CALM，通过将聚类与主动学习相结合，动态地调整聚类和注释工作以响应分类器错误率的估计。实验证明，D-CALM 可以显著优于基线主动学习方法，具有较强的鲁棒性并可以显著降低模型的不想要偏差。

May, 2023

区分性主动学习

提出一种新的批次模式主动学习算法 —— 判别式主动学习法（DAL），并将其应用在神经网络和大批次查询的情境中，尝试通过将标记集合和未标记的数据池区分开来作为选择样本的依据来执行主动学习，结果表明我们的方法在中等和大批次查询中与最先进的方法相当，并且在实现简单的同时还可以扩展到除分类任务之外的其他领域，同时，我们的实验还表明在相对较大的批次中，当批量大小较大时，当前现有的最先进方法均不比不确定性采样明显更好，从而推翻了一些最近文献中报道的结果。

Jul, 2019

深度主动学习中易于翻转样本的查询

该研究提出了一种基于最小不一致度量的主动学习方法，通过计算预测标签的最小不一致概率来选择查询无标签数据，实验结果表明该方法在多个数据集和深度架构上均获得了领先的性能。

Jan, 2024

通过获取对比示例进行主动学习

本文提出了一种基于对比样例的主动学习获取函数，通过在模型特征空间中选择相似的数据点，但能够在预测分布上得到最大差异的方式来选择难以区分和多样化的数据点，在自然语言理解的四个任务和七个数据集的实验中，相比其他传统的获取函数，我们的方法表现更稳定更好，并在主域和异域的数据上都有很好的表现。

Sep, 2021

基于聚类的主动学习与多样性探索缓解标注数据不足问题

该论文提出了一种新的基于聚类的主动学习框架 (ALCS)，其中使用密度聚类方法探索数据的聚类结构，并引入基于双簇边界的样本查询程序以提高高度重叠类别分类的学习性能，此外，我们开发了有效的多样性探索策略来解决样本查询中的冗余问题，实验证明了该方法的有效性。

Jul, 2022