通过获取对比示例进行主动学习

EMNLPSep, 2021

Active Learning by Acquiring Contrastive Examples

Katerina Margatina, Giorgos Vernikos, Loïc Barrault, Nikolaos Aletras

TL;DR本文提出了一种基于对比样例的主动学习获取函数，通过在模型特征空间中选择相似的数据点，但能够在预测分布上得到最大差异的方式来选择难以区分和多样化的数据点，在自然语言理解的四个任务和七个数据集的实验中，相比其他传统的获取函数，我们的方法表现更稳定更好，并在主域和异域的数据上都有很好的表现。

Abstract

Common acquisition functions for active learning use either uncertainty or diversity sampling, aiming to select difficult and diverse data points from the pool of unlabeled data, respectively. In this work, lever

active learning uncertainty sampling diversity sampling natural language understanding contrastive examples

发现论文，激发创造

自适应采集的深度主动学习

该论文介绍了一个新的方法，通过将采集函数作为学习预测器并通过强化反馈训练它，以打破模型选择中的恶性循环；该系统由贝叶斯神经网络、自举采集函数、概率状态定义和另一个贝叶斯策略网络组成，可在三个基准数据集上始终发现新的更好的采集函数。

Jun, 2019

在主动学习中减轻采样偏差并提高鲁棒性

该论文提出了简单而高效的方法来减轻主动学习中的采样偏差，同时实现最先进的精度和模型鲁棒性。通过引入有监督对比主动学习和选择具有多样的特性表示的信息性数据样本的无偏查询策略，我们的方法：SCAL 和 DFM，实验表明，所提出的方法降低了采样偏差，在主动学习设置中，查询计算速度比基于贝叶斯的对抗式学习快 26 倍，比 CoreSet 快 11 倍。所提出的 SCAL 方法在对抗性数据集转移和预测真实分布方面具有显着的优势。

Sep, 2021

具备对现实数据池进行对比学习的深度主动学习

本研究提出了一种新的主动学习方法，通过对比学习在特征空间中选择集群的样本，从标记和未标记的数据池中获取信息，以获取优先的显着内部分布样本，并证明该方法相对于现有的主动学习方法需要更少的标注预算才能达到相同的准确性水平。

Mar, 2023

通过多任务双层优化学习主动学习的排序

活动学习是通过有选择性地请求标签以提高模型性能从而减少标注成本的一种有前途的范式。本研究提出了一种新的活动学习方法，通过一个学习的代理模型选择批次的未标记实例来进行数据获取，从而克服了现有活动学习方法所依赖于昂贵的获取函数计算、广泛的建模重训练和与注释者的多轮交互等局限性。

Oct, 2023

医学图像深度主动学习的收集函数研究

通过实验和分析证明了不确定性在黑素瘤检测任务中是有用的，并且证实了作者提出的 BALD 方法在平均性能上优于其他获取函数。然而，进一步的分析揭示了所有获得函数在阳性（癌症）样本上表现不佳，暗示了类别不平衡的利用，在真实世界环境中可能是关键的。

Jan, 2024

ALLSH: 基于本地敏感性和难度引导的主动学习

本文提出了一种通过本地扰动选择数据点，进一步加强数据采集函数的主动学习方法，并在多种分类任务和基于提示的少样本学习的研究中取得了一致的利益和改进，证明了我们的敏感性和硬度引导的数据采集方法对许多 NLP 任务来说是有效和有益的。

May, 2022

主动相关聚类的有效获取函数

本文研究了相关聚类中使用主动学习来查询相似性的有效获取函数，并提出了三种基于不一致性、熵和信息增益的获取函数。

Feb, 2024

基于扰动的主动学习问答

利用主动学习训练策略可以建立一个问题回答模型，以更小的注释成本实现，该策略选择最具信息量的未标记训练数据以有效地更新模型，该研究提出一种基于扰动的主动学习采集策略，并证明其比现有常用策略更有效。

Nov, 2023

主动学习：问题设置和最新发展

本文介绍了有监督学习中获取标记数据的高成本和获取大量未标记数据的轻松方法，以及通过自适应选择标记样本来获得高精度预测模型的主要问题设置和最近的研究趋势。重点介绍了选择从数据中进行标记的学习获取函数的研究、关于主动学习算法的理论工作和顺序数据获取的停止标准。介绍了材料开发和测量的应用示例。

Dec, 2020

面向可计算的深度主动学习

该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

May, 2022