使用神经网络实现鲁棒性和可重现的主动学习

CVPRFeb, 2020

使用神经网络实现鲁棒性和可重现的主动学习

Towards Robust and Reproducible Active Learning Using Neural Networks

Prateek Munjal, Nasir Hayat, Munawar Hayat, Jamshid Sourati, Shadab Khan

TL;DR本研究旨在证明在相同实验条件下，不同类型的主动学习算法（基于不确定性、多样性和委员会的），与随机采样基准相比，产生的收益不一致，这种性能度量的差异性可能导致结果与以前报告的结果不一致，强正则化下，主动学习方法在各种实验条件下显示出微小或无优势，并提出一套关于如何评估主动学习算法的建议，以确保结果在实验条件变化下具有重复性和稳健性。

Abstract

active learning (AL) is a promising ML paradigm that has the potential to parse through large unlabeled data and help reduce annotation cost in domains where labeling data can be prohibitive. Recently proposed neural network based AL methods use different heuristics to accomplish this

active learning neural networks al algorithms stochasticity reproducible research

发现论文，激发创造

ImageNet 规模下的主动学习

该研究通过将主动学习与自监督预训练相结合，并使用称为 Balanced Selection（BASE）的算法来解决类不平衡问题，提高图像分类性能，特别适用于工业级大规模数据标记和训练中。

Nov, 2021

部署主动学习的实际障碍

本文研究了主题 “主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

Jul, 2018

自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

Aug, 2018

DEAL: 图像分类的深度证据主动学习

本文提出一种新的主动学习算法，将 CNN 模型的输出从 softmax 替换为 Dirichlet 值，实现从未标记数据中提取最具信息量的标记数据集，该方法在多项数据集和医学图像识别领域中与其他主动学习方法相比均具有更高的性能表现和易于实现且不需要大量计算资源的优点。

Jul, 2020

关于模拟主动学习的限制

通过模拟现有标记的数据集作为未标记的数据池，探索了主动学习算法的评估与验证过程中存在的挑战及被忽略的因素对研究结果的影响，提出在实际数据中测试的方法可能提供更加真实的算法效果下限，同时呼吁定义主动学习最佳实践。

May, 2023

面向可计算的深度主动学习

该研究介绍了两种用于文本分类和标记任务的技术，可以显著减少深度学习中主动学习繁重的计算资源需求，通过伪标签和蒸馏模型实现更高性能的模型训练。

May, 2022

基于确定性神经主动学习的困惑样本优先策略

神经网络主导的主动学习（NAL）是一种具有成本效益的数据选择技术，利用神经网络选择和训练一小部分样本。本研究在特征学习视角下，对两种常用的 NAL 查询准则：基于不确定性和基于多样性进行了统一解释，并证明这两种准则的成功都在于优先选择包含尚未学习特征的样本，从而在少量标记样本的情况下实现较小的测试误差。实验结果验证了我们的发现。

Jun, 2024

主动学习器的脆弱性

在针对文本分类的活跃学习技术中，选择正确的文本表示、分类器以及评估指标是至关重要的，因为不同的因素可能会导致活跃学习技术的有效性受到限制。

Mar, 2024

通过深度强化学习元学习可转移的主动学习策略

使用元学习框架，将主动学习算法视为学习问题，并使用强化学习训练一个输入基础学习器状态和未标记点集的深度神经网络，预测下一个最佳注释点，使用多任务数据集嵌入方法，使得算法可以直接推广到不同的问题。

Jun, 2018

ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

Aug, 2023