走向可比较的主动学习
本研究旨在证明在相同实验条件下,不同类型的主动学习算法(基于不确定性、多样性和委员会的),与随机采样基准相比,产生的收益不一致,这种性能度量的差异性可能导致结果与以前报告的结果不一致,强正则化下,主动学习方法在各种实验条件下显示出微小或无优势,并提出一套关于如何评估主动学习算法的建议,以确保结果在实验条件变化下具有重复性和稳健性。
Feb, 2020
该研究综合分析了在69个现实世界的标签分类数据集上,使用各种主动学习算法在深度神经网络上的表现,结果表明,基于经典边际采样技术的算法在各种实验设置下都能匹配或超越其他算法,甚至包括当前的最佳算法。
Oct, 2022
通过模拟现有标记的数据集作为未标记的数据池,探索了主动学习算法的评估与验证过程中存在的挑战及被忽略的因素对研究结果的影响,提出在实际数据中测试的方法可能提供更加真实的算法效果下限,同时呼吁定义主动学习最佳实践。
May, 2023
使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略,并通过定义和跟踪实验参数,帮助实践者作出更明智的决策,同时帮助研究者开发出新的高效主动学习策略和制定最佳实践,从而降低注释成本。
Aug, 2023
在数据稀缺环境中,通过结合后验采样和公平分类子程序的创新主动学习框架,我们有效地提高了模型准确性并满足公平约束,证明了该方法在最大限度利用少量标注数据时的有效性,并对已有方法进行了改进。
Dec, 2023
在仅有限标记数据可用的情况下,主动学习通过设计查询策略来选择信息量最大的数据点进行标记,旨在提高学习算法的效率和性能。然而,目前缺乏对不同查询策略性能进行比较的标准化基准,特别是在将不同学习算法与主动学习流程相结合并考察学习算法选择的影响方面。为了弥补这一空白,我们提出了ALPBench,用于支持主动学习流程的规范、执行和性能监控。它内置了可确保可重复评估的措施,保存了使用算法的精确数据集拆分和超参数设置。总共,ALPBench包含86个真实的表格分类数据集和5个主动学习设置,产生430个主动学习问题。为了证明其对各种学习算法和查询策略的有用性和广泛兼容性,我们进行了一项示例研究,评估了9种查询策略与8种学习算法在两种不同设置下的表现。我们在此提供ALPBench:[URL]
Jun, 2024
该研究解决了主动学习(AL)在文献中通用性差和实验重复性不足的问题。提出的CDALBench是首个包含计算机视觉、自然语言处理和表格学习任务的主动学习基准,且提供了有效的贪婪oracle,允许每个实验执行50次,显著提升了评估AL研究的可靠性。研究表明,不同领域的主动学习方法表现差异显著,强调了使用跨领域基准的重要性。
Aug, 2024