Jun, 2024

ALPBench: 用于表格数据上的主动学习流水线评估的基准

HTML
PDF
TL;DR在仅有限标记数据可用的情况下，主动学习通过设计查询策略来选择信息量最大的数据点进行标记，旨在提高学习算法的效率和性能。然而，目前缺乏对不同查询策略性能进行比较的标准化基准，特别是在将不同学习算法与主动学习流程相结合并考察学习算法选择的影响方面。为了弥补这一空白，我们提出了ALPBench，用于支持主动学习流程的规范、执行和性能监控。它内置了可确保可重复评估的措施，保存了使用算法的精确数据集拆分和超参数设置。总共，ALPBench包含86个真实的表格分类数据集和5个主动学习设置，产生430个主动学习问题。为了证明其对各种学习算法和查询策略的有用性和广泛兼容性，我们进行了一项示例研究，评估了9种查询策略与8种学习算法在两种不同设置下的表现。我们在此提供ALPBench：[URL]
发现论文，激发创造
  • 使用比较查询进行主动分类

    研究一种扩展主动学习的方法，其中学习算法可以要求注释者比较两个示例与其标签类边界的距离，并使用半空间的框架展示这种方法的优越性。

    Apr, 2017

  • 结合 MixMatch 和主动学习以在更少的标签下实现更高准确度

    使用基于主动学习技术的方法改进了半监督学习 MixMatch 算法，并在 CIFAR-10、CIFAR-100 和 SVHN 数据集上进行了全面的实证评估，得到了显著的性能提升。此外，还对标记和非标记数据成本之间的权衡进行了实证分析，发现虽然有标记数据的增量效益可以高达非标记数据的 20 倍，但一旦观察到超过 2000 个标记示例，其效益就会迅速减弱到不到 3 倍。

    Dec, 2019

  • Active Learning++：利用本地模型解释包含标注者原因

    研究提出一种新的主动学习框架，称为Active Learning++，其可以利用注释者的标签以及其理由，通过修改基于Bagging的Query by Committee (QBC)采样策略的不一致度量方法，将委员会模型的权重分配给具有更高一致性的注释者排序的委员会模型，在模拟研究中表明该框架显著优于QBC based vanilla AL framework。

    Sep, 2020

  • ImitAL: 在合成数据上学习的主动学习策略

    本文介绍了一种领域无关的主动学习（Active Learning）查询策略ImitAL，使用学习排序（Learning-to-rank）方法编码AL，通过大规模模拟运行在纯合成数据集上进行训练，成功地通过与其他7种查询策略在13个不同领域的数据集上的广泛评估。

    Aug, 2022

  • 利润是否就足够了？基于表格数据的主动学习的广泛经验研究

    该研究综合分析了在69个现实世界的标签分类数据集上，使用各种主动学习算法在深度神经网络上的表现，结果表明，基于经典边际采样技术的算法在各种实验设置下都能匹配或超越其他算法，甚至包括当前的最佳算法。

    Oct, 2022

  • 基于表格语言模型的主动学习

    该研究探讨了在实际工业中使用表格语言模型的情景下，使用不同获取函数进行子单元命名实体识别的主题并发现cell-level获取函数具有内置多样性，可以显着降低标注工作量。同时还发现了存在人工标注方面的计算效率问题和未解决的问题。

    Nov, 2022

  • 抽象文本摘要的主动学习

    本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高ROUGE和一致性分数。

    Jan, 2023

  • ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

    使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

    Aug, 2023

  • 走向可比较的主动学习

    提供了一种公平比较不同任务和领域中算法的主动学习框架，并提出了一种快速有效的评估算法。汇总了在3个主要领域（表格、图像和文本）上使用的6种广泛应用的算法在7个实际数据集和2个合成数据集上的实证结果，并形成了领域特定的主动学习算法排名。

    Nov, 2023

  • 跨领域主动学习基准

    该研究解决了主动学习（AL）在文献中通用性差和实验重复性不足的问题。提出的CDALBench是首个包含计算机视觉、自然语言处理和表格学习任务的主动学习基准，且提供了有效的贪婪oracle，允许每个实验执行50次，显著提升了评估AL研究的可靠性。研究表明，不同领域的主动学习方法表现差异显著，强调了使用跨领域基准的重要性。

    Aug, 2024