Jun, 2024

ALPBench: 用于表格数据上的主动学习流水线评估的基准

PDF
TL;DR在仅有限标记数据可用的情况下，主动学习通过设计查询策略来选择信息量最大的数据点进行标记，旨在提高学习算法的效率和性能。然而，目前缺乏对不同查询策略性能进行比较的标准化基准，特别是在将不同学习算法与主动学习流程相结合并考察学习算法选择的影响方面。为了弥补这一空白，我们提出了 ALPBench，用于支持主动学习流程的规范、执行和性能监控。它内置了可确保可重复评估的措施，保存了使用算法的精确数据集拆分和超参数设置。总共，ALPBench 包含 86 个真实的表格分类数据集和 5 个主动学习设置，产生 430 个主动学习问题。为了证明其对各种学习算法和查询策略的有用性和广泛兼容性，我们进行了一项示例研究，评估了 9 种查询策略与 8 种学习算法在两种不同设置下的表现。我们在此提供 ALPBench：[URL]
发现论文，激发创造
  • 针对二元分类的基于池的主动学习的重新基准测试

    本文提出了一种可靠和可扩展的实现来重新评估现有主动学习策略的数据集，通过重新评估实验，我们不仅纠正了现有基准测试中的配置错误，还揭示了模型兼容性等问题。我们经验突出了把研究努力奉献给重新评估现有基准测试以产生更可信结果和深入洞察的重要性。

    Jun, 2023

  • ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

    使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

    Aug, 2023

  • 利润是否就足够了？基于表格数据的主动学习的广泛经验研究

    该研究综合分析了在 69 个现实世界的标签分类数据集上，使用各种主动学习算法在深度神经网络上的表现，结果表明，基于经典边际采样技术的算法在各种实验设置下都能匹配或超越其他算法，甚至包括当前的最佳算法。

    Oct, 2022

  • 走向可比较的主动学习

    提供了一种公平比较不同任务和领域中算法的主动学习框架，并提出了一种快速有效的评估算法。汇总了在 3 个主要领域（表格、图像和文本）上使用的 6 种广泛应用的算法在 7 个实际数据集和 2 个合成数据集上的实证结果，并形成了领域特定的主动学习算法排名。

    Nov, 2023

  • 法律文本分类的高效主动学习流程

    本研究提出了一种在法律领域内使用主动学习与预训练语言模型的管道，其中利用了三个阶段的未标记数据，通过知识蒸馏引导模型的嵌入到一个语义上有意义的空间，并提出了一种简单而有效的策略找到初始的标记样本，实验表明相比传统方法在数据标注成本上更为高效且性能更好。

    Nov, 2022

  • LabelBench：用于基准测试标签高效学习的全面框架

    本文介绍了一种新的计算有效性框架 LabelBench，用于联合评估多种标记效率学习技术，同时引入了结合半监督学习和主动学习的新颖方法来微调预训练视觉转换器。

    Jun, 2023

  • 开放式主动学习策略的评估和解释

    本研究介绍了一个名为 OpenAL 的灵活开源框架，用于快速运行和比较现实任务中提出的采样可用性策略。该基准测试还增加了可解释性度量和统计分析方法，以确保对数据集的采样需求被最好地解决。

    Apr, 2023

  • ALiPy: Python 中的主动学习

    本文介绍了一个名为 ALiPy 的 Python 工具箱，可用于实现最新的有监督学习和主动学习算法，并支持多标签数据、噪声注释者和各种成本等不同的主动学习设置。该工具箱在 Github 上有完整的开源文档，可通过 PyPI 轻松安装。

    Jan, 2019

  • 自然语言处理的深度贝叶斯主动学习：一项大规模实证研究结果

    本篇论文就深度主动学习进行了大规模实证研究，针对多种任务和数据集、模型以及获取函数，证实贝叶斯主动学习方法在许多方面都优于传统的不确定性采样方法。

    Aug, 2018

  • 深度主动学习在图像分类任务中的有效评估

    本文旨在探讨如何通过主动学习（AL）技术实现更高效的标签操作的问题，其中包括一些在目前文献中存在的问题，如数据增强方法和 SGD 等常见方法的应用等，通过在图像分类中新的开源 AL 工具 DISTIL 的统一重新实现，我们研究了这些问题，并提出了一些第一手的洞察，以供 AL 从业者在未来的工作中参考。

    Jun, 2021