Aug, 2023

ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

PDF
TL;DR使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。
supervised machine learningactive learningempirical basisperformance evaluationnlp
发现论文，激发创造
  • ImitAL: 在合成数据上学习的主动学习策略

    本文介绍了一种领域无关的主动学习（Active Learning）查询策略 ImitAL，使用学习排序（Learning-to-rank）方法编码 AL，通过大规模模拟运行在纯合成数据集上进行训练，成功地通过与其他 7 种查询策略在 13 个不同领域的数据集上的广泛评估。

    Aug, 2022

  • 深度主动学习的比较调查

    研究 DAL 的不同方法，提出 DeepAL+ 工具包，并通过分类实验评估 DAL 方法的性能效果，提供更好的数据标注方法以提高模型性能。

    Mar, 2022

  • 主动学习器的脆弱性

    在针对文本分类的活跃学习技术中，选择正确的文本表示、分类器以及评估指标是至关重要的，因为不同的因素可能会导致活跃学习技术的有效性受到限制。

    Mar, 2024

  • 部署主动学习的实际障碍

    本文研究了主题 “主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

    Jul, 2018

  • 抽象文本摘要的主动学习

    本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高 ROUGE 和一致性分数。

    Jan, 2023

  • 开放式主动学习策略的评估和解释

    本研究介绍了一个名为 OpenAL 的灵活开源框架，用于快速运行和比较现实任务中提出的采样可用性策略。该基准测试还增加了可解释性度量和统计分析方法，以确保对数据集的采样需求被最好地解决。

    Apr, 2023

  • 使用神经网络实现鲁棒性和可重现的主动学习

    本研究旨在证明在相同实验条件下，不同类型的主动学习算法（基于不确定性、多样性和委员会的），与随机采样基准相比，产生的收益不一致，这种性能度量的差异性可能导致结果与以前报告的结果不一致，强正则化下，主动学习方法在各种实验条件下显示出微小或无优势，并提出一套关于如何评估主动学习算法的建议，以确保结果在实验条件变化下具有重复性和稳健性。

    Feb, 2020

  • 关于模拟主动学习的限制

    通过模拟现有标记的数据集作为未标记的数据池，探索了主动学习算法的评估与验证过程中存在的挑战及被忽略的因素对研究结果的影响，提出在实际数据中测试的方法可能提供更加真实的算法效果下限，同时呼吁定义主动学习最佳实践。

    May, 2023

  • 走向可比较的主动学习

    提供了一种公平比较不同任务和领域中算法的主动学习框架，并提出了一种快速有效的评估算法。汇总了在 3 个主要领域（表格、图像和文本）上使用的 6 种广泛应用的算法在 7 个实际数据集和 2 个合成数据集上的实证结果，并形成了领域特定的主动学习算法排名。

    Nov, 2023

  • 自然语言处理中主动学习的调查

    本文介绍了活跃学习在自然语言处理中的应用，并对查询策略、结构化预测任务、注释成本、模型学习和活跃学习的起止等关键问题进行了探讨。结论部分对相关主题和未来方向进行了讨论。

    Oct, 2022