Jun, 2019

主动学习的实践挑战：从现场实验中吸取的教训

HTML
PDF
TL;DR通过活动学习的方法，在真实环境中测试使用选择文本句子的效果，以进行人工注释，用于训练泰国细分机器学习模型的研究。在研究中，通过从文本语料库中随机抽样句子和基于模型的评分和排名句子来构建两个并发标注样本。在此过程中，观察了学习环境的重大变化对实际学习任务的影响，描述了我们的主动学习策略如何与这些事件相互作用，并讨论在真实环境中使用主动学习遇到的其他实际挑战。
发现论文，激发创造
  • 一步主动学习的元学习方法

    本文研究了代价昂贵的标注问题，并提出了一种使用元学习技术来学习主动学习策略的模型，在池化的场景下使用。实验获得了鼓舞人心的结果。

    Jun, 2017

  • 部署主动学习的实际障碍

    本文研究了主题“主动学习”，发现尽管在特定模型和特定领域中使用主动学习可能会带来好处，但在不同模型和任务之间泛化当前方法的好处不可靠，并且主动学习的认购数据与指导其获取的模型相结合，与使用独立同分布的（I.I.D）随机样本训练继任模型的方法相比并没有明显的优势，主动学习的局限性是否值得现实中的应用，值得深思。

    Jul, 2018

  • 关于有效地为主动学习调整预训练语言模型的重要性

    本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

    Apr, 2021

  • 自然语言处理中主动学习的调查

    本文介绍了活跃学习在自然语言处理中的应用，并对查询策略、结构化预测任务、注释成本、模型学习和活跃学习的起止等关键问题进行了探讨。结论部分对相关主题和未来方向进行了讨论。

    Oct, 2022

  • 抽象文本摘要的主动学习

    本文提出了第一个基于多样性原则的主动学习查询策略来缓解抽象文本摘要中昂贵的注释成本，并分析了自学习的效果。该策略可以帮助提高ROUGE和一致性分数。

    Jan, 2023

  • 关于模拟主动学习的限制

    通过模拟现有标记的数据集作为未标记的数据池，探索了主动学习算法的评估与验证过程中存在的挑战及被忽略的因素对研究结果的影响，提出在实际数据中测试的方法可能提供更加真实的算法效果下限，同时呼吁定义主动学习最佳实践。

    May, 2023

  • 自然语言生成的主动学习

    本文是第一次系统地研究了主动学习在文本生成方面的应用，研究表明现有的主动学习策略在文本生成场景下效果不佳，无法持续超越随机示例选择的基准线。

    May, 2023

  • ALE：面向自然语言处理的基于仿真的主动学习评估框架用于参数驱动的查询策略比较

    使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

    Aug, 2023

  • 主动学习器的脆弱性

    在针对文本分类的活跃学习技术中，选择正确的文本表示、分类器以及评估指标是至关重要的，因为不同的因素可能会导致活跃学习技术的有效性受到限制。

    Mar, 2024

  • 面向主观NLP任务的标注者中心主动学习

    利用主观自然语言处理任务进行准确的人类判断的关键是在注释过程中纳入广泛的视角。引入了注释者中心主动学习策略(ACAL)，结合数据采样和注释者选择策略，旨在高效地近似获取人类判断的全面多样性，并使用注释者中心度量评估模型性能。对于七个主观自然语言处理任务进行了多种注释者选择策略的实验，同时采用了传统和新颖的以人为中心的评估指标。结果表明，ACAL提高了数据效率并在注释者中心度量评估中表现出色，但其成功仍取决于足够大而多样的注释者样本池的可用性。

    Apr, 2024