本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

Apr, 2021

本文介绍了活跃学习在自然语言处理中的应用，并对查询策略、结构化预测任务、注释成本、模型学习和活跃学习的起止等关键问题进行了探讨。结论部分对相关主题和未来方向进行了讨论。

Oct, 2022

研究使用大型语言模型对输入进行注释以提高自然语言处理模型的泛化性，并提出一种基于模型预测得分差异的采样策略来重新训练模型，证明在分类和排名任务中取得了显著的精度提高。

Jun, 2023

使用5种最先进的大型语言模型（LLMs）作为“标注者”在多个任务上进行评估，并比较其与人类标注的优缺点。总体而言，尽管LLMs在某些任务上表现出色，但它们无法替代人类标注的需求。

Jul, 2023

使用可复现的主动学习评估框架来比较评估自然语言处理中的主动学习策略，并通过定义和跟踪实验参数，帮助实践者作出更明智的决策，同时帮助研究者开发出新的高效主动学习策略和制定最佳实践，从而降低注释成本。

Aug, 2023

通过使用大型语言模型作为注释者，并将其放入主动学习循环中，我们提出了LLMaAA方法，充分发挥大型语言模型的潜力并有效利用大量无标签数据，提高效率和可靠性，并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。

Oct, 2023

基于四个不同领域的实验结果，本研究发现，小模型在专家注释的情况下能够以较少标注数据的情况下胜过GPT-3.5，并且与GPT-4在性能上达到或超过其，尽管小模型的规模只有后者的百分之一。因此，我们认为在真实世界的应用中，大型语言模型的预测结果可以作为预热方法，并且通过领域专家的数据注释，实现任务的成功。

Nov, 2023

通过在主动学习循环中使用预训练的大型语言模型的表示，然后在获得所需标记数据后，对这些数据进行微调，从而以较低的计算成本实现与将完全微调的模型相似的性能。

Feb, 2024

通过在主动学习环路中利用LLM的潜力进行数据标注，我们的提议在极低的数据需求下显著提高了性能，为低资源环境中的自动化带来了巨大的潜在成本节约。这种方法能够弥合低资源语言和人工智能之间的鸿沟，促进更广泛的包容，并有潜力在不同的语言环境中实现自动化。

Apr, 2024

该研究引入了一种新的方法，将人工标注和大语言模型（LLMs）与主动学习框架结合，以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明，在降低数据标注成本的同时，模型准确性得到了保持或提高。

Jun, 2024