在本研究中，我们通过对不同 QA 数据集上的顺序微调策略的性能进行全面分析，证明了传统的基于预训练语言模型和微调策略在低预算设置下是次优的。我们的实验结果表明，在低预算设置下，最佳策略是使用预训练语言模型，并将其与目标数据集和 SQuAD 数据集进行微调。在不额外标注的情况下，该策略的性能优于标准策略 2.28% 至 6.48%。这些实验结果对于 QA 从业者在低预算下如何最好地微调 QA 系统具有极大的实用价值。

Jan, 2024

使用大型语言模型（GPT-3.5 和 GPT-4）进行标注，研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略，将可能标注错误的样本与人工注释相结合，可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果，证明了大型语言模型在主动学习中的准确性和成本效益。

Jan, 2024

研究使用大型语言模型对输入进行注释以提高自然语言处理模型的泛化性，并提出一种基于模型预测得分差异的采样策略来重新训练模型，证明在分类和排名任务中取得了显著的精度提高。

Jun, 2023

本文讨论使用预训练语言模型在自然语言处理中进行主动学习时存在的问题，并提出了使用先前所有的未标注数据来适应目标任务的解决方法，同时也提出了一种简单有效的微调方法来保证适应的语言模型在低资源和高资源情况下都能得到适当的训练，实验结果表明，相比标准的微调方法，我们的方法提供了显著的数据效率改进，这表明一个不良的训练策略可能对主动学习产生灾难性的影响。

Apr, 2021

本文研究主题为探究主动学习中数据集可迁移性的影响因素，结果表明，使用相似的问询顺序能够获得高度可迁移的数据集，掌握掌握合适的主动学习方法比选择合适的模型更加重要。

May, 2023

通过使用大型语言模型作为注释者，并将其放入主动学习循环中，我们提出了 LLMaAA 方法，充分发挥大型语言模型的潜力并有效利用大量无标签数据，提高效率和可靠性，并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。

Oct, 2023

该研究提出了一个通用的方法来发现可以从数据中转移的主动学习策略，通过将注释过程形式化为马尔可夫决策过程，设计出通用的状态和动作空间，并引入了一个新的奖励函数，该函数可以准确地模拟最小化注释成本的主动学习目标。然后，使用强化学习来寻找最优的主动学习策略，并在多个不相关的领域对学习后的策略进行了评估，表明它们始终优于现有技术基线。

Oct, 2018

提出了一种利用自监督学习和小规模词典来初始化神经机器翻译（NMT）模型，在初始化后使用主动学习策略提高低资源条件下（如稀缺语言）翻译模型性能的方法，并提出了一种基于领域适应的新型主动学习策略。除此之外，我们还表明，使用这种初始化方法和主动学习策略可相比于传统方法提高最多 13 个 BLEU 点。

Jan, 2022

本文主要研究了如何在有限预算的情况下，通过选取最佳的数据标注和预训练策略，优化 NLP 领域的域适应问题，研究表明，小预算情况下，全部资金用于数据标注可以获得最好的性能表现，但预算足够大时，则在数据标注和领域内预训练之间进行平衡会更好。

Sep, 2021

提出了一种名为 AcTune 的新框架，该框架利用未标记数据来提高主动预训练语言模型的标记效率，该方法采用了区域感知采样策略和基于动量的记忆库技术，将主动预训练语言模型的标记效率提高了 56.2％。

Dec, 2021