FreeAL:大语言模型时代的无人主动学习
使用大型语言模型(GPT-3.5 和 GPT-4)进行标注,研究了主动学习中减少标注成本和采样效率的方法。采用混合注释策略,将可能标注错误的样本与人工注释相结合,可以在 AG 新闻和腐烂的番茄等数据集上取得与人工注释相似甚至更好的结果,证明了大型语言模型在主动学习中的准确性和成本效益。
Jan, 2024
该研究引入了一种新的方法,将人工标注和大语言模型(LLMs)与主动学习框架结合,以在数据标注的成本效益和分类性能之间取得最佳平衡。实证结果表明,在降低数据标注成本的同时,模型准确性得到了保持或提高。
Jun, 2024
通过使用大型语言模型作为注释者,并将其放入主动学习循环中,我们提出了 LLMaAA 方法,充分发挥大型语言模型的潜力并有效利用大量无标签数据,提高效率和可靠性,并且在命名实体识别和关系抽取等自然语言处理任务上取得了超过其他基线方法的更高性能。
Oct, 2023
基于四个不同领域的实验结果,本研究发现,小模型在专家注释的情况下能够以较少标注数据的情况下胜过 GPT-3.5,并且与 GPT-4 在性能上达到或超过其,尽管小模型的规模只有后者的百分之一。因此,我们认为在真实世界的应用中,大型语言模型的预测结果可以作为预热方法,并且通过领域专家的数据注释,实现任务的成功。
Nov, 2023
本文旨在探讨如何使用主动学习算法作为选择最佳演示文稿的方法来服务于上下文学习,对比了基于不确定性、多样性和相似性等各种标准的演示文稿选择算法,并表明相似性算法胜过其他所有方法,包括随机抽样和不确定性抽样。
May, 2023
通过在主动学习环路中利用 LLM 的潜力进行数据标注,我们的提议在极低的数据需求下显著提高了性能,为低资源环境中的自动化带来了巨大的潜在成本节约。这种方法能够弥合低资源语言和人工智能之间的鸿沟,促进更广泛的包容,并有潜力在不同的语言环境中实现自动化。
Apr, 2024
通过模拟现有标记的数据集作为未标记的数据池,探索了主动学习算法的评估与验证过程中存在的挑战及被忽略的因素对研究结果的影响,提出在实际数据中测试的方法可能提供更加真实的算法效果下限,同时呼吁定义主动学习最佳实践。
May, 2023
该研究提出了一种新的主动学习框架,通过加入自然语言解释生成模型,实现在低资源条件下减少标签和解释注释的人工成本,并提升了决策方案生成的效果。
May, 2023
本研究提出了一种在法律领域内使用主动学习与预训练语言模型的管道,其中利用了三个阶段的未标记数据,通过知识蒸馏引导模型的嵌入到一个语义上有意义的空间,并提出了一种简单而有效的策略找到初始的标记样本,实验表明相比传统方法在数据标注成本上更为高效且性能更好。
Nov, 2022