Nov, 2023
人类仍胜过 LLM:一个关于特定领域注释任务的主动学习的实证研究
Human Still Wins over LLM: An Empirical Study of Active Learning on Domain-Specific Annotation Tasks
Yuxuan Lu, Bingsheng Yao, Shao Zhang, Yun Wang, Peng Zhang...
TL;DR基于四个不同领域的实验结果,本研究发现,小模型在专家注释的情况下能够以较少标注数据的情况下胜过 GPT-3.5,并且与 GPT-4 在性能上达到或超过其,尽管小模型的规模只有后者的百分之一。因此,我们认为在真实世界的应用中,大型语言模型的预测结果可以作为预热方法,并且通过领域专家的数据注释,实现任务的成功。