Jul, 2024
自动化文本标注研究:以GPT-4为例对语义接近性标注的案例研究
Towards Automating Text Annotation: A Case Study on Semantic Proximity
Annotation using GPT-4
TL;DR采用GPT-3.5和GPT-4自动化数据标注过程,利用自动提示技术重复使用人工标注指南和一些已标注数据来设计LLMs的自动提示,重点关注语义接近性注释任务。我们将自动提示与定制提示进行比较,并将提示策略实现到开源的文本注释工具中,通过OpenAI API可以方便在线使用。我们的研究揭示了准确提示设计的重要角色,并暗示用类似人类指示方式提示GPT-4在语义接近性任务上并非易事。我们展示了对人工指南进行小改进已经改善了性能,为未来的研究提供了可能的途径。