Jul, 2024

自动化文本标注研究:以 GPT-4 为例对语义接近性标注的案例研究

TL;DR采用 GPT-3.5 和 GPT-4 自动化数据标注过程,利用自动提示技术重复使用人工标注指南和一些已标注数据来设计 LLMs 的自动提示,重点关注语义接近性注释任务。我们将自动提示与定制提示进行比较,并将提示策略实现到开源的文本注释工具中,通过 OpenAI API 可以方便在线使用。我们的研究揭示了准确提示设计的重要角色,并暗示用类似人类指示方式提示 GPT-4 在语义接近性任务上并非易事。我们展示了对人工指南进行小改进已经改善了性能,为未来的研究提供了可能的途径。