Jul, 2024

探索ChatGPT在社交计算任务中重现人类标签的能力（扩展版）

HTML
PDF
TL;DR利用大型语言模型（LLMs）如ChatGPT可以通过包容性、道德和可持续的方式解决社会挑战。本文中，我们调查了ChatGPT在社会计算任务中注释数据的潜力，旨在降低进行网络研究的复杂性和成本。通过使用ChatGPT重新注释涵盖与COVID-19虚假信息、社交机器人欺骗、网络欺凌、点击诱饵新闻和俄乌战争等紧迫社会问题相关的七个数据集来评估ChatGPT的潜力。研究结果表明，ChatGPT在处理这些数据注释任务方面表现出很高的潜力，尽管存在一些挑战。在这七个数据集中，ChatGPT的平均注释F1得分为72.00%。其在点击诱饵新闻注释方面表现出色，正确标记数据的比例为89.66%。然而，我们还观察到不同标签的性能存在显著差异。我们的研究揭示了ChatGPT注释性能中的可预测模式。因此，我们提出了GPT-Rater，这是一个工具，用于预测ChatGPT是否能正确标记给定注释任务的数据。研究人员可以使用此工具来确定ChatGPT在其注释需求中是否合适。我们展示了GPT-Rater有效地预测了ChatGPT的性能。在点击诱饵新闻标题数据集上表现最佳，平均F1得分为95.00%。我们相信这项研究为分析开辟了新的途径，并且可以降低参与社会计算研究的障碍。