Apr, 2023

ChatGPT 是否能够复现人类生成的标签？社交计算任务的研究

PDF
TL;DR该研究探讨了 ChatGPT 等大型语言模型是否有潜力在社交计算任务中复制人类生成的标签注释，并使用 ChatGPT 重新标注了五个具有里程碑意义的数据集，证明了它在数据注释方面具有潜力，但仍存在挑战。
chatgptlarge language modelssocial computing tasksdata annotationhuman annotation tasks
发现论文，激发创造
  • ChatGPT 优于人工工人在文本注释任务中的表现

    本研究使用 2382 个推文的样本表明，ChatGPT 在多个数据标注任务方面表现优于众包工人，特别是零 - shot 准确率，且其内部编码者间一致性超过了众包工人和训练有素的注释员，而其标注成本比 MTurk 便宜二十倍左右，这些结果表明大型语言模型在文本分类方面大大提高了效率。

    Mar, 2023

  • 聊天机器人不可靠的文本标注工具

    对比研究发现，ChatGPT 和开源语言模型在标注社会科学研究中的文本任务中表现存在显著差异，而监督分类模型一贯表现更优，因此不建议在社会科学研究中使用 ChatGPT 进行实质性的文本标注任务。

    Nov, 2023

  • ChatGPT 是否是通用自然语言处理任务解决方案？

    本文通过对 20 个流行的任务数据集进行评估，就 ChatGPT 的零 - shot 学习能力进行了实证分析，并发现它在推理能力较强的任务上表现良好，如算术推理，但在特定任务（如序列标记）的解决方面仍面临挑战。

    Feb, 2023

  • 对 ChatGPT 文本注释和分类可靠性的测试：一则警示

    该研究调查了 ChatGPT 在零 - shot 文本标注和分类任务中一致性的表现，包括模型参数、提示变化和相同输入的重复。结果显示 ChatGPT 的分类输出的一致性可能低于可靠性的科学阈值，并警告使用 ChatGPT 的谨慎性。建议进行彻底的验证，例如与人类注释数据的比较，并不推荐使用 ChatGPT 进行无监督文本标注和分类。

    Apr, 2023

  • ChatGPT 在语言使用上是否与人类相似？

    通过 12 个预注册的实验，我们发现像 ChatGPT 这样的运用大型语言模型的聊天机器人能够在很大程度上模仿人类语言处理，但是他们在一些方面与人类处理方式存在差异，并且可能通过 Transformer 架构来解释这些差异。

    Mar, 2023

  • ChatGPT 还是人？检测与说明。解释机器学习模型检测短 ChatGPT 生成文本的决策

    本文研究了机器学习模型在准确区分 ChatGPT 生成文本与人类生成文本时是否能够有效训练，使用可解释的人工智能框架来对模型进行了解释，研究发现采用 ChatGPT 重新短语生成能够使模型识别 ChatGPT 生成文本与人类生成文本之间的差异更具挑战性。

    Jan, 2023

  • ChatGPT-4 在使用零样本学习对政治 Twitter 信息进行注释方面胜过专家和众包工作者

    本文研究了大型语言模型 ChatGPT-4 在 Twitter 文本分析任务中对发布者政治意向分类的精度、可靠性和偏差，并结论该模型精度更高、可靠性更高、偏差相等或更低，从而证明了该模型在社会科学中的巨大影响。

    Apr, 2023

  • ChatGPT 替代人群准备释义以进行意图分类：更高的多样性和可比较的模型鲁棒性

    本文研究了使用 ChatGPT 替代人工工人进行意图分类的复述生成任务，通过基于已有众包研究的数据收集方法，展示了 ChatGPT 创建的复述更为多样化且能够带来更加强健的模型。

    May, 2023

  • 利用 ChatGPT 作为文本标注工具进行情感分析

    本研究探讨了 ChatGPT 作为数据标记工具用于不同情感分析任务中的应用，结果表明相较于基于词汇表的算法，ChatGPT 在准确性方面有了显著提高，可用于不同的事件和任务情感分析的标注工作。

    Jun, 2023

  • 开源大型语言模型在文本注释任务中胜过众包工作者并接近 ChatGPT

    研究比较了开源的大型语言模型（LLMs），ChatGPT 和人工服务（如 MTurk）在文本标注任务中的表现。 发现开源 LLMs 在高效性，透明性，可再现性和数据保护方面具有竞争力，虽然 ChatGPT 在大多数任务中表现最好，但开源 LLMs 在特定任务中也有较高的竞争潜力。

    Jul, 2023